ローカルでのLlama 3.2-1Bのシークレット検出用ファインチューニングがWizのモデルを上回る

✍️ OpenClawRadar📅 公開日: April 16, 2026🔗 Source
ローカルでのLlama 3.2-1Bのシークレット検出用ファインチューニングがWizのモデルを上回る
Ad

ある開発者が、コード内のシークレット検出のためにLlama 3.2-1Bをローカルでファインチューニングすることに成功し、Wizの類似モデルの指標を上回ったことを文書化しました。このプロジェクトは、独自のAPIを一切使用せず、完全にローカルのAIツールで実施されました。

主な成果とアプローチ

開発者は、Wizの結果である86%の精度と82%の再現率を再現または上回ることを目指しました。数週末の作業の後、ファインチューニングされたLlama 3.2-1Bモデルで、88%の精度と84.4%の再現率を同時に達成しました。また、Qwen 3.5-2Bおよび4Bモデルもベンチマークし、これらは1Bモデルを上回る性能を示しましたが、その代償としてVRAM使用量と推論時間が増加しました。

データセットとトレーニングプロセス

この作業は、公開されているデータのみに依存しましたが、それだけでは不十分だったため、手続き的生成を用いてデータセットを拡張・改善しました。すべてのラベリングは、Qwen3-Coder-Nextモデルを使用してローカルで行われました。重要なトレーニング目標の一つは、モデルに構造化されたJSONを出力させることでした。初期段階では、未トレーニングのモデル(LlamaおよびQwen)はスキーマ準拠性で0%のスコアでしたが、トレーニング後には98-100%に改善しました。

課題と学び

開発者は、このプロセス中にいくつかの問題に直面しました:

  • トレーニングに有害な高エントロピークラスが含まれていたため、これを特定して削除しました。
  • データセット内の「ネガティブ」サンプル4,500件に実際の実世界のパスワードが含まれていることが判明し、モデルがシークレットを無視するようにトレーニングされていたことが分かりました。これを修正することで、パスワードの再現率が向上しました。

開発者は、トレーニング統計、例、プロセスのステップバイステップの詳細を含む完全な技術文書を公開しています。

📖 Read the full source: r/LocalLLaMA

Ad

👀 See Also

開発者がClaude CodeとGodotで9日間でブラウザRPGを構築
Use Cases

開発者がClaude CodeとGodotで9日間でブラウザRPGを構築

開発者は、多ツールAIワークフローの一環としてGodotとClaude Codeを使用し、9日間で風刺的なブラウザRPG『Civic Nightmare』を作成しました。これは彼らの初めてのGodotエンジン使用でした。

OpenClawRadar
Claude Coworkを使用してGmailからギフトカードを自動抽出する
Use Cases

Claude Coworkを使用してGmailからギフトカードを自動抽出する

ある開発者がClaude Coworkを使用して、Gmailアカウントに接続し、特定の件名のメールを検索し、Pythonスクリプトがボット検知をトリガーした後にウェブサイト操作を自動化するJavaScriptスクリプトを実行することで、48枚のギフトカード番号を抽出しました。

OpenClawRadar
ピカーロボットカーがOpenClawによる自律的な映像制作を実演
Use Cases

ピカーロボットカーがOpenClawによる自律的な映像制作を実演

Raspberry Pi 5でOpenClawとClaude Sonnetを実行するPiCar-Xロボットが、メモリログからスクリプトを書き、DALL-E 3で画像を生成し、クローン化したElevenLabsの声でナレーションを録音し、ffmpegで組み立てることで、YouTube動画を自律的に作成しています。

OpenClawRadar
OpenClawを財務監視および文書管理システムとして使用する
Use Cases

OpenClawを財務監視および文書管理システムとして使用する

ユーザーは、取引の監視、レポートの生成、キャッシュフローの追跡、サブスクリプションの追跡管理を行うために、OpenClawに読み取り専用の銀行APIアクセスを設定しました。このセットアップには、WhatsAppを介した自動請求書収集と、Google DriveおよびExcelでの文書整理も含まれています。

OpenClawRadar