コードブック ロスレス LLM 圧縮：ビット単位パッキングによる10〜25％のRAM削減
開発者が、インデックス化された重みのビット単位の汎用パッキングによりメモリ使用量を10〜25%削減するロスレスLLM圧縮の概念実証コードを公開しました。この技術は、一部の推論速度を犠牲にしてモデルサイズを小さくすることで、VRAMが限られたハードウェアでより大きなモデルを実行可能にします。
仕組み
開発者はまず、LLMレイヤーに実際に存在する固有の値の数を調査しました。分析の結果、fp16は16ビットを使用しますが、ほとんどのモデルは約12〜13ビットの固有の値しか利用していないことが明らかになりました。これらの値をブロックにパッキングすることで、精度を損なうことなく圧縮を実現しています。
性能特性
- RAM削減: テスト済みモデル全体で10〜25%以上
- 速度への影響: 例示テストでは推論速度が約半分に
- テストハードウェア: NVIDIA P2200 (5GB) と CPU、AMD MI50 (32GB) 向けの更新を開発中
実装の詳細
開発者は、Claude、Qwen、GeminiなどのAIコーディングアシスタントを使用して数週間にわたりこのプロジェクトに取り組みました。リポジトリにはロスレス版とロッシー/バランス版の両方が含まれていますが、ロッシー版はまだ十分にテストされていません。
開発者は、この圧縮手法がモデルの「コンパクトさ」—パラメータ空間をどれだけ効率的に使用しているか—を測定する方法として役立つ可能性を示唆しています。
コードの入手先
概念実証コードはGitHubで入手可能です: https://github.com/bigattichouse/Codebook-Quantization
📖 Read the full source: r/LocalLLaMA
👀 See Also
ピクセルエージェント：コード、サイト、履歴書のレビューに特化した24種類の専門クロードエージェント
Pixel Agentsは、Claude Sonnet 4.6 API上に構築された24種類のタスク特化型AIエージェントのコレクションです。各エージェントは調整された個性と構造化されたJSON出力を持ち、コードレビュー、サイト分析、履歴書批評、スタートアップ評価などのエージェントが直接的なフィードバックを提供します。
AIクロー：サーバーレスブリッジがAlexaをローカルOpenClawに接続し、デュアルデリバリーを実現
AI Clawは、Amazon EchoスピーカーをローカルのOpenClawインスタンスに接続するPython AWS Lambdaパイプラインです。Amazonの8秒タイムアウトを回避するため、TelegramとEchoのネイティブ音声出力への二重配信を伴うファイア・アンド・フォーゲットアーキテクチャを採用しています。
Next.js開発のための並列Claudeチャットアーキテクチャ
開発者が、共有データベーステーブルとポーリングエージェントを使用して、同じNext.jsコードベース上で複数のClaude AIチャットを同時に実行するシステムを作成し、1セッションで87%のビルド成功率とゼロのマージコンフリクトを達成しました。
モバイルからのClaude Code CLI制御用Telegramボット
開発者が、/commit、/code_review、/simplifyなどのモバイルコマンドで制御できるClaude Code CLIへのブリッジとなるTelegramボットを構築しました。このボットはカスタムスキルを自動検出し、写真/ドキュメント/音声メモを処理し、グループチャットセッションをサポートします。