LLMアーキテクチャギャラリー：モデル設計のビジュアルリファレンス

セバスチャン・ラシュカのLLMアーキテクチャギャラリーは、『The Big LLM Architecture Comparison』と『A Dream of Spring for Open-Weight LLMs』から収集したアーキテクチャ図とファクトシートのコレクションで、特にアーキテクチャパネルに焦点を当てています。ギャラリーには詳細を拡大表示できるクリック可能な図が含まれており、モデル名は対応する記事セクションにリンクしています。

主要モデルの詳細

ギャラリーでは、多数のモデルに関する具体的なアーキテクチャ仕様を提供しています：

• Llama 3 8B: 80億パラメータ、2024年4月18日リリース、GQAとRoPEアテンションを備えた密デコーダー、事前正規化のベースラインとして機能
• OLMo 2 7B: 70億パラメータ、2024年11月25日リリース、MHAとQK-Normを備えた密デコーダー、事前正規化ではなく内部残差事後正規化を使用
• DeepSeek V3: 総パラメータ6710億（活性化370億）、2024年12月26日リリース、MLAアテンションを備えたスパースMoEデコーダー、密プレフィックスと共有エキスパートを使用
• DeepSeek R1: 総パラメータ6710億（活性化370億）、2025年1月20日リリース、MLAアテンションを備えたスパースMoEデコーダー、推論指向のトレーニングを除きDeepSeek V3とアーキテクチャ一致
• Gemma 3 27B: 270億パラメータ、2025年3月11日リリース、GQAとQK-Normを備えた密デコーダー、5:1のスライディングウィンドウ/グローバルアテンション比率を使用
• Mistral Small 3.1 24B: 240億パラメータ、2025年3月18日リリース、標準GQAを備えた密デコーダー、より小さなKVキャッシュによるレイテンシ重視設計
• Llama 4 Maverick: 総パラメータ4000億（活性化170億）、2025年4月5日リリース、GQAアテンションを備えたスパースMoEデコーダー、密ブロックとMoEブロックを交互に配置
• Qwen3 235B-A22B: 総パラメータ2350億（活性化220億）、2025年4月28日リリース、GQAとQK-Normを備えたスパースMoEデコーダー、共有エキスパートなしでサービング効率を最適化
• Qwen3 32B: 320億パラメータ、2025年4月28日リリース、GQAとQK-Normを備えた密デコーダー、8KVヘッドの参照用密Qwenスタック
• Qwen3 4B: 40億パラメータ、2025年4月28日リリース、GQAとQK-Normを備えた密デコーダー、151k語彙のコンパクトスタック
• Qwen3 8B: 80億パラメータ、2025年4月28日リリース、GQAとQK-Normを備えた密デコーダー、8KVヘッドの参照用Qwen3密スタック
• SmolLM3 3B: 30億パラメータ、2025年6月19日リリース、GQAを備えた密デコーダー、周期的NoPEレイヤーを実験的に採用

実用的な機能

ギャラリーには、不正確なファクトシート、誤ったアーキテクチャラベル、または壊れたリンクを報告するための課題トラッカーが含まれています。物理的なポスターバージョンはZazzleで入手可能で、14570 x 12490ピクセル（56MB PNGファイル、182メガピクセル）の高解像度エクスポートが提供されています。

AIコーディングエージェントを扱う開発者にとって、このリソースはモデル選択、ファインチューニングの決定、パフォーマンス最適化に役立つ具体的なアーキテクチャ詳細を提供します。並列比較形式により、異なるアーキテクチャ選択肢間のトレードオフを理解しやすくなっています。