LLM 아키텍처 갤러리: 모델 설계 시각적 참고 자료

세바스찬 라슈카의 LLM 아키텍처 갤러리는 The Big LLM Architecture Comparison와 A Dream of Spring for Open-Weight LLMs에서 아키텍처 도판과 팩트 시트를 모은 컬렉션으로, 특히 아키텍처 패널에 초점을 맞춥니다. 이 갤러리는 세부 사항을 확대할 수 있는 클릭 가능한 도판을 포함하며, 모델 제목은 해당 기사 섹션으로 연결됩니다.

주요 모델 상세 정보

갤러리는 다양한 모델에 대한 구체적인 아키텍처 사양을 제공합니다:

• Llama 3 8B: 80억 개의 파라미터, 2024-04-18 출시, GQA와 RoPE 어텐션을 사용한 밀집 디코더, 사전 정규화 기준 역할
• OLMo 2 7B: 70억 개의 파라미터, 2024-11-25 출시, MHA와 QK-Norm을 사용한 밀집 디코더, 사전 정규화 대신 내부 잔차 사후 정규화 사용
• DeepSeek V3: 총 6,710억 개의 파라미터(활성 370억 개), 2024-12-26 출시, MLA 어텐션을 사용한 희소 MoE 디코더, 밀집 프리픽스와 공유 전문가 사용
• DeepSeek R1: 총 6,710억 개의 파라미터(활성 370억 개), 2025-01-20 출시, MLA 어텐션을 사용한 희소 MoE 디코더, 추론 중심 훈련을 적용한 DeepSeek V3와 동일한 아키텍처
• Gemma 3 27B: 270억 개의 파라미터, 2025-03-11 출시, GQA와 QK-Norm을 사용한 밀집 디코더, 5:1 슬라이딩 윈도우/전역 어텐션 비율 사용
• Mistral Small 3.1 24B: 240억 개의 파라미터, 2025-03-18 출시, 표준 GQA를 사용한 밀집 디코더, 작은 KV 캐시를 통한 지연 시간 중심 설계
• Llama 4 Maverick: 총 4,000억 개의 파라미터(활성 170억 개), 2025-04-05 출시, GQA 어텐션을 사용한 희소 MoE 디코더, 밀집 블록과 MoE 블록을 교대로 배치
• Qwen3 235B-A22B: 총 2,350억 개의 파라미터(활성 220억 개), 2025-04-28 출시, GQA와 QK-Norm을 사용한 희소 MoE 디코더, 공유 전문가 없이 서빙 효율성 최적화
• Qwen3 32B: 320억 개의 파라미터, 2025-04-28 출시, GQA와 QK-Norm을 사용한 밀집 디코더, 8개의 KV 헤드를 가진 참조 Qwen 밀집 스택
• Qwen3 4B: 40억 개의 파라미터, 2025-04-28 출시, GQA와 QK-Norm을 사용한 밀집 디코더, 151,000개 어휘를 가진 컴팩트 스택
• Qwen3 8B: 80억 개의 파라미터, 2025-04-28 출시, GQA와 QK-Norm을 사용한 밀집 디코더, 8개의 KV 헤드를 가진 참조 Qwen3 밀집 스택
• SmolLM3 3B: 30억 개의 파라미터, 2025-06-19 출시, GQA를 사용한 밀집 디코더, 주기적 NoPE 레이어 실험 적용

실용적 기능

갤러리는 부정확한 팩트 시트, 잘못 표기된 아키텍처 또는 깨진 링크를 보고하기 위한 이슈 트래커를 포함합니다. 물리적 포스터 버전은 Zazzle를 통해 제공되며, 14570 x 12490 픽셀(56 MB PNG 파일, 182 메가픽셀)의 고해상도 내보내기를 지원합니다.

AI 코딩 에이전트를 다루는 개발자들에게 이 리소스는 모델 선택, 미세 조정 결정 및 성능 최적화에 도움이 되는 구체적인 아키텍처 세부 정보를 제공합니다. 나란히 비교하는 형식은 서로 다른 아키텍처 선택 간의 장단점을 더 쉽게 이해할 수 있게 합니다.