LLM 아키텍처 갤러리: 모델 설계 시각적 참고 자료
세바스찬 라슈카의 LLM 아키텍처 갤러리는 The Big LLM Architecture Comparison와 A Dream of Spring for Open-Weight LLMs에서 아키텍처 도판과 팩트 시트를 모은 컬렉션으로, 특히 아키텍처 패널에 초점을 맞춥니다. 이 갤러리는 세부 사항을 확대할 수 있는 클릭 가능한 도판을 포함하며, 모델 제목은 해당 기사 섹션으로 연결됩니다.
주요 모델 상세 정보
갤러리는 다양한 모델에 대한 구체적인 아키텍처 사양을 제공합니다:
- Llama 3 8B: 80억 개의 파라미터, 2024-04-18 출시, GQA와 RoPE 어텐션을 사용한 밀집 디코더, 사전 정규화 기준 역할
- OLMo 2 7B: 70억 개의 파라미터, 2024-11-25 출시, MHA와 QK-Norm을 사용한 밀집 디코더, 사전 정규화 대신 내부 잔차 사후 정규화 사용
- DeepSeek V3: 총 6,710억 개의 파라미터(활성 370억 개), 2024-12-26 출시, MLA 어텐션을 사용한 희소 MoE 디코더, 밀집 프리픽스와 공유 전문가 사용
- DeepSeek R1: 총 6,710억 개의 파라미터(활성 370억 개), 2025-01-20 출시, MLA 어텐션을 사용한 희소 MoE 디코더, 추론 중심 훈련을 적용한 DeepSeek V3와 동일한 아키텍처
- Gemma 3 27B: 270억 개의 파라미터, 2025-03-11 출시, GQA와 QK-Norm을 사용한 밀집 디코더, 5:1 슬라이딩 윈도우/전역 어텐션 비율 사용
- Mistral Small 3.1 24B: 240억 개의 파라미터, 2025-03-18 출시, 표준 GQA를 사용한 밀집 디코더, 작은 KV 캐시를 통한 지연 시간 중심 설계
- Llama 4 Maverick: 총 4,000억 개의 파라미터(활성 170억 개), 2025-04-05 출시, GQA 어텐션을 사용한 희소 MoE 디코더, 밀집 블록과 MoE 블록을 교대로 배치
- Qwen3 235B-A22B: 총 2,350억 개의 파라미터(활성 220억 개), 2025-04-28 출시, GQA와 QK-Norm을 사용한 희소 MoE 디코더, 공유 전문가 없이 서빙 효율성 최적화
- Qwen3 32B: 320억 개의 파라미터, 2025-04-28 출시, GQA와 QK-Norm을 사용한 밀집 디코더, 8개의 KV 헤드를 가진 참조 Qwen 밀집 스택
- Qwen3 4B: 40억 개의 파라미터, 2025-04-28 출시, GQA와 QK-Norm을 사용한 밀집 디코더, 151,000개 어휘를 가진 컴팩트 스택
- Qwen3 8B: 80억 개의 파라미터, 2025-04-28 출시, GQA와 QK-Norm을 사용한 밀집 디코더, 8개의 KV 헤드를 가진 참조 Qwen3 밀집 스택
- SmolLM3 3B: 30억 개의 파라미터, 2025-06-19 출시, GQA를 사용한 밀집 디코더, 주기적 NoPE 레이어 실험 적용
실용적 기능
갤러리는 부정확한 팩트 시트, 잘못 표기된 아키텍처 또는 깨진 링크를 보고하기 위한 이슈 트래커를 포함합니다. 물리적 포스터 버전은 Zazzle를 통해 제공되며, 14570 x 12490 픽셀(56 MB PNG 파일, 182 메가픽셀)의 고해상도 내보내기를 지원합니다.
AI 코딩 에이전트를 다루는 개발자들에게 이 리소스는 모델 선택, 미세 조정 결정 및 성능 최적화에 도움이 되는 구체적인 아키텍처 세부 정보를 제공합니다. 나란히 비교하는 형식은 서로 다른 아키텍처 선택 간의 장단점을 더 쉽게 이해할 수 있게 합니다.
📖 Read the full source: HN LLM Tools
👀 See Also
Mneme: 아키텍처 결정을 위반하는 Claude Code 편집을 차단하는 PreToolUse 후크
Mneme는 Claude Code의 PreToolUse 훅으로, 모든 Edit/Write/MultiEdit을 디스크 쓰기 전에 로컬 결정 파일과 대조하여 수동 개입 없이 위반을 차단합니다.
ReasonDB: 벡터 검색 대신 LLM 기반 트리 내비게이션을 사용하는 오픈소스 문서 데이터베이스
ReasonDB는 계층 구조로 문서 구조를 보존하고 검색을 위해 벡터 검색 대신 LLM 기반 트리 탐색을 사용하는 오픈소스 문서 데이터베이스입니다. 초기 검색에는 BM25를, 구조 필터링에는 tree-grep을, 그리고 LLM이 수백만 개의 노드 중 약 25개 노드를 방문하는 빔 서치 탐색을 사용합니다.
VS Code 에이전트 칸반: AI 코딩 에이전트를 위한 마크다운 기반 작업 관리
VS Code Agent Kanban은 마크다운 파일을 작업 기록으로 사용하여 VS Code 내부에 GitOps 친화적인 칸반 보드를 생성하는 확장 프로그램입니다. AI 코딩 에이전트의 컨텍스트 부패 문제를 해결하며, 계획 대화, 결정 사항 및 구현 세부 정보를 버전 관리되는 .md 파일에 보존합니다.
에이전트 웨이크 스킬 for OpenClaw: 작업 완료 시 Discord에 알림
한 개발자가 작업이 끝난 후 Claude Code가 호출하는 Python 스크립트인 agent-wake.py를 만들었습니다. 이 스크립트는 Discord에 멘션 알림을 보내고 게이트웨이 HTTP API를 통해 웨이크 이벤트를 발생시켜, 에이전트가 자동으로 요약을 게시하도록 합니다.