$6,400 로컬 LLM 서버 구축: TCO 분석 vs API 비용
r/LocalLLaMA의 한 개발자가 $6,406.45 규모의 로컬 LLM 서버에 대한 비용 분석을 게시했습니다. 감가상각과 전기료를 포함해 API 가격과 비교한 내용입니다. 서버는 중고 AMD MI100 32GB GPU 4개에 llama.cpp로 Qwen3.6 27B를 구동하며, 하루 2,040만 입력 토큰과 132만 출력 토큰을 처리합니다.
하드웨어 사양
- MI100 32GB (중고, 4개): $4,234.82
- ASRock EPYCD8-2T 메인보드: $721.61
- 1600W 80+ 플래티넘 파워: $497.95
- DDR4 ECC RDIMM 8GB x8 (중고): $348.79
- EPYC 7K62 48코어 CPU (중고): $254.28
- CPU 쿨러, 케이스, 블로어, 케이블: 약 $349
- 합계: $6,406.45
성능 및 비용 비교
OpenRouter에서 Qwen3.6 27B 기준 $0.29/백만 입력 토큰, $3.2/백만 출력 토큰을 적용하면, 동일 API의 일일 비용은 $10.14, 연간 $3,701.10입니다. 반면 로컬 서버의 동일 토큰 처리 시 일일 전기료 $2.11 (630W, $0.14/kWh)로 연간 $770.15입니다.
감가상각
작성자는 현실적인 감가상각 모델을 적용했습니다: 액세서리 100% 손실, 새 부품 50% 손실, 중고 부품 10% 손실. 이에 따른 일회성 하드웨어 감가상각 비용은 $1,442.57로, 1일 후든 5년 후든 판매 시 동일합니다.
1년 후 로컬 비용은 $770 (전기료) + $1,443 (감가상각) = $2,213으로, API 비용 $3,701 대비 $1,488 절감됩니다.
코딩 요금제 비교
참고로 Z.AI의 최상위 코딩 요금제($144/월)는 하루 약 450만 입력/20만 출력 토큰을 제공합니다. 동일 용량으로 환산하면 월 $652.80, 연간 $7,833.60으로 OpenRouter 가격의 두 배 이상입니다.
작성자는 코딩 요금제가 항상 좋은 가치는 아니며, 실제로 토큰당 얼마를 지불하는지 확인하라고 조언합니다.
📖 전체 소스 읽기: r/LocalLLaMA
👀 See Also
영양 MCP 서버, 클로드 코드로 구축된 식단 일기 내보내기 기능
한 개발자가 상용 앱들이 데이터 내보내기 기능을 유료화하거나 아예 제공하지 않는 문제를 해결하기 위해 Claude Code를 사용해 영양 MCP 서버를 만들었습니다. 이 도구는 Claude를 통해 식사를 기록하고, 요약을 생성하며, 앱을 전환하지 않고도 Excel로 데이터를 내보낼 수 있습니다.
MCP-Loci: Claude 및 MCP 호환 AI를 위한 로컬 지속적 메모리 서버
MCP-Loci는 기억(remember), 회상(recall), 잊기(forget), 종합(synthesize), 상태 확인(health)이라는 다섯 가지 도구를 통해 Claude의 세션 기반 메모리 제한을 해결하는 지속적 메모리 서버입니다. API 키 없이도 정확한 회상을 위해 하이브리드 BM25 키워드 매칭과 의미 임베딩을 사용합니다.
Sherlock: Apple 개발자 문서를 Claude Code의 로컬 MCP로 활용하기
Sherlock은 70,000개의 Apple API 심볼을 SQLite FTS5에 인덱싱하고, 5개의 MCP 도구와 3개의 자동 트리거 스킬을 제공하여 Claude Code를 실제 문서에 기반하게 함으로써 환각을 방지합니다.
내부 도구에 대한 안전한 원격 접속을 위한 MCP 게이트웨이
오픈소스 MCP 게이트웨이는 여러 MCP 도구 서버를 단일 연결로 통합하여 공개 엔드포인트를 노출하지 않고 Claude Desktop을 통해 안전하게 접근할 수 있도록 합니다. 이는 OpenZiti/zrok를 사용한 제로 트러스트 네트워킹을 활용하며, 공유 토큰 하나만으로 구성이 가능합니다.