NVIDIA, Nemotron-3-Ultra-550B 출시: 550억 개의 활성 파라미터, 100만 컨텍스트, LatentMoE 하이브리드
NVIDIA가 Nemotron-3-Ultra-550B-A55B-BF16을 출시했습니다. 총 550B 파라미터 중 55B가 활성화되는 최첨단 LLM입니다. 이 모델은 Latent Mixture-of-Experts (LatentMoE) 하이브리드 아키텍처를 사용하며, Mamba-2, MoE, 어텐션 레이어를 혼합하고 다중 토큰 예측(MTP)으로 생성 속도를 높입니다. 컨텍스트 길이는 최대 100만 토큰입니다.
주요 사양
- 아키텍처: LatentMoE 하이브리드 – Mamba-2 + MoE + Attention + MTP
- 파라미터: 총 550B / 활성 55B
- 컨텍스트: 최대 100만 토큰
- 최소 GPU: 8x GB200/B200/GB300/B300, 16x H100, 8x H200
- 언어: 영어, 프랑스어, 스페인어, 이탈리아어, 독일어, 일본어, 한국어, 힌디어, 브라질 포르투갈어, 중국어
- 추론: 채팅 템플릿으로 온/오프 구성 가능 (
enable_thinking=True/False) - 라이선스: OpenMDW License Agreement v1.1
이 모델은 최첨단 추론, 복잡한 에이전트 워크플로, 장문 컨텍스트 분석, 도구 사용, 다국어 추론, 고위험 RAG에 적합합니다. 컴퓨팅 효율성을 위한 NVFP4 사전 학습 레시피로 훈련되었습니다. 오픈 웨이트, 학습 데이터, 레시피가 OpenMDW 라이선스에 포함되어 있습니다. 로컬 추론에는 최소 8x H200 또는 이에 준하는 장비가 필요합니다.
📖 전체 출처 읽기: r/LocalLLaMA
👀 See Also
장기 실행 AI 에이전트 팀의 실제 시간당 비용
개발자가 5시간 이상의 세션 동안 리눅스, 브라우저, 도구에 완전히 접근 가능한 AI 에이전트 팀을 운영하는 실제 시간당 비용을 공유했습니다. 코딩 에이전트는 시간당 10~60달러, 마케팅 에이전트는 10~30달러, 백오피스 에이전트는 5~15달러입니다.
Qwen 3.6 27B: AMD MI50에서 52.8 tps TG, 전체 정밀도, MTP 없음, 양자화 없음
Reddit 사용자가 Qwen3.6-27B를 8개의 AMD MI50(2018년 카드)에서 vllm 포크와 ROCm 7.2.1을 사용해 벤치마크하여, 전체 정밀도와 MTP 없이 52.8 tps TG와 1569 tps PP를 달성했습니다.
SAP因AI成本飙升冻结大部分差旅和招聘——AI部门除外
404 미디어가 입수한 내부 이메일에 따르면, SAP는 AI 비용 급증으로 인해 대부분의 여행과 채용을 중단했으며, AI 관련 여행과 채용에만 예외를 두고 있습니다.
OneUptime이 단일 커밋으로 12,000개의 AI 생성 블로그 게시물을 추가합니다
OneUptime의 블로그 저장소가 단일 커밋으로 ClickHouse, Redis, MongoDB, MySQL 및 기타 기술을 다루는 12,000개의 AI 생성 게시물을 추가했으며, 5,012개의 파일과 100만 줄 이상의 코드를 변경했습니다.