Kimi K2.7-Code: 더 나은 토큰 효율성을 갖춘 오픈소스 코딩 모델

Moonshot AI가 Kimi K2.7-Code를 출시했습니다. 이는 Hugging Face의 moonshotai/Kimi-K2.7-Code 네임스페이스에서 제공되는 오픈소스 코딩 모델로, image-text-to-text 태그가 붙어 있으며 Transformers 라이브러리를 사용합니다. 코드 생성 및 이해 작업을 위한 토큰 효율적인 대안으로 자리매김하고 있습니다.

주요 특징

• 추론 제공자: Novita는 실시간 상태, 도구 호출 지원(toolCalling: true)을 제공하며, 구조화된 출력은 현재 사용할 수 없습니다. 처리량은 초당 36.1 토큰으로 측정되었습니다.
• 모델 아키텍처: 모델은 64개의 샤드(safetensors 형식: model-00001-of-000064.safetensors)로 제공됩니다.
• 토큰 효율성: 모델은 추론 내용을 보존하는(preserve_thinking: true) 사용자 정의 채팅 템플릿을 사용하며, 기록과 접미사 메시지를 분리하여 토큰 사용을 최적화합니다. 템플릿에는 역할 관리를 위한 특수 토큰(<|im_user|>, <|im_assistant|>, <|im_system|>)과 사고 사슬 추론을 캡슐화하는 <think>/</think> 블록이 포함됩니다.
• 도구 호출: 구조화된 인수 형식의 도구 호출을 기본 지원하며, <|tool_call_begin|> 및 <|tool_call_end|> 마커를 사용합니다.
• 커뮤니티 참여: 게시 시점 기준 Hugging Face에서 334개의 좋아요, HN 댓글 4개, 포인트 41개를 기록했습니다.

실용적 의미

템플릿 설계는 preserve_thinking이 false일 때 기록에 추론 토큰을 포함하지 않도록 하여 컨텍스트 오버헤드를 줄입니다. AI 코딩 에이전트를 사용하는 개발자에게 이는 상호작용당 더 낮은 토큰 소비를 의미하며, 특히 추론 체인이 반복되는 긴 에이전트 루프에서 유용합니다. 도구 호출 형식은 JSON에 맞춰져 있어 기존 함수 호출 파이프라인에 쉽게 통합할 수 있습니다.

이 모델은 Novita를 통해 즉시 사용 가능하며, Hugging Face 저장소에는 전체 토크나이저 구성과 템플릿 소스가 포함되어 있습니다.