Kimi K2.7-Code: Модель с открытым исходным кодом для кодирования с лучшей эффективностью токенов

Moonshot AI выпустила Kimi K2.7-Code, открытую модель для кодинга, доступную на Hugging Face в пространстве имён moonshotai/Kimi-K2.7-Code. Модель помечена тегом image-text-to-text и использует библиотеку Transformers. Она позиционируется как токен-эффективная альтернатива для задач генерации и понимания кода.

Ключевые особенности

• Провайдеры инференса: Novita предлагает модель с индикатором активности, поддержкой вызова инструментов (toolCalling: true), структурированный вывод пока недоступен. Пропускная способность — 36,1 токен/сек.
• Архитектура модели: Модель состоит из 64 шардов (формат safetensors: model-00001-of-000064.safetensors).
• Токен-эффективность: Модель использует собственный чат-шаблон, который сохраняет содержимое рассуждений (preserve_thinking: true) и оптимизирует использование токенов за счёт разделения сообщений истории и суффикса. Шаблон включает специальные токены, такие как <|im_user|>, <|im_assistant|> и <|im_system|> для управления ролями, а также блоки <think>/</think> для инкапсуляции цепочек рассуждений.
• Вызов инструментов: Нативная поддержка вызова инструментов с форматированием структурированных аргументов с использованием маркеров <|tool_call_begin|> и <|tool_call_end|>.
• Вовлечённость сообщества: 334 лайка на Hugging Face, 4 комментария и 41 балл на Hacker News на момент публикации.

Практическое применение

Дизайн шаблона явно избегает встраивания токенов рассуждений в историю, когда preserve_thinking отключён, что снижает накладные расходы контекста. Для разработчиков, использующих ИИ-агенты для кодинга, это означает меньшее потребление токенов на взаимодействие — особенно полезно в длинных агентных циклах, где цепочки рассуждений повторяются. Формат вызова инструментов совместим с JSON, что упрощает интеграцию с существующими конвейерами вызова функций.

Модель доступна для немедленного использования через Novita, а репозиторий на Hugging Face содержит полную конфигурацию токенизатора и исходный код шаблона.