Kimi K2.7-Code: Modelo de codificación de código abierto con mejor eficiencia de tokens

Moonshot AI ha lanzado Kimi K2.7-Code, un modelo de código abierto para programación disponible en Hugging Face bajo el espacio de nombres moonshotai/Kimi-K2.7-Code. El modelo está etiquetado como image-text-to-text y utiliza la biblioteca Transformers. Se posiciona como una alternativa eficiente en tokens para tareas de generación y comprensión de código.

Características clave

• Proveedores de inferencia: Novita ofrece el modelo con estado en vivo, soporte para llamadas a herramientas (toolCalling: true) y salida estructurada actualmente no disponible. Rendimiento medido de 36.1 tokens/segundo.
• Arquitectura del modelo: El modelo consta de 64 fragmentos (formato safetensors: model-00001-of-000064.safetensors).
• Eficiencia de tokens: El modelo utiliza una plantilla de chat personalizada que preserva el contenido de razonamiento (preserve_thinking: true) y optimiza el uso de tokens separando los mensajes de historial y sufijo. La plantilla incluye tokens especiales como <|im_user|>, <|im_assistant|> y <|im_system|> para la gestión de roles, y bloques <think>/</think> para encapsular el razonamiento encadenado.
• Llamadas a herramientas: Soporte nativo para llamadas a herramientas con formato estructurado de argumentos, utilizando los marcadores <|tool_call_begin|> y <|tool_call_end|>.
• Participación de la comunidad: 334 me gusta en Hugging Face, con 4 comentarios en HN y 41 puntos hasta la fecha de publicación.

Implicaciones prácticas

El diseño de la plantilla evita explícitamente incrustar tokens de razonamiento en el historial cuando preserve_thinking es falso, reduciendo la sobrecarga de contexto. Para desarrolladores que utilizan agentes de codificación con IA, esto significa un menor consumo de tokens por interacción, especialmente beneficioso en bucles largos de agentes donde se repiten cadenas de razonamiento. El formato de llamada a herramientas está alineado con JSON, lo que facilita su integración con pipelines existentes de llamadas a funciones.

El modelo está disponible para uso inmediato a través de Novita, y el repositorio de Hugging Face incluye la configuración completa del tokenizador y la fuente de la plantilla.