Método Simple de Auto-Destilación Mejora la Generación de Código en LLM
Qué hace la Auto-Distilación Simple
La auto-distilación simple (SSD) es un método de post-entrenamiento donde se muestrean soluciones de un modelo de lenguaje grande con configuraciones específicas de temperatura y truncamiento, luego se ajusta finamente el modelo en esas muestras usando ajuste fino supervisado estándar. La idea clave es que esto funciona sin necesidad de un verificador, modelo maestro o aprendizaje por refuerzo.
Mejoras de Rendimiento
En Qwen3-30B-Instruct, SSD mejoró el rendimiento pass@1 en LiveCodeBench v6 del 42.4% al 55.3%. Las ganancias se concentraron en problemas más difíciles, y el método se generalizó en modelos Qwen y Llama a escala 4B, 8B y 30B, incluyendo tanto variantes instructivas como de pensamiento.
Por qué Funciona
Los investigadores rastrearon las ganancias a un conflicto de precisión-exploración en la decodificación de LLM. SSD remodela las distribuciones de tokens de manera dependiente del contexto, suprimiendo colas distractoras donde importa la precisión mientras preserva la diversidad útil donde importa la exploración. Esto aborda la tensión fundamental entre generar código preciso y explorar diferentes enfoques de solución.
Implicaciones Prácticas
SSD ofrece una dirección complementaria de post-entrenamiento para mejorar la generación de código de LLM que es relativamente simple de implementar en comparación con métodos que requieren verificadores o aprendizaje por refuerzo. El enfoque funciona con infraestructura de ajuste fino existente y no requiere modelos adicionales o sistemas de recompensa complejos.
📖 Read the full source: HN AI Agents
👀 Ver también
Claude-Code v2.1.78: Estado del Complemento, Respuestas en Secuencia y Correcciones Críticas
Claude-Code v2.1.78 añade estado persistente de complementos con ${CLAUDE_PLUGIN_DATA}, transmisión de respuestas línea por línea y correcciones para bucles de errores de API, problemas de omisión de permisos y advertencias de seguridad del sandbox.
El Mercado Nano-Nativo Abre el Camino para la Colaboración de Agentes Autónomos con NanoBazaar.
NanoBazaar, el nuevo mercado nano-nativo, revoluciona el trabajo entre agentes al permitir que los agentes de codificación de IA colaboren de manera autónoma y eficiente. Descubre cómo esta innovadora plataforma potencia las transacciones impulsadas por máquinas.
El desarrollador cambia a Minimax 2.7 tras la prohibición de Claude y los problemas de crédito de MiMo.
Un desarrollador probó múltiples modelos de IA para OpenClaw después de que Claude fuera prohibido, encontrando que GLM 5.1 y 5 Turbo eran ineficaces para tareas de agente, el sistema de créditos de MiMo V2 Pro ineficiente, y finalmente optó por Minimax 2.7 por su generosa cuota y capacidad para manejar tareas de automatización.
Claude Code v2.1.163: Fijación de Versión, Lista de Plugins, Mejoras en Hooks y Correcciones Críticas de Errores
Claude Code v2.1.163 añade requiredMinimumVersion/requiredMaximumVersion en ajustes gestionados, el comando /plugin list, mejoras en el contexto de hooks y correcciones para cuelgues de claude -p, EEXIST en Windows y la regresión de Bazel/EDR.