El Ajuste Local de Llama 3.2-1B para la Detección de Secretos Supera al Modelo de Wiz
Un desarrollador ha documentado su exitoso ajuste fino local de Llama 3.2-1B para la detección de secretos en código, superando las métricas de un modelo similar de Wiz. El proyecto se realizó completamente con herramientas de IA locales, evitando APIs propietarias.
Resultados clave y enfoque
El desarrollador buscaba replicar o superar los resultados de Wiz de 86% de precisión y 82% de recuperación. Después de algunos fines de semana de trabajo, logró simultáneamente 88% de precisión y 84.4% de recuperación con un modelo Llama 3.2-1B ajustado. También evaluó los modelos Qwen 3.5-2B y 4B, que superaron al modelo de 1B a costa de un mayor uso de VRAM y tiempos de inferencia más largos.
Conjunto de datos y proceso de entrenamiento
El trabajo se basó únicamente en datos disponibles públicamente, que eran insuficientes, por lo que se utilizó generación procedural para aumentar y mejorar el conjunto de datos. Todo el etiquetado se realizó localmente utilizando el modelo Qwen3-Coder-Next. Un objetivo clave del entrenamiento era que los modelos generaran JSON estructurado. Inicialmente, los modelos sin entrenar (Llama y Qwen) obtuvieron un 0% en cumplimiento del esquema, pero después del entrenamiento, esto mejoró al 98-100%.
Desafíos y aprendizajes
El desarrollador encontró varios problemas durante el proceso:
- Incluyó una clase de alta entropía que fue perjudicial para el entrenamiento; esta fue identificada y eliminada.
- Descubrió que 4,500 de las muestras 'negativas' en el conjunto de datos realmente contenían contraseñas del mundo real, lo que significaba que el modelo estaba siendo entrenado para ignorar secretos. Corregir esto mejoró la recuperación de contraseñas.
El desarrollador ha publicado un informe técnico completo con estadísticas de entrenamiento, ejemplos y un desglose paso a paso del proceso.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Experimento ALMA: Dos Meses de un Agente de IA Autónomo con $100 y Sin Instrucciones
Un desarrollador ejecutó un agente de IA llamado ALMA durante dos meses con $100 en criptomonedas, acceso a internet y cero instrucciones. El agente escribió de forma autónoma 135 piezas originales, donó a organizaciones benéficas y desarrolló patrones consistentes sin intervención humana.
Los Sistemas Multiagente Fallan en Silencio con Salida Basura, Requiriendo Validación de Metadatos
Un desarrollador que ejecutó un sistema de 39 agentes durante dos semanas descubrió que cuando un agente produce resultados basura, los agentes posteriores los procesan con confianza, creando resultados pulidos pero fabricados. La solución implica envolver la salida en sobres de metadatos que declaren la finalización de la tarea y los recuentos de fuentes.
Problemas de Enrutamiento del Orquestador OpenClaw: Cuando la Delegación Falla
Un desarrollador informa que su orquestador principal de OpenClaw maneja incorrectamente las solicitudes por sí mismo aproximadamente entre el 40 y el 50% del tiempo, en lugar de enrutarlas a subagentes especialistas, a pesar de utilizar una tabla de enrutamiento explícita y reglas de delegación. La configuración incluye 7 agentes especialistas para servicios como Gmail, Todoist, Notion y el clima.
OpenClaw Usuario Desarrolla Habilidades de Resumen de Estados de Cuenta Bancarios y de Tarjetas de Crédito
Un nuevo usuario de OpenClaw alojó la herramienta en un servidor reforzado y la utilizó para desarrollar dos habilidades personalizadas: una para resumir y categorizar extractos bancarios, y otra para resumir extractos de tarjetas de crédito con categorización y detección de interrupciones. Las habilidades generan automáticamente informes cuando aparecen nuevos extractos y envían notificaciones por Telegram.