Ajuste fino de Qwen 14B para autocompletado en Discord.
Un desarrollador compartió su experiencia sobre cómo afinó el modelo Qwen 14B para que funcionara como una herramienta de autocompletado utilizando sus mensajes de Discord. Esta configuración se asemeja a herramientas como GitHub Copilot, donde se hacen sugerencias a medida que escribes.
El desarrollador utilizó aproximadamente 250 conversaciones obtenidas de Discord, a través de una herramienta de scraping, como su conjunto de datos. Cada conversación se formateó como muestras de entrenamiento chat-ml, enfocándose particularmente en los mensajes donde el usuario dijo algo al final, sin bloques de código ni enlaces. Esta elección indica un enfoque en el tono conversacional más que en el contenido técnico.
El modelo Qwen 14B fue afinado utilizando la plataforma unsloth.ai y QLoRA en una GPU de Kaggle, con todo el proceso de entrenamiento durando aproximadamente 15 minutos debido al pequeño tamaño del conjunto de datos. Luego, fusionaron el modelo afinado en un formato .gguf para su uso local a través de ollama.com.
El frontend de esta herramienta de autocompletado se implementó como una extensión de Chrome. Captura los últimos mensajes y la entrada continua del usuario para construir un prompt chat-ml con el contexto adecuado, que luego se utiliza para generar una respuesta del modelo proporcionado por Ollama. Se utiliza un carácter Unicode de ancho cero de manera ingeniosa para indicar dónde comienza la sugerencia, mientras que presionar shift+tab aceptará la sugerencia.
La configuración actual está operativa en Discord, con potenciales expansiones futuras para soportar otros sitios. El desarrollador también sugiere experimentar con diferentes tamaños de modelo, ya que el modelo actual de 14B utiliza casi al máximo la memoria disponible. Proponen que modelos de 4B o 8B podrían ser alternativas viables, aunque con posibles limitaciones de datos.
El código fuente y más detalles están disponibles en el GitHub del desarrollador en github.com/b44ken/finetune.
📖 Lee la fuente completa: r/LocalLLaMA
👀 Ver también
OpenTidy: Asistente de Fondo de Código Abierto que Utiliza Claude Code para Tareas Administrativas
OpenTidy es un servicio de código abierto para macOS que genera sesiones persistentes de Claude Code para manejar tareas administrativas como facturas, formularios y triaje de comunicaciones. Ejecuta hasta 10 trabajos en paralelo con notificaciones de Telegram para acciones sensibles.
Desarrollador comparte herramientas CLI que funcionan bien con Claude Code.
Un desarrollador cambió de MCPs a CLIs para trabajar con Claude Code, encontrando que Claude maneja comandos CLI de manera efectiva debido a su entrenamiento en scripts de shell y documentación. Compartió los CLIs específicos que usa diariamente, incluyendo gh, ripgrep, stripe, supabase, vercel, sentry-cli y neon.
Vibeyard añade tablero Kanban para gestionar múltiples sesiones de Claude Code
Un IDE de código abierto llamado Vibeyard ahora incluye un tablero Kanban que permite iniciar sesiones del agente Claude Code directamente desde las tarjetas. Las tarjetas se mueven automáticamente a Hecho cuando el agente termina.
Heddle: Aplicación de Confianza y Registro de Auditoría para Conexiones MCP de Claude Desktop
Heddle es una herramienta de código abierto que añade niveles de confianza, controles de acceso y registro de auditoría a las conexiones MCP de Claude Desktop, permitiendo la gestión segura de múltiples servicios a través de una única interfaz con seis paquetes iniciales incluidos.