Ajuste fino de Qwen 14B para autocompletado en Discord.
Un desarrollador compartió su experiencia sobre cómo afinó el modelo Qwen 14B para que funcionara como una herramienta de autocompletado utilizando sus mensajes de Discord. Esta configuración se asemeja a herramientas como GitHub Copilot, donde se hacen sugerencias a medida que escribes.
El desarrollador utilizó aproximadamente 250 conversaciones obtenidas de Discord, a través de una herramienta de scraping, como su conjunto de datos. Cada conversación se formateó como muestras de entrenamiento chat-ml, enfocándose particularmente en los mensajes donde el usuario dijo algo al final, sin bloques de código ni enlaces. Esta elección indica un enfoque en el tono conversacional más que en el contenido técnico.
El modelo Qwen 14B fue afinado utilizando la plataforma unsloth.ai y QLoRA en una GPU de Kaggle, con todo el proceso de entrenamiento durando aproximadamente 15 minutos debido al pequeño tamaño del conjunto de datos. Luego, fusionaron el modelo afinado en un formato .gguf para su uso local a través de ollama.com.
El frontend de esta herramienta de autocompletado se implementó como una extensión de Chrome. Captura los últimos mensajes y la entrada continua del usuario para construir un prompt chat-ml con el contexto adecuado, que luego se utiliza para generar una respuesta del modelo proporcionado por Ollama. Se utiliza un carácter Unicode de ancho cero de manera ingeniosa para indicar dónde comienza la sugerencia, mientras que presionar shift+tab aceptará la sugerencia.
La configuración actual está operativa en Discord, con potenciales expansiones futuras para soportar otros sitios. El desarrollador también sugiere experimentar con diferentes tamaños de modelo, ya que el modelo actual de 14B utiliza casi al máximo la memoria disponible. Proponen que modelos de 4B o 8B podrían ser alternativas viables, aunque con posibles limitaciones de datos.
El código fuente y más detalles están disponibles en el GitHub del desarrollador en github.com/b44ken/finetune.
📖 Lee la fuente completa: r/LocalLLaMA
👀 Ver también
Habilidad de Escritura de Libros Multi-Agente OpenClaw Lanzada
Se ha lanzado como habilidad un sistema de escritura de libros multiagente basado en OpenClaw, que incluye conexión DeepWiki MCP, generación de imágenes GLM para ilustraciones, estimación de presupuesto y revisión a nivel de capítulo. Dos capítulos del Libro del Paradigma OpenClaw se han actualizado utilizando esta herramienta.
Herramienta de Prueba de Autenticación Web Bot Gratuita de Fingerprint para Desarrolladores de Agentes de IA
Fingerprint ha lanzado un endpoint público y gratuito para probar implementaciones de Web Bot Auth. La herramienta valida firmas criptográficas en solicitudes HTTP, ayudando a desarrolladores de bots y agentes de IA a asegurar que su configuración WBA funcione correctamente antes de pasar a producción.
Optio: Orquestrando Agentes de Codificación con IA en Kubernetes desde el Ticket hasta la PR
Optio es un sistema de orquestación de código abierto que convierte tickets en solicitudes de extracción fusionadas utilizando agentes de codificación con IA como Claude Code o Codex. Maneja el ciclo de vida completo en pods de Kubernetes aislados con un bucle de retroalimentación que reanuda automáticamente a los agentes en fallos de CI o comentarios de revisión.
Chat Saver CG: Extensión de Navegador Creada con Claude Exporta Conversaciones en 12 Plataformas de IA
Un desarrollador creó Chat Saver CG, una extensión de navegador que exporta y transfiere conversaciones entre Claude, ChatGPT, Gemini y otras 9 plataformas de IA, utilizando ampliamente a Claude para el desarrollo, incluyendo decisiones de arquitectura, depuración de problemas de análisis DOM y escritura de lógica de adaptador.