Investigación Automatizada con Claude Code en Base de Código de Producción: 60 Experimentos, 3 Cambios Conservados
Experimento de Investigación Automática en Base de Código de Producción
Un desarrollador probó el enfoque de investigación automática de Karpathy en un sistema real de producción utilizando Claude Code, ejecutando 60 iteraciones en dos rondas mientras estaba lejos del ordenador. El objetivo era un sistema de búsqueda híbrida construido con Django, pgvector y embeddings de Cohere.
Resultados y Hallazgos Clave
De 60 iteraciones, solo se mantuvieron 3 cambios mientras que 57 fueron revertidos. La mejora general en la puntuación fue marginal (+0,03), pero el conocimiento obtenido fue significativo:
- La coincidencia de títulos como señal de búsqueda resultó ser negativa, demostrado en solo 2 iteraciones
- Los grupos de candidatos más grandes no tuvieron efecto: el problema era la clasificación, no la recuperación
- La ponderación adaptativa construida manualmente realmente funcionó: eliminarla causó regresiones
- Modificar fórmulas de amortiguación de palabras clave apenas movió las puntuaciones
- La ronda 2 dirigida al mensaje de metadatos de Haiku no produjo mejoras porque los pesos de clasificación de la ronda 1 estaban co-optimizados para la salida del mensaje original
- Se descubrió un error de almacenamiento en caché de Redis: las claves estaban en el hash de consulta, no en el hash del mensaje, lo que habría pasado a producción sin ser detectado
Conclusiones Prácticas
La mayor percepción fue que la investigación automática ayuda a mapear dónde está el límite superior, no solo a encontrar mejoras. Tener 60 puntos de datos que dicen "Puedes dejar de ajustar esto" proporciona evidencia concreta en lugar de depender de la intuición. El desarrollador señala que este enfoque ahorró tiempo de experimentación manual en optimizaciones que no habrían dado resultado.
El informe completo está disponible en el enlace del blog, y la habilidad de investigación automática de Claude Code de código abierto está en GitHub. El desarrollador está interesado en que otros prueben esto en bases de código no de aprendizaje automático y en qué métricas están utilizando.
📖 Leer la fuente completa: r/ClaudeAI
👀 Ver también
Construyendo un Pipeline de Generación de Video con OpenClaw, ClawVid y Composio
Un desarrollador creó un proyecto de fin de semana utilizando OpenClaw como entorno de ejecución con Claude como el LLM, integrando Composio para la autenticación de herramientas y ClawVid con Remotion para la generación de videos. La canalización crea videos MP4 con voz en off, elementos visuales, música y subtítulos a partir de indicaciones de texto.
Enfoque de Máquina de Estados para Coordinar Múltiples Agentes de IA
El equipo de ultrathink.art descubrió que coordinar múltiples agentes de IA requiere transiciones de estado explícitas, tiempos de espera de latido, límites de reintento y encadenamiento de tareas en lugar de colas de mensajes tradicionales. Implementaron puertas de calidad obligatorias entre las transferencias de agentes para evitar resultados basura.
El desarrollador de juegos utiliza OpenClaw para la recolección automatizada de comentarios y la refactorización de código.
Un desarrollador de videojuegos ejecuta OpenClaw como un servicio en segundo plano en un MacBook para gestionar dos proyectos: Heretical (un juego de Steam) y Duskland (un proyecto TypeScript). El sistema utiliza modelos Claude a través de Discord y Telegram, con archivos de memoria locales en formato Markdown.
OpenClaw ejecutándose como administrador completo del sistema en Linux con LLM local
Un usuario ejecuta OpenClaw como administrador completo de sistemas en servidores Linux, utilizando Qwen 3.6 27b q6 de forma local sin conexión externa a internet excepto Tailscale, e informa que manejó de forma autónoma el despliegue del modo quiosco.