Investigación Automatizada con Claude Code en Base de Código de Producción: 60 Experimentos, 3 Cambios Conservados
Experimento de Investigación Automática en Base de Código de Producción
Un desarrollador probó el enfoque de investigación automática de Karpathy en un sistema real de producción utilizando Claude Code, ejecutando 60 iteraciones en dos rondas mientras estaba lejos del ordenador. El objetivo era un sistema de búsqueda híbrida construido con Django, pgvector y embeddings de Cohere.
Resultados y Hallazgos Clave
De 60 iteraciones, solo se mantuvieron 3 cambios mientras que 57 fueron revertidos. La mejora general en la puntuación fue marginal (+0,03), pero el conocimiento obtenido fue significativo:
- La coincidencia de títulos como señal de búsqueda resultó ser negativa, demostrado en solo 2 iteraciones
- Los grupos de candidatos más grandes no tuvieron efecto: el problema era la clasificación, no la recuperación
- La ponderación adaptativa construida manualmente realmente funcionó: eliminarla causó regresiones
- Modificar fórmulas de amortiguación de palabras clave apenas movió las puntuaciones
- La ronda 2 dirigida al mensaje de metadatos de Haiku no produjo mejoras porque los pesos de clasificación de la ronda 1 estaban co-optimizados para la salida del mensaje original
- Se descubrió un error de almacenamiento en caché de Redis: las claves estaban en el hash de consulta, no en el hash del mensaje, lo que habría pasado a producción sin ser detectado
Conclusiones Prácticas
La mayor percepción fue que la investigación automática ayuda a mapear dónde está el límite superior, no solo a encontrar mejoras. Tener 60 puntos de datos que dicen "Puedes dejar de ajustar esto" proporciona evidencia concreta en lugar de depender de la intuición. El desarrollador señala que este enfoque ahorró tiempo de experimentación manual en optimizaciones que no habrían dado resultado.
El informe completo está disponible en el enlace del blog, y la habilidad de investigación automática de Claude Code de código abierto está en GitHub. El desarrollador está interesado en que otros prueben esto en bases de código no de aprendizaje automático y en qué métricas están utilizando.
📖 Leer la fuente completa: r/ClaudeAI
👀 Ver también
Evolución de la configuración de OpenClaw: de la sobreconfiguración a un sistema multiagente práctico
Un desarrollador comparte su trayectoria desde tres reinstalaciones hasta una configuración funcional de OpenClaw con especialización multiagente, memoria en capas y búsqueda semántica usando el backend QMD, ejecutándose en Mac mini M2 con una instancia separada en Hetzner para experimentación.
OpenClaw Automatiza las Reservas de Restaurantes con la Habilidad de OpenTable
Un desarrollador ha configurado su agente de IA OpenClaw para reservar restaurantes automáticamente utilizando una habilidad personalizada de OpenTable. El agente lee las preferencias desde un archivo food.md y reserva restaurantes como Bocconcino, OITA y Trishna.
Caso de depuración de Claude: El agente falló silenciosamente debido a un parámetro faltante, el contexto importó más que el modelo.
Un desarrollador utilizó Claude para crear un agente de calendario, luego pasó 40 minutos haciendo que Claude lo depurara antes de darse cuenta de que la herramienta write_calendar carecía de un parámetro de asistentes. Cuando se le dio el contexto completo, Claude identificó el problema en 10 segundos.
No programador construye panel en vivo de MLB usando Claude AI y Claude Code en GitHub Codespaces.
Un usuario sin experiencia en programación utilizó Claude chat y Claude Code en GitHub Codespaces para crear un panel de control en vivo de MLB con informes de lesiones, puntuaciones de partidos y estadísticas de equipos, desplegándolo en Vercel.