Reemplazando complejas tuberías de recuperación con simples comandos git para agentes de IA

De un pipeline complejo a comandos git simples

Un desarrollador que construía DiffMem, un sistema de memoria respaldado por git para agentes de IA, descubrió que su capa de recuperación era innecesariamente compleja. Tenía sentence-transformers realizando puntuación de similitud coseno, rank-bm25 para búsqueda por palabras clave, un pipeline de LLM de dos pasos para destilar consultas y sintetizar resultados, y scikit-learn y numpy como dependencias. Esto resultó en una imagen Docker de 3GB (sentence-transformers arrastrando todo PyTorch), tiempos de espera en usuarios intensivos alrededor del 10% del tiempo, y un inicio en frío que reconstruía un índice BM25 en memoria cada vez.

La realización: los LLM ya conocen git

La idea clave surgió al reconocer que los comandos Unix son el patrón de uso de herramientas más denso en los datos de entrenamiento de cualquier LLM. Miles de millones de archivos README, scripts de CI y respuestas de Stack Overflow están llenos de comandos grep, git log y cat. El LLM no necesita un pipeline de recuperación personalizado construido a su alrededor: ya habla el lenguaje de los comandos de shell.

La solución de una sola herramienta

Reemplazaron todo el sistema complejo con una sola herramienta:

{
  "name": "run",
  "description": "Ejecuta un comando de solo lectura en el repositorio de memoria",
  "parameters": {
    "command": "Comando de shell (admite encadenamiento con |, &&, ||, ;)"
  }
}

Eso es todo. Una función. El agente escribe comandos de shell, ya conociendo grep, git diff, head y otras utilidades Unix sin necesidad de ser enseñado.

Cómo funciona el agente

El agente sigue un protocolo fijo a lo largo de sus turnos:

• Leer el manifiesto de entidades
• Ejecutar una sonda temporal contra el registro de commits
• Agrupar su investigación en una sola llamada de herramienta
• Generar un plan de recuperación
• Detenerse

El agente devuelve puntos de referencia, no contenido. Lee señales ligeras durante sus turnos (head -30 para estructura, grep -n para palabras clave, git diff HEAD~3.. para cambios recientes), luego le dice al código qué recuperar. El código resuelve los puntos de referencia, manteniendo el contexto del agente ligero.

Ejemplo del mundo real

Cuando un usuario envió un mensaje de cumpleaños sobre sentirse aislado con la presión laboral, el agente ejecutó:

git log --format='%h %ad' --date=relative --name-only -15

Esto reveló que wife.md y company.md cambiaron en la misma sesión, y un colega clave apareció en 2 de las últimas 3 sesiones. El mensaje del usuario no decía nada sobre el trabajo: BM25 nunca habría encontrado company.md, y la similitud semántica en "sentirse aislado en mi cumpleaños" tampoco habría llegado allí. Pero la co-ocurrencia en el historial de commits reveló la conexión que realmente importaba.

En el turno 3, el agente compuso una llamada de herramienta con nueve comandos encadenados con punto y coma:

git diff HEAD~2.. -- memories/people/wife.md; git log --stat -5 -- memories/people/wife.md; head -30 memories/people/wife.md; grep -n "birthday|surgery|stress" memories/people/wife.md; tail -50 timeline/2026-03.md; git diff HEAD~3.. -- timeline/2026-03.md; grep -n "project|deliverable" memories/contexts/company.md; git diff HEAD~2.. -- memories/contexts/company.md; git diff HEAD~1.. -- memories/people/colleague.md

La salida final fue un plan de recuperación JSON con diffs de git específicos, niveles de prioridad y estimaciones de tokens, no contenido, sino puntos de referencia. Luego, el código ejecutó los comandos y ensambló el contexto contra el presupuesto de tokens.

Resultados

Este enfoque les permitió eliminar rank-bm25, sentence-transformers, scikit-learn y numpy. La imagen Docker se redujo aproximadamente 3GB. Los servidores inician más rápido, usan una fracción de la memoria y ya no tienen índice BM25 en inicio en frío. La tasa de tiempo de espera del 10% desapareció. En Cloud Run con carga real de usuarios, esto no fue una mejora marginal sino una clase diferente de implementación.

Lo que queda: requests, openai, gitpython.