Ersetzen komplexer Abrufpipelines durch einfache Git-Shell-Befehle für LLM-Agenten

Von komplexer Pipeline zu einfachem Shell-Zugriff

Das Team baute ursprünglich DiffMem, ein git-basiertes Speichersystem für KI-Agenten mit Versionsverlauf als Kontext. Ihre Abrufschicht verwendete sentence-transformers für Kosinus-Ähnlichkeitsbewertung, rank-bm25 für Schlüsselwortsuche und eine zweistufige LLM-Pipeline, um Abfragen zu destillieren und Ergebnisse zu synthetisieren. Dies führte zu einem 3 GB großen Docker-Image (aufgrund von PyTorch-Abhängigkeiten), 10 % Timeout-Raten bei starken Nutzern und Cold Starts, die jedes Mal einen BM25-Index im Speicher neu aufbauten.

Die Erkenntnis: LLMs kennen Git bereits

Die Einsicht kam durch die Erkenntnis, dass Unix-Befehle in den Trainingsdaten von LLMs durch Milliarden von README-Dateien, CI-Skripten und Stack Overflow-Antworten dicht repräsentiert sind. Dem Team wurde klar, dass sie Informationen aus Git mit ihrem eigenen Code extrahierten und sie einem Modell fütterten, das Git-Befehle bereits versteht.

Die Lösung: Eine Tool-Funktion

Sie ersetzten alles durch ein einziges Tool:

{
  "name": "run",
  "description": "Einen schreibgeschützten Befehl im Speicher-Repository ausführen",
  "parameters": {
    "command": "Shell-Befehl (unterstützt |, &&, ||, ; Verkettung)"
  }
}

Wie der Agent arbeitet

Der Agent folgt einem festen Protokoll: Lesen des Entity-Manifests, Ausführen einer temporalen Abfrage gegen das Commit-Log, Bündeln der Untersuchung in einen einzigen Tool-Aufruf, Ausgeben eines Abrufplans, dann Stoppen. Er gibt Zeiger zurück, nicht Inhalte, und hält den Kontext schlank.

Der Agent liest während der Runden leichte Signale:

• head -30 für die Struktur
• grep -n für Schlüsselwörter
• git diff HEAD~3.. für aktuelle Änderungen

Reales Beispiel: Verbindungen durch Commit-Verlauf finden

Als ein Benutzer eine Geburtstagsnachricht mit der Erwähnung von Einsamkeitsgefühlen schickte, führte der Agent aus:

git log --format='%h %ad' --date=relative --name-only -15

Dies zeigte, dass wife.md und company.md in derselben Sitzung geändert wurden und ein wichtiger Kollege in 2 der letzten 3 Sitzungen auftauchte. Schlüsselwortsuche (BM25) hätte company.md nie aus "fühle mich an meinem Geburtstag isoliert" gefunden, aber die zeitliche Verbindung im Git-Verlauf war entscheidend.

In Runde 3 verfasste der Agent einen einzigen Tool-Aufruf mit neun Befehlen, die durch Semikolons verkettet waren:

git diff HEAD~2.. -- memories/people/wife.md; git log --stat -5 -- memories/people/wife.md; head -30 memories/people/wife.md; grep -n "birthday|surgery|stress" memories/people/wife.md; tail -50 timeline/2026-03.md; git diff HEAD~3.. -- timeline/2026-03.md; grep -n "project|deliverable" memories/contexts/company.md; git diff HEAD~2.. -- memories/contexts/company.md; git diff HEAD~1.. -- memories/people/colleague.md

Ergebnisse

Die endgültige Ausgabe war ein JSON-Abrufplan mit spezifischen Git-Diffs, Prioritätsstufen und Token-Schätzungen. Dies ermöglichte das Löschen von rank-bm25, sentence-transformers, scikit-learn und numpy. Das Docker-Image schrumpfte um ~3 GB, Server starten schneller, verbrauchen weniger Speicher und die 10 % Timeout-Rate verschwand. Was bleibt: requests, openai und gitpython.