LLMs generieren SQL-Abfragen, um Terabytes von CI-Logs in Sekunden zu analysieren.

Mendrals KI-Agent verfolgte einen flackenden Test bis zu einer Abhängigkeitsaktualisierung drei Wochen zuvor, indem er eigene SQL-Abfragen schrieb, Hunderte Millionen Log-Zeilen über ein Dutzend Abfragen durchsuchte und einer Spur von Job-Metadaten zu rohen Log-Ausgaben folgte. Die gesamte Untersuchung dauerte Sekunden.

Jede Woche fließen etwa 1,5 Milliarden CI-Log-Zeilen und 700.000 Jobs durch ihr System. Alles landet in ClickHouse, mit 35:1 komprimiert. Alles ist in Millisekunden abfragbar.

SQL-Schnittstelle für den Agenten

Sie stellen dem Agenten eine SQL-Schnittstelle zur Verfügung, die auf die Organisation beschränkt ist, die er untersucht. Der Agent konstruiert seine eigenen Abfragen basierend auf der Frage. Keine vordefinierte Abfragebibliothek, keine starre Tool-API. Eine eingeschränkte Tool-API wie get_failure_rate(workflow, days) würde den Agenten auf vorhersehbare Fragen beschränken. Eine SQL-Schnittstelle ermöglicht es ihm, Fragen zu stellen, an die nie gedacht wurde, was beim Debuggen neuartiger Fehler wichtig ist.

Der Agent fragt zwei Hauptziele ab:

• Job-Metadaten: eine materialisierte Sicht mit einer Zeile pro CI-Job-Ausführung. Der Agent nutzt dies zu 63 % für Fragen wie „Wie oft scheitert das?“, „Wie hoch ist die Erfolgsrate?“, „Welche Jobs sind am langsamsten?“, „Wann begann dies zu scheitern?“
• Rohe Log-Zeilen: eine Zeile pro Log-Zeile. Der Agent nutzt dies zu 37 % für Fragen wie „Zeige mir die Fehlerausgabe für diesen Job“, „Wann trat dieses Log-Muster erstmals auf?“, „Wie oft tritt diese Fehlermeldung über Läufe hinweg auf?“

Abfragemuster und Skalierung

Sie analysierten 8.534 Agent-Sitzungen und 52.312 Abfragen aus ihrer Observability-Pipeline. Der Agent hört nicht bei einer Abfrage auf. Er untersucht – beginnt breit und arbeitet sich dann vor.

Gesamtzahl der über alle Abfragen gescannten Zeilen, um eine Frage zu beantworten:

• Typische Frage: 335.000 Zeilen über etwa 3 Abfragen
• P75: 5,2 Millionen Zeilen
• P95: 940 Millionen Zeilen
• Die intensivsten Rohe-Log-Sitzungen scannen 4,3 Milliarden Zeilen

Der Agent durchschnittlich 4,4 Abfragen pro Sitzung. Eine typische Untersuchung beginnt mit Job-Metadaten (günstige Abfragen, Median 47.000 Zeilen) gegen eine kompakte, voraggregierte materialisierte Sicht. Wenn er etwas Interessantes findet, arbeitet er sich in rohe Logs ein (teure Abfragen, Median 1,1 Millionen Zeilen).

Datenarchitektur

Damit der Agent so schnell abfragen kann, müssen die Daten für ihn strukturiert sein. An einem geschäftigen Tag fließen bis zu 300 Millionen Log-Zeilen durch. Sie verwenden ClickHouse.

Jede Log-Zeile trägt 48 Spalten Metadaten: den vollständigen Kontext des CI-Laufs, zu dem sie gehört. Commit-SHA, Autor, Branch, PR-Titel, Workflow-Name, Job-Name, Schritt-Name, Runner-Info, Zeitstempel und mehr.

In ClickHouses spaltenorientiertem Format ist das Denormalisieren von 48 Spalten auf jede einzelne Log-Zeile praktisch kostenlos. Eine Spalte wie commit_message hat denselben Wert für jede Log-Zeile in einem CI-Lauf, und ein einziger Lauf kann Tausende von Log-Zeilen produzieren. ClickHouse speichert diese Tausende identischer Werte in Folge. Der Kompressionsalgorithmus erkennt die Wiederholung und komprimiert sie auf fast nichts.

Kompressionsverhältnisse:

• commit_message: 301:1
• display_title: 160:1
• workflow_path: 79:1
• step_name: 52:1
• job_name: 48:1

Ohne Denormalisierung würde jede Abfrage einen Join erfordern. Damit sind sie alle einfache Filter.