LLM генерируют SQL-запросы для анализа терабайтов логов непрерывной интеграции за секунды.

ИИ-агент Mendral отследил нестабильный тест до изменения зависимости тремя неделями ранее, написав собственные SQL-запросы, просканировав сотни миллионов строк логов в дюжине запросов и проследив цепочку от метаданных задания до исходного вывода логов. Всё расследование заняло секунды.

Каждую неделя через их систему проходит около 1,5 миллиарда строк логов CI и 700 тысяч заданий. Всё это попадает в ClickHouse со сжатием 35:1. Всё это можно запрашивать за миллисекунды.

SQL-интерфейс для агента

Они предоставляют агенту SQL-интерфейс, ограниченный организацией, которую он исследует. Агент строит собственные запросы на основе вопроса. Никакой предопределённой библиотеки запросов, никакого жёсткого API инструментов. Ограниченный API инструментов, такой как get_failure_rate(workflow, days), ограничил бы агента предсказуемыми вопросами. SQL-интерфейс позволяет ему задавать вопросы, о которых никогда не думали, что важно при отладке новых сбоев.

Агент запрашивает две основные цели:

• Метаданные заданий: материализованное представление с одной строкой на выполнение задания CI. Агент использует это в 63% случаев для вопросов типа «как часто это падает?», «каков процент успеха?», «какие задания самые медленные?», «когда это начало падать?»
• Исходные строки логов: одна строка на строку лога. Агент использует это в 37% случаев для вопросов типа «покажи мне вывод ошибки для этого задания», «когда впервые появился этот шаблон лога?», «как часто это сообщение об ошибке встречается в разных запусках?»

Шаблоны запросов и масштаб

Они проанализировали 8 534 сессии агента и 52 312 запросов из их конвейера наблюдаемости. Агент не останавливается на одном запросе. Он расследует — начинает широко, затем углубляется.

Всего строк, просканированных во всех запросах для ответа на один вопрос:

• Типичный вопрос: 335 тысяч строк примерно в 3 запросах
• P75: 5,2 миллиона строк
• P95: 940 миллионов строк
• Самые тяжёлые сессии с исходными логами сканируют 4,3 миллиарда строк

Агент в среднем выполняет 4,4 запроса за сессию. Типичное расследование начинается с метаданных заданий (дешёвые запросы, медиана 47 тысяч строк) против компактного, предварительно агрегированного материализованного представления. Когда он находит что-то интересное, он углубляется в исходные логи (дорогие запросы, медиана 1,1 миллиона строк).

Архитектура данных

Чтобы агент мог запрашивать так быстро, данные должны быть структурированы для него. До 300 миллионов строк логов проходят в напряжённый день. Они используют ClickHouse.

Каждая строка лога содержит 48 столбцов метаданных: полный контекст CI-запуска, к которому она принадлежит. SHA коммита, автор, ветка, заголовок PR, название workflow, название задания, название шага, информация о раннере, временные метки и многое другое.

В колоночном формате ClickHouse денормализация 48 столбцов на каждую строку лога практически бесплатна. Столбец вроде commit_message имеет одинаковое значение для каждой строки лога в CI-запуске, а один запуск может производить тысячи строк логов. ClickHouse хранит эти тысячи идентичных значений последовательно. Алгоритм сжатия видит повторение и сжимает его почти до нуля.

Коэффициенты сжатия:

• commit_message: 301:1
• display_title: 160:1
• workflow_path: 79:1
• step_name: 52:1
• job_name: 48:1

Без денормализации каждый запрос потребовал бы соединения. С ней все они — простые фильтры.