LLM генерируют SQL-запросы для анализа терабайтов логов непрерывной интеграции за секунды.

✍️ OpenClawRadar📅 Опубликовано: 27 февраля 2026 г.🔗 Source
LLM генерируют SQL-запросы для анализа терабайтов логов непрерывной интеграции за секунды.
Ad

ИИ-агент Mendral отследил нестабильный тест до изменения зависимости тремя неделями ранее, написав собственные SQL-запросы, просканировав сотни миллионов строк логов в дюжине запросов и проследив цепочку от метаданных задания до исходного вывода логов. Всё расследование заняло секунды.

Каждую неделя через их систему проходит около 1,5 миллиарда строк логов CI и 700 тысяч заданий. Всё это попадает в ClickHouse со сжатием 35:1. Всё это можно запрашивать за миллисекунды.

SQL-интерфейс для агента

Они предоставляют агенту SQL-интерфейс, ограниченный организацией, которую он исследует. Агент строит собственные запросы на основе вопроса. Никакой предопределённой библиотеки запросов, никакого жёсткого API инструментов. Ограниченный API инструментов, такой как get_failure_rate(workflow, days), ограничил бы агента предсказуемыми вопросами. SQL-интерфейс позволяет ему задавать вопросы, о которых никогда не думали, что важно при отладке новых сбоев.

Агент запрашивает две основные цели:

  • Метаданные заданий: материализованное представление с одной строкой на выполнение задания CI. Агент использует это в 63% случаев для вопросов типа «как часто это падает?», «каков процент успеха?», «какие задания самые медленные?», «когда это начало падать?»
  • Исходные строки логов: одна строка на строку лога. Агент использует это в 37% случаев для вопросов типа «покажи мне вывод ошибки для этого задания», «когда впервые появился этот шаблон лога?», «как часто это сообщение об ошибке встречается в разных запусках?»
Ad

Шаблоны запросов и масштаб

Они проанализировали 8 534 сессии агента и 52 312 запросов из их конвейера наблюдаемости. Агент не останавливается на одном запросе. Он расследует — начинает широко, затем углубляется.

Всего строк, просканированных во всех запросах для ответа на один вопрос:

  • Типичный вопрос: 335 тысяч строк примерно в 3 запросах
  • P75: 5,2 миллиона строк
  • P95: 940 миллионов строк
  • Самые тяжёлые сессии с исходными логами сканируют 4,3 миллиарда строк

Агент в среднем выполняет 4,4 запроса за сессию. Типичное расследование начинается с метаданных заданий (дешёвые запросы, медиана 47 тысяч строк) против компактного, предварительно агрегированного материализованного представления. Когда он находит что-то интересное, он углубляется в исходные логи (дорогие запросы, медиана 1,1 миллиона строк).

Архитектура данных

Чтобы агент мог запрашивать так быстро, данные должны быть структурированы для него. До 300 миллионов строк логов проходят в напряжённый день. Они используют ClickHouse.

Каждая строка лога содержит 48 столбцов метаданных: полный контекст CI-запуска, к которому она принадлежит. SHA коммита, автор, ветка, заголовок PR, название workflow, название задания, название шага, информация о раннере, временные метки и многое другое.

В колоночном формате ClickHouse денормализация 48 столбцов на каждую строку лога практически бесплатна. Столбец вроде commit_message имеет одинаковое значение для каждой строки лога в CI-запуске, а один запуск может производить тысячи строк логов. ClickHouse хранит эти тысячи идентичных значений последовательно. Алгоритм сжатия видит повторение и сжимает его почти до нуля.

Коэффициенты сжатия:

  • commit_message: 301:1
  • display_title: 160:1
  • workflow_path: 79:1
  • step_name: 52:1
  • job_name: 48:1

Без денормализации каждый запрос потребовал бы соединения. С ней все они — простые фильтры.

📖 Read the full source: HN LLM Tools

Ad

👀 Смотрите также

Разработчик создает 6 ИИ-агентов Claude для управления 15 побочными проектами.
Кейсы

Разработчик создает 6 ИИ-агентов Claude для управления 15 побочными проектами.

Разработчик, работающий инженером на полную ставку, создал шесть специализированных агентов Claude для управления ежедневными операциями 15 побочных проектов, используя Claude Code, файлы markdown и git worktrees без собственной платформы.

OpenClawRadar
Искусственный интеллект восстановил работу интернет-магазина после сбоя в 3 часа ночи без участия человека.
Кейсы

Искусственный интеллект восстановил работу интернет-магазина после сбоя в 3 часа ночи без участия человека.

Интернет-магазин, полностью управляемый ИИ-агентами, столкнулся с необработанным исключением, которое вывело из строя конвейер заказов в 3 часа ночи. Система самостоятельно обнаружила сбой, определила первопричину, попыталась устранить проблему, проверила восстановление и возобновила работу до утра.

OpenClawRadar
Искусственный интеллект Claude помогает пользователю в ремонте автомобильного люка с помощью полиуретанового стекольного клея
Кейсы

Искусственный интеллект Claude помогает пользователю в ремонте автомобильного люка с помощью полиуретанового стекольного клея

Пользователь отремонтировал люк на крыше Ford Fusion 2012 года, который открылся на трассе, следуя пошаговым инструкциям Claude по очистке ржавчины и нанесению полиуретанового стекольного клея, избежав замены за $1500 на машине стоимостью $5000.

OpenClawRadar
🦀
Кейсы

Клод Код написал каждую строку видео запуска 50-х годов в Remotion — но на это ушло ~100 запросов

Разработчик подробно рассказывает, как использовал Claude Code для генерации каждой строки TypeScript/TSX для рекламного видео Remotion. Процесс потребовал ~100 промптов, подробного креативного брифа, итераций по сценам и частых git diff.

OpenClawRadar