LLM генерируют SQL-запросы для анализа терабайтов логов непрерывной интеграции за секунды.

✍️ OpenClawRadar📅 Опубликовано: 27 февраля 2026 г.🔗 Source
LLM генерируют SQL-запросы для анализа терабайтов логов непрерывной интеграции за секунды.
Ad

ИИ-агент Mendral отследил нестабильный тест до изменения зависимости тремя неделями ранее, написав собственные SQL-запросы, просканировав сотни миллионов строк логов в дюжине запросов и проследив цепочку от метаданных задания до исходного вывода логов. Всё расследование заняло секунды.

Каждую неделя через их систему проходит около 1,5 миллиарда строк логов CI и 700 тысяч заданий. Всё это попадает в ClickHouse со сжатием 35:1. Всё это можно запрашивать за миллисекунды.

SQL-интерфейс для агента

Они предоставляют агенту SQL-интерфейс, ограниченный организацией, которую он исследует. Агент строит собственные запросы на основе вопроса. Никакой предопределённой библиотеки запросов, никакого жёсткого API инструментов. Ограниченный API инструментов, такой как get_failure_rate(workflow, days), ограничил бы агента предсказуемыми вопросами. SQL-интерфейс позволяет ему задавать вопросы, о которых никогда не думали, что важно при отладке новых сбоев.

Агент запрашивает две основные цели:

  • Метаданные заданий: материализованное представление с одной строкой на выполнение задания CI. Агент использует это в 63% случаев для вопросов типа «как часто это падает?», «каков процент успеха?», «какие задания самые медленные?», «когда это начало падать?»
  • Исходные строки логов: одна строка на строку лога. Агент использует это в 37% случаев для вопросов типа «покажи мне вывод ошибки для этого задания», «когда впервые появился этот шаблон лога?», «как часто это сообщение об ошибке встречается в разных запусках?»
Ad

Шаблоны запросов и масштаб

Они проанализировали 8 534 сессии агента и 52 312 запросов из их конвейера наблюдаемости. Агент не останавливается на одном запросе. Он расследует — начинает широко, затем углубляется.

Всего строк, просканированных во всех запросах для ответа на один вопрос:

  • Типичный вопрос: 335 тысяч строк примерно в 3 запросах
  • P75: 5,2 миллиона строк
  • P95: 940 миллионов строк
  • Самые тяжёлые сессии с исходными логами сканируют 4,3 миллиарда строк

Агент в среднем выполняет 4,4 запроса за сессию. Типичное расследование начинается с метаданных заданий (дешёвые запросы, медиана 47 тысяч строк) против компактного, предварительно агрегированного материализованного представления. Когда он находит что-то интересное, он углубляется в исходные логи (дорогие запросы, медиана 1,1 миллиона строк).

Архитектура данных

Чтобы агент мог запрашивать так быстро, данные должны быть структурированы для него. До 300 миллионов строк логов проходят в напряжённый день. Они используют ClickHouse.

Каждая строка лога содержит 48 столбцов метаданных: полный контекст CI-запуска, к которому она принадлежит. SHA коммита, автор, ветка, заголовок PR, название workflow, название задания, название шага, информация о раннере, временные метки и многое другое.

В колоночном формате ClickHouse денормализация 48 столбцов на каждую строку лога практически бесплатна. Столбец вроде commit_message имеет одинаковое значение для каждой строки лога в CI-запуске, а один запуск может производить тысячи строк логов. ClickHouse хранит эти тысячи идентичных значений последовательно. Алгоритм сжатия видит повторение и сжимает его почти до нуля.

Коэффициенты сжатия:

  • commit_message: 301:1
  • display_title: 160:1
  • workflow_path: 79:1
  • step_name: 52:1
  • job_name: 48:1

Без денормализации каждый запрос потребовал бы соединения. С ней все они — простые фильтры.

📖 Read the full source: HN LLM Tools

Ad

👀 Смотрите также

Отчеты разработчиков о проблемах в ИИ-кодинге: проектные решения и отладка с реальными пользователями
Кейсы

Отчеты разработчиков о проблемах в ИИ-кодинге: проектные решения и отладка с реальными пользователями

Разработчик, создающий приложение для iOS с помощью Claude Code в течение 5 месяцев, сообщает, что хотя ИИ легко генерирует рабочий код, принятие дизайнерских решений и отладка проблем, которые проявляются только у реальных пользователей, являются самыми сложными частями. Приложение содержит 220 тысяч строк кода, и его тестируют реальные пользователи.

OpenClawRadar
Модифицированный vLLM 0.17.0 работает на Tesla P40 для транскрипции в реальном времени с использованием Qwen3 ASR 1.7B.
Кейсы

Модифицированный vLLM 0.17.0 работает на Tesla P40 для транскрипции в реальном времени с использованием Qwen3 ASR 1.7B.

Разработчик модифицировал vLLM 0.17.0 для работы на графических процессорах Tesla P40 с архитектурой Pascal, достигнув почти полного аппаратного ускорения для транскрипции лекций в реальном времени с использованием модели Qwen3 ASR 1.7B. Форк доступен на GitHub.

OpenClawRadar
Пакетный API экономически эффективен для изменений кода в нескольких файлах
Кейсы

Пакетный API экономически эффективен для изменений кода в нескольких файлах

Разработчик сообщает об использовании Claude Sonnet и Opus для пакетной обработки с целью изменения 30+ файлов и генерации 3 тысяч строк кода примерно за £2, с использованием конкретных промптов и инструментов, таких как Repomix для сбора контента и Minimax для очистки.

OpenClawRadar
Использование Claude Code для устранения проблем с конфигурацией OpenClaw
Кейсы

Использование Claude Code для устранения проблем с конфигурацией OpenClaw

Разработчик использовал Claude Code для исправления настроек OpenClaw, конфигурации heartbeat, памяти, cron-задач и других проблем с настройкой после неудачных попыток ручной настройки и переключения версий.

OpenClawRadar