SymDex: Открытый MCP-индексатор кода сокращает потребление токенов ИИ-агентами

Что делает SymDex

SymDex решает конкретную проблему современных AI-агентов для программирования: когда их просят найти функцию, они обычно читают весь файл, содержащий эту функцию, расходуя токены контекстного окна, прежде чем приступить к реальной работе. Разработчик создал SymDex, потому что каждый AI-агент, который он использовал, читал целые файлы только для поиска одной функции.

Расчёт токенов

Согласно исходному материалу, файл на 300 строк содержит примерно 10 500 символов. При использовании BPE-токенизаторов (которые применяют основные LLM), обрабатывающих примерно 3–4 символа на токен, это около 3000 токенов для кода, плюс пробелы для отступов и обрамление ответа, что в сумме составляет примерно 3400 токенов для поиска одной функции. В реальной сессии отладки может потребоваться работа с 8–10 файлами, что поглощает большую часть контекстного окна до внесения каких-либо исправлений.

Как это работает

SymDex один раз предварительно индексирует вашу базу кода. После индексации ваш агент точно знает, где находится каждая функция и класс, без чтения полных файлов. Тот же файл на 300 строк, чтение которого обходится в ~3400 токенов, с SymDex возвращает результаты примерно за ~100 токенов.

Дополнительные функции включают:

• Локальный семантический поиск (поиск функций по их назначению, а не только по имени)
• Отслеживание графа вызовов, чтобы ваш агент знал, что сломается, прежде чем что-либо трогать

Начало работы

Установка и базовое использование:

pip install symdex
symdex index ./your-project --name myproject
symdex search "validate email"

Совместимость и лицензирование

SymDex работает с Claude, Codex, Gemini CLI, Cursor, Windsurf и любыми агентами, совместимыми с MCP. Также у него есть автономный CLI. Инструмент бесплатный, имеет лицензию MIT и полностью работает на вашем компьютере. Он поддерживает 12 языков программирования.