Использование локальных языковых моделей для внутренней перелинковки на статическом сайте

Разработчик поделился практическим примером использования локальных LLM: создание внутренних ссылок для статического сайта с примерно 400 MDX-страницами в одном подкаталоге. Вместо ручного чтения всех страниц для поиска релевантных связей они автоматизировали процесс с помощью локальных моделей.

Рабочий процесс

Разработчик сначала использовал Claude Code для написания скрипта, который создал карту метаданных всех MDX-файлов. Эта карта содержала основные детали, такие как заголовок, слаг, описание и теги — но не полное содержимое страницы, что было бы слишком ресурсоёмко.

После создания карты они запрашивали каждую страницу, передавая по одной четверти карты за раз модели Gemma3 27B, запуская каждую страницу четыре раза. Модели предлагалось найти релевантные страницы из карты, на которые можно было бы сослаться с основной запрашиваемой страницы.

Проблема и решение

Изначально теги в метаданных были слишком общими для понимания Gemma3, что приводило к случайным ссылкам. Разработчик определил, что проблема заключалась в качестве данных.

Чтобы это исправить, они снова использовали Claude Code для написания другого скрипта, который пропускал каждую запись через модель для её разметки из предопределённого набора тегов. При локальном запуске сайта они проверяли, что предопределённый набор тегов соблюдается, чтобы обеспечить согласованность перед публикацией изменений.

Технические ограничения

Процесс требовал тщательного управления аппаратным обеспечением из-за генерации тепла. При внешней температуре 41°C компьютер быстро нагревался, что вынуждало разработчика останавливать и перезапускать скрипт несколько раз, чтобы предотвратить перегрев GPU на его единственной видеокарте 3090 Ti.

После внедрения системы разметки и пересоздания карты процесс создания ссылок работал гладко для протестированных страниц. Разработчик планирует вручную проверить все 400 страниц перед тем, как сделать изменения публичными.