Разработчик создает локального ИИ-исследовательского агента, который генерирует подкасты по заданным темам или ссылкам на YouTube.

Разработчик на r/LocalLLaMA создал автономного агента для исследований и подкастов, который работает полностью локально. То, что начиналось как попытка избежать оплаты услуг TTS (текст-в-речь), превратилось в полноценную систему, способную исследовать темы и представлять информацию в человекообразных форматах.

Что делает агент

Система принимает на вход либо тему, либо ссылку на YouTube и создаёт три результата:

• Детальный углублённый отчёт
• Сценарий разговорного подкаста
• Сгенерированное аудио для подкаста

Чем отличается от фиксированных конвейеров

Разработчик сосредоточился на том, чтобы агент вёл себя не как фиксированный конвейер, а как система, которая динамически решает, что делать дальше. Вместо пошагового выполнения он:

• Ищет и извлекает контент
• Извлекает инсайты (включая видео)
• Совершенствует сводки в несколько этапов
• Преобразует это в естественный диалог

Ключевые проблемы и решения, обнаруженные в процессе разработки

• Проблемы со скоростью: Изначальная производительность была низкой, но распараллеливание задач значительно улучшило ситуацию
• Поверхностные сводки: Первые сводки казались поверхностными, но внедрение многоэтапного совершенствования существенно помогло
• Роботизированное аудио: Аудио изначально звучало роботизированно, но переход к формату с 2-мя голосами сделало его гораздо естественнее

Разработчик отметил, что этот проект демонстрирует, насколько мы приблизились к выполнению мощной работы с ИИ полностью на локальных машинах, без использования облачных сервисов.