Отладка крошечного ИИ-агента на старом телефоне Nokia: 18 попыток до успеха

Разработчик попытался запустить Picobot, ~12 МБ однобинарного ИИ-агента на Go, на старом Android-телефоне Nokia через Termux. Целью был круглосуточный карманный агент с интеграцией Telegram, поддержкой инструментов (веб-запросы, shell), памятью и минимальными повторяющимися затратами.

18 неудачных попыток

Попытки 1–4 использовали бесплатные модели OpenRouter (Gemini flash-exp, Qwen 2.5 7B, Llama 3.3 70B, Llama 3.2 3B), все завершились ошибкой 404 «Не найдены конечные точки, поддерживающие использование инструментов» или ошибками неверного ID модели. Маршрутизация бесплатного тарифа не включала инструменты для большинства небольших моделей.

Попытки 5–8 использовали прямой доступ к Groq (Llama 3.3 70B, Mixtral 8x7B, Llama 3.1 8B, Gemma 2 9B). Модели либо были сняты с поддержки (ошибки 400), либо галлюцинировали неверные форматы инструментов (XML-теги <function>), вызывая ошибки 400 tool_use_failed или бесконечные циклы спама в ответах.

Попытка 9 использовала GLM-4.5-Air :free, которая изначально работала с шутками и погодой, но запрос о акциях AAPL взорвал контекст (~330 тыс. токенов), что привело к ошибке переполнения 400.

Попытки 10–11 пробовали другие бесплатные модели OpenRouter (Llama 3.1 70B, Qwen 3 8B) с той же проблемой отсутствия конечных точек для инструментов (404).

Попытка 12 использовала Groq Llama 3.1 8B с temperature=0.3, но всё равно возникали галлюцинации тегов и циклы.

Попытка 13 пробовала Claude 3.5 Sonnet через прокси OpenRouter, что привело к ошибке 402 «Требуется оплата» из-за нулевого баланса OpenRouter.

Попытка 14 добавила $5 на OpenRouter, что аутентифицировало прокси и позволило получать базовые ответы.

Попытка 15 использовала ту же модель Claude 3.5, но столкнулась с переполнением контекста на длинных запросах.

Попытка 16 переключилась на Sonnet 4.6 (последнюю), но несоответствие имени модели вызвало ошибку 404.

Попытка 17 включала опечатку в конфиге/сброс при первичной настройке, что отключило Telegram и стёрло токен.

Финальное рабочее решение

Попытка 18 увенчалась успехом с gemini-2.5-flash через прямой API Google. Эта настройка быстрая, надёжная, с чистыми ответами, без проблем с усечением и достаточной поддержкой инструментов для нужд разработчика.

Провайдер: Прямой API Google Gemini (используя личный API-ключ)
Модель: gemini-2.5-flash
Стоимость: В настоящее время бесплатно в рамках бесплатного тарифа Google (500 запросов/день с привязанным к биллингу проектом)
Telegram: Токен бота и канал включены с чистой обработкой сообщений

Почему OpenRouter изначально был выбором по умолчанию

Создатель Picobot выбрал OpenRouter, потому что это сохраняет бинарник крошечным, а код простым: один совместимый с OpenAI конечный пункт маршрутизирует к десяткам моделей/провайдеров, пользователи меняют модели, изменяя одну строку в config.json, он поддерживает бесплатный тариф + BYOK, стандартизирует вызов инструментов между провайдерами и имеет импульс сообщества как универсальный маршрутизатор для open-source агентов.

Однако разработчик столкнулся со слишком многими ограничениями в OpenRouter: пробелы в поддержке инструментов, устаревание, ограничения скорости, плата за прокси и сбои валидации.

Компромиссы

• Бесплатный тариф имеет ограничения (500 запросов в день) — превышение влечёт минимальные расходы (~$0.01–$0.05/сообщение)
• Не полностью локальный/приватный (облачная модель), но быстрый и умный без ограничений аппаратного обеспечения телефона
• Для нулевой платы в долгосрочной перспективе, локальный Ollama на Mac — вариант, но медленнее и менее способен для инструментов