Déboguer un petit agent IA sur un vieux téléphone Nokia : 18 tentatives pour réussir

Un développeur a tenté d'exécuter Picobot, un agent IA en un seul binaire d'environ 12 Mo écrit en Go, sur un vieux téléphone Android Nokia via Termux. L'objectif était un agent de poche 24h/24 et 7j/7 avec intégration Telegram, prise en charge d'outils (récupération web, shell), mémoire et des coûts récurrents minimaux.

Les 18 tentatives infructueuses

Les tentatives 1 à 4 ont utilisé des modèles gratuits d'OpenRouter (Gemini flash-exp, Qwen 2.5 7B, Llama 3.3 70B, Llama 3.2 3B), toutes échouant avec des erreurs 404 "Aucun point de terminaison trouvé prenant en charge l'utilisation d'outils" ou des erreurs d'ID de modèle invalide. Le routage du niveau gratuit n'activa pas les outils sur la plupart des petits modèles.

Les tentatives 5 à 8 ont utilisé Groq directement (Llama 3.3 70B, Mixtral 8x7B, Llama 3.1 8B, Gemma 2 9B). Les modèles étaient soit déclassés (erreurs 400), soit produisaient des formats d'outils invalides (balises XML <function>), provoquant des erreurs 400 tool_use_failed ou des boucles de réponses sans fin.

La tentative 9 a utilisé GLM-4.5-Air :free, qui a initialement réussi avec des blagues et la météo, mais une requête sur l'action AAPL a explosé le contexte (~330k tokens), entraînant une erreur de dépassement 400.

Les tentatives 10 à 11 ont testé d'autres modèles gratuits d'OpenRouter (Llama 3.1 70B, Qwen 3 8B) avec le même problème de points de terminaison sans outils 404.

La tentative 12 a utilisé Groq Llama 3.1 8B avec temperature=0.3, mais a toujours eu des hallucinations de balises et des boucles.

La tentative 13 a essayé Claude 3.5 Sonnet via le proxy OpenRouter, résultant en un 402 Paiement requis en raison d'un solde OpenRouter de 0 $.

La tentative 14 a ajouté 5 $ à OpenRouter, ce qui a authentifié le proxy et permis des réponses basiques.

La tentative 15 a utilisé le même modèle Claude 3.5 mais a rencontré un dépassement de contexte sur les requêtes plus longues.

La tentative 16 est passée à Sonnet 4.6 (dernière version), mais un décalage de nom de modèle a causé une erreur 404.

La tentative 17 a impliqué une faute de frappe dans la configuration / une réinitialisation qui a désactivé Telegram et effacé le jeton.

La solution finale fonctionnelle

La tentative 18 a réussi avec gemini-2.5-flash via l'API directe de Google. Cette configuration est rapide, fiable, avec des réponses propres, aucun problème de troncature et une utilisation d'outils suffisante pour les besoins du développeur.

Fournisseur : API Google Gemini directe (utilisant une clé API personnelle)
Modèle : gemini-2.5-flash
Coût : Actuellement gratuit sous le niveau gratuit de Google (500 requêtes/jour avec un projet lié à la facturation)
Telegram : Jeton de bot et canal activés avec un traitement de messages propre

Pourquoi OpenRouter était le choix par défaut initial

Le créateur de Picobot a choisi OpenRouter car il garde le binaire minuscule et le code simple : un point de terminaison compatible OpenAI route vers des dizaines de modèles/fournisseurs, les utilisateurs changent de modèle en modifiant une ligne dans config.json, il prend en charge le niveau gratuit + BYOK, normalise l'appel d'outils entre les fournisseurs et bénéficie d'une dynamique communautaire en tant que routeur universel pour les agents open-source.

Cependant, le développeur a rencontré trop de limites avec OpenRouter : lacunes dans la prise en charge des outils, dépréciations, limites de débit, frais de proxy et bugs de validation.

Compromis

• Le niveau gratuit a des limites (500 requêtes par jour) - les dépassements entraînent des coûts minimes (~0,01–0,05 $/message)
• Pas entièrement local/privé (modèle cloud) mais rapide et intelligent sans limites matérielles du téléphone
• Pour zéro frais à long terme, Ollama local sur Mac est une option mais plus lent et moins capable pour les outils