Développement Lisp avec des agents IA : Coûts élevés et défis techniques

Performance des agents IA avec Lisp par rapport à d'autres langages

Un ingénieur DevOps utilisant OpenRouter avec Goose CLI pour le développement agentique IA a découvert des différences significatives dans les performances de l'IA entre les langages de programmation. En travaillant sur un outil de conversion de format de lecteur RSS en Lisp, il a rencontré de multiples défis qui ont rendu le développement coûteux et inefficace par rapport à Python ou Go.

Détails techniques de mise en œuvre

L'ingénieur a d'abord essayé de faire interagir les agents IA avec le REPL Lisp en utilisant des commandes tmux : tmux capture-pane -t 0.0 -p | tail -n 1. Cette approche a consommé un nombre excessif de tokens, nécessité des commandes de pause et impliqué l'analyse de la sortie tmux. Claude a montré des progrès mais a toujours eu des difficultés, tandis que des modèles moins chers comme DeepSeek et Qwen ont mal performé malgré des résultats adéquats pour d'autres tâches.

Pour améliorer la situation, il a créé tmux-repl-mcp, un outil Python qui fournit une interface REPL plus directe. Au lieu d'interactions tmux complexes, les agents pouvaient simplement exécuter execute_command dans le REPL et recevoir la sortie directement. Il a choisi Python car sa configuration Goose existante utilisait uvx pour l'installation et la gestion des outils.

Comparaison des coûts et des performances

La différence entre le développement en Lisp et en Python avec l'IA était spectaculaire. Avec Python, il pouvait écrire tout le code et les tests en un jour ou deux en utilisant des modèles peu coûteux, ne nécessitant qu'un débogage semi-manuel. Avec Lisp, même après avoir implémenté tmux-repl-mcp, il a dépensé 10 dollars en 30 minutes avec Claude, et le rapport signal/bruit est resté médiocre par rapport à Python.

Observations clés de cette expérience :

• L'IA génère du code en suivant le chemin de moindre résistance, privilégiant par défaut des modèles courants comme QuickLisp même lorsqu'on lui demande d'utiliser des alternatives comme OCICL
• La nature à haute latence des requêtes-réponses des API IA entre en conflit avec les flux de travail de développement REPL
• Les langages avec un volume élevé sur internet (Go, Python) sont des ordres de grandeur plus faciles et moins chers pour le développement assisté par IA
• L'IA a transformé la popularité des langages en économies réelles par million de tokens

L'ingénieur a noté que, quel que soit le langage, son rôle restait similaire : agir en tant que propriétaire de produit ayant des opinions fortes pour gérer l'IA. Cependant, l'expérience manquait du plaisir habituel d'écrire du Lisp directement, ce qui l'a amené à envisager de réécrire le projet en Go pour une meilleure compatibilité avec l'IA.