Orkestra : Couche de Routage LLM Consciente des Coûts pour OpenClaw Réduit les Coûts d'API de 60 à 80 %

Ce que fait Orkestra

Orkestra est une couche de routage LLM consciente des coûts, conçue pour OpenClaw, qui réduit les coûts d'API de 60 à 80 %. C'est une architecture modulaire qui se place devant les appels aux modèles et décide quel niveau doit traiter chaque requête en fonction de la similarité sémantique.

Comment cela fonctionne

Lorsqu'un prompt arrive, il est intégré et passé à travers un classificateur KNN léger entraîné sur des charges de travail précédemment étiquetées. En fonction de la similarité sémantique, le routeur le catégorise comme budget, balanced ou premium et transfère l'appel en conséquence.

Il n'y a pas de réécriture de prompt et pas d'arbre de règles complexe — juste une classification sémantique au moment de l'appel. La réduction des coûts d'API provient principalement du fait d'empêcher les prompts plus simples d'être traités par défaut par les modèles les plus coûteux.

Intégration avec OpenClaw

Orkestra s'intègre en tant que compétence OpenClaw via un proxy local, de sorte que les pipelines existants restent totalement intacts. L'agent l'appelle via bash/curl vers un point de terminaison compatible OpenAI sur 127.0.0.1:8765.

La réponse inclut une transparence complète des coûts avec les champs _orkestra.cost et _orkestra.savings_percent.

Fournisseurs pris en charge et configuration

• Fournisseurs pris en charge : Google (Gemini), Anthropic (Claude), OpenAI
• Routage entre les niveaux budget/équilibré/premium au sein de chaque fournisseur
• Prend en charge le mode multi-fournisseur sur les trois fournisseurs
• Dépôt et intégration OpenClaw disponibles à : github.com/imperativelabs/orkestra
• Voir integrations/openclaw/ pour les fichiers de compétence, le proxy et des exemples de configuration