boxBot : Un haut-parleur intelligent open-source propulsé par Claude et Hailo AI

Un développeur connu sous le nom de FunScore645 a construit boxBot, un haut-parleur intelligent qui utilise Claude pour le contrôle matériel piloté par agent plutôt que des règles rigides. Le projet est open-sourcé sur github.com/dv-hart/boxbot et est encore en développement mais déjà utile pour les tâches familiales quotidiennes.

Matériel et construction

La pile matérielle comprend :

• Raspberry Pi (modèle non spécifié)
• Accélérateur IA Hailo (pour l'inférence en périphérie, probablement)
• Réseau de microphones Respeaker
• Caméra Raspberry Pi
• Écran Waveshare
• Haut-parleurs

Le boîtier est fabriqué à la main en noyer, avec refroidissement passif — le développeur a utilisé Claude pour calculer les charges thermiques et les taux de dissipation pour la conception.

Architecture pilotée par agent

Au lieu de règles de conversation complexes, l'agent (probablement basé sur Claude) contrôle directement le matériel via un SDK Python personnalisé. Capacités clés :

• Mise en sourdine dynamique : L'agent décide quand couper le micro pour ignorer le bruit de fond ou les conversations parallèles.
• Gestion des interruptions : La logique pilotée par agent gère les interruptions sans règles explicites.
• Réponse multicanal : Peut répondre par voix ou WhatsApp, choisi par l'agent.
• Affichage par widgets : L'écran utilise un framework de widgets JSON — l'agent lit et manipule les widgets via JSON sans capture d'écran.

Système de compétences et flexibilité

L'agent utilise un petit ensemble d'outils, la plupart de la logique étant acheminée via des scripts Python et le SDK boxBot. Les compétences sont définies dans des fichiers Markdown. Exemple : lorsque le développeur a ajouté un événement au calendrier familial, sa femme a souhaité une notification texte. Il a ajouté une ligne dans un fichier .md, et l'agent a mis à jour la compétence calendrier pour envoyer automatiquement un message WhatsApp lors de nouveaux événements.

Mémoire et sécurité

Le développeur mentionne un système de mémoire personnalisé et des considérations de sécurité (caméra+micro dans un salon) mais a reporté les détails aux commentaires. L'agent est étroitement couplé au matériel pour la sécurité.

À qui cela s'adresse

Les développeurs intéressés par la création de projets matériels pilotés par IA avec des périphériques contrôlés par agent et des fondations open-source.