boxBot: Ein Open-Source-Smart-Lautsprecher mit Claude und Hailo KI

Ein unter dem Namen FunScore645 bekannter Entwickler hat boxBot gebaut, einen intelligenten Lautsprecher, der Claude für eine agentengesteuerte Hardwaresteuerung anstelle starrer Regeln nutzt. Das Projekt ist auf github.com/dv-hart/boxbot als Open Source verfügbar und befindet sich noch in Arbeit, ist aber bereits für alltägliche Familienaufgaben nützlich.

Hardware und Aufbau

Der Hardware-Stack umfasst:

• Raspberry Pi (Modell nicht näher bezeichnet)
• Hailo AI-Beschleuniger (vermutlich für Edge-Inferenz)
• Respeaker-Mikrofon-Array
• Raspberry Pi Kamera
• Waveshare Display
• Lautsprecher

Das Gehäuse ist handgefertigt aus Walnussholz mit passiver Kühlung – der Entwickler nutzte Claude, um die thermischen Lasten und Abstrahlraten für das Design zu berechnen.

Agentengesteuerte Architektur

Anstatt komplexer Gesprächsregeln steuert der Agent (vermutlich Claude-basiert) die Hardware direkt über ein benutzerdefiniertes Python-SDK. Hauptfunktionen:

• Dynamisches Stummschalten: Der Agent entscheidet, wann das Mikrofon stummgeschaltet wird, um Hintergrundgeräusche oder Nebengespräche zu ignorieren.
• Unterbrechungshandhabung: Die agentengesteuerte Logik verwaltet Unterbrechungen ohne explizite Regeln.
• Mehrkanalantwort: Kann per Sprache oder WhatsApp antworten – vom Agenten ausgewählt.
• Widget-basierte Anzeige: Der Bildschirm verwendet ein JSON-Widget-Framework – der Agent liest und manipuliert Widgets über JSON ohne Screenshots.

Skillsystem und Flexibilität

Der Agent verwendet eine kleine Anzahl von Werkzeugen, wobei die meiste Logik über Python-Skripte und das boxBot-SDK läuft. Skills werden in Markdown-Dateien definiert. Beispiel: Als der Entwickler ein Familienkalenderereignis hinzufügte, wollte seine Frau eine Textbenachrichtigung. Er fügte eine Zeile in eine .md-Datei ein, und der Agent aktualisierte den Kalender-Skill, um automatisch eine WhatsApp-Nachricht bei neuen Ereignissen zu senden.

Speicher und Sicherheit

Der Entwickler erwähnt ein benutzerdefiniertes Speichersystem und Sicherheitsaspekte (Kamera + Mikrofon im Wohnzimmer), verschiebt Details aber in die Kommentare. Der Agent ist aus Sicherheitsgründen eng mit der Hardware gekoppelt.

Für wen es gedacht ist

Entwickler, die daran interessiert sind, KI-gesteuerte Hardwareprojekte mit agentengesteuerten Peripheriegeräten und Open-Source-Grundlagen zu bauen.