boxBot: ClaudeとHailo AI搭載のオープンソーススマートスピーカー

FunScore645という開発者がboxBotを構築しました。これは、厳格なルールではなく、Claudeを使ったエージェント駆動のハードウェア制御を採用したスマートスピーカーです。プロジェクトはgithub.com/dv-hart/boxbotでオープンソース化されており、まだ開発中ではありますが、日常の家族向けタスクにはすでに役立っています。

ハードウェアと構造

ハードウェアスタックは以下の通りです。

• Raspberry Pi（モデルは未指定）
• Hailo AIアクセラレータ（エッジ推論用と推測）
• Respeakerマイクアレイ
• Raspberry Piカメラ
• Waveshareディスプレイ
• スピーカー

筐体はウォールナット材で手作りされ、パッシブ冷却を採用。開発者はClaudeを使って熱負荷と放熱率を計算し、設計に反映しました。

エージェント駆動のアーキテクチャ

複雑な会話ルールの代わりに、エージェント（おそらくClaudeベース）がカスタムPython SDKを通じてハードウェアを直接制御します。主な機能は以下の通りです。

• 動的ミュート: エージェントが周囲の雑音や横の会話を無視するために、マイクをミュートするタイミングを決定。
• 割り込み処理: 明示的なルールなしに割り込みを管理するエージェント駆動のロジック。
• マルチチャンネル応答: 音声またはWhatsAppで応答可能で、エージェントが選択。
• ウィジェットベースの表示: 画面はJSONウィジェットフレームワークを使用。エージェントはスクリーンショットを介さずにJSONでウィジェットを読み取り、操作。

スキルシステムと柔軟性

エージェントは少数のツールセットを使用し、ほとんどのロジックはPythonスクリプトとboxBot SDKを通じて処理されます。スキルはMarkdownファイルで定義されます。例：開発者が家族のカレンダーイベントを追加したとき、妻がテキスト通知を希望。彼は.mdファイルに1行追加しただけで、エージェントはカレンダースキルを更新し、新しいイベントが入ると自動的にWhatsAppメッセージを送信するようになりました。

メモリとセキュリティ

開発者はカスタムメモリシステムとセキュリティ上の考慮事項（リビングルームのカメラとマイク）に言及していますが、詳細はコメントに委ねています。エージェントはセキュリティのためにハードウェアと密結合されています。

対象読者

AI駆動のハードウェアプロジェクトを構築し、エージェント制御の周辺機器とオープンソース基盤に興味のある開発者。