boxBot: Claude와 Hailo AI로 구동되는 오픈소스 스마트 스피커

FunScore645라는 개발자가 만든 boxBot은 고정된 규칙 대신 Claude를 사용해 에이전트가 하드웨어를 제어하는 스마트 스피커입니다. 이 프로젝트는 github.com/dv-hart/boxbot에서 오픈소스로 제공되며, 아직 개발 중이지만 일상적인 가족 작업에 유용하게 사용할 수 있습니다.

하드웨어 및 제작

하드웨어 스택은 다음과 같습니다:

• 라즈베리파이 (모델 미명시)
• Hailo AI 가속기 (엣지 추론용)
• Respeaker 마이크 어레이
• 라즈베리파이 카메라
• Waveshare 디스플레이
• 스피커

케이스는 호두나무로 수제 제작되었으며, 수동 냉각 방식을 사용합니다. 개발자는 Claude를 사용하여 열 부하와 방열률을 계산해 설계에 반영했습니다.

에이전트 주도 아키텍처

복잡한 대화 규칙 대신, 에이전트(Claude 기반으로 추정)가 커스텀 Python SDK를 통해 하드웨어를 직접 제어합니다. 주요 기능은 다음과 같습니다:

• 동적 음소거: 에이전트가 배경 소음이나 옆 대화를 무시하기 위해 마이크를 음소거할 시점을 결정합니다.
• 끼어들기 처리: 에이전트 주도 로직으로 명시적 규칙 없이 중단을 처리합니다.
• 다중 채널 응답: 음성 또는 WhatsApp으로 응답할 수 있으며, 에이전트가 선택합니다.
• 위젯 기반 디스플레이: 화면은 JSON 위젯 프레임워크를 사용하며, 에이전트가 스크린샷 없이 JSON을 통해 위젯을 읽고 조작합니다.

스킬 시스템 및 유연성

에이전트는 소수의 도구만 사용하며, 대부분의 로직은 Python 스크립트와 boxBot SDK를 통해 처리됩니다. 스킬은 Markdown 파일로 정의됩니다. 예를 들어, 개발자가 가족 일정 이벤트를 추가했을 때 아내가 문자 알림을 원했습니다. 개발자는 .md 파일에 한 줄을 추가했고, 에이전트는 일정 스킬을 업데이트하여 새 이벤트 발생 시 자동으로 WhatsApp 메시지를 보내도록 했습니다.

메모리 및 보안

개발자는 커스텀 메모리 시스템과 보안 고려 사항(거실에 카메라+마이크)을 언급했지만, 자세한 내용은 댓글에서 다루기로 했습니다. 보안을 위해 에이전트는 하드웨어와 긴밀하게 결합되어 있습니다.

대상 사용자

에이전트가 제어하는 주변 장치와 오픈소스 기반의 AI 구동 하드웨어 프로젝트를 구축하는 데 관심 있는 개발자.