Erstellung eines Discord-Katzenüberwachungsbots mit ESP32-S3, MiniClaw und multimodaler KI

Edge-Agent-Einrichtung zur Katzenüberwachung

Ein Entwickler hat einen Discord-Bot erstellt, der seine Katze mithilfe eines ESP32-S3 Sense als Edge-Agent überwacht. Das System macht Fotos oder nimmt Audio auf, wenn es über Discord-Erwähnungen ausgelöst wird, und sendet die Medien dann zur Analyse an ein multimodales LLM.

Hardware- und Software-Stack

Die Implementierung verwendet folgende Komponenten:

• Hardware: XIAO ESP32-S3 Sense (Vision-Version) – klein genug, um in einem Kratzbaum versteckt zu werden
• Kommunikation: Web-UI + WebSocket-Einrichtung für Latenzarmes Debugging
• KI-Modell: Zhipu AIs multimodales VLM-4V-Modell
• Plattform: Discord für die Bot-Interaktion

So funktioniert es

Der Ablauf ist einfach: Wenn jemand den Bot auf Discord @erwähnt, macht der ESP32-S3 entweder ein Foto oder nimmt Audio auf. Diese Medien werden an das VLM (Vision-Language Model) gesendet, das sie analysiert und natürliche Sprachbeschreibungen dessen zurückgibt, was passiert. Anstatt mit „Bewegung erkannt“-Spam überschüttet zu werden, erhalten die Nutzer spezifische Beschreibungen wie „Ihre Katze schläft auf dem Sofa“ oder „Die Katze spielt mit einem Spielzeug“.

Aktuelle Einschränkungen und Zukunftspläne

Der Entwickler hat mehrere Verbesserungsbereiche identifiziert:

• Bildqualität: Aktuelle Aufnahmen sind „ziemlich unscharf“ und „mittelmäßig“, aber funktionsfähig
• Feste Position: Das Gerät hat einen festen Blickwinkel – erwägt, Mobilität über Servobrackets oder Rover-Mechaniken hinzuzufügen
• Audio-Intelligenz: Plant, eine Vokalisierungsklassifizierung hinzuzufügen, um zwischen hungrigem Miauen, Zoomies oder allgemeinem Geschrei zu unterscheiden

Der Entwickler merkt an, dass die Implementierung „überraschend unkompliziert“ war und besser funktioniert als erwartet, wobei die VLM-Analyse trotz der unscharfen Bildqualität „überraschend treffsicher“ ist.