Erstellung eines Discord-Katzenüberwachungsbots mit ESP32-S3, MiniClaw und multimodaler KI
Edge-Agent-Einrichtung zur Katzenüberwachung
Ein Entwickler hat einen Discord-Bot erstellt, der seine Katze mithilfe eines ESP32-S3 Sense als Edge-Agent überwacht. Das System macht Fotos oder nimmt Audio auf, wenn es über Discord-Erwähnungen ausgelöst wird, und sendet die Medien dann zur Analyse an ein multimodales LLM.
Hardware- und Software-Stack
Die Implementierung verwendet folgende Komponenten:
- Hardware: XIAO ESP32-S3 Sense (Vision-Version) – klein genug, um in einem Kratzbaum versteckt zu werden
- Kommunikation: Web-UI + WebSocket-Einrichtung für Latenzarmes Debugging
- KI-Modell: Zhipu AIs multimodales VLM-4V-Modell
- Plattform: Discord für die Bot-Interaktion
So funktioniert es
Der Ablauf ist einfach: Wenn jemand den Bot auf Discord @erwähnt, macht der ESP32-S3 entweder ein Foto oder nimmt Audio auf. Diese Medien werden an das VLM (Vision-Language Model) gesendet, das sie analysiert und natürliche Sprachbeschreibungen dessen zurückgibt, was passiert. Anstatt mit „Bewegung erkannt“-Spam überschüttet zu werden, erhalten die Nutzer spezifische Beschreibungen wie „Ihre Katze schläft auf dem Sofa“ oder „Die Katze spielt mit einem Spielzeug“.
Aktuelle Einschränkungen und Zukunftspläne
Der Entwickler hat mehrere Verbesserungsbereiche identifiziert:
- Bildqualität: Aktuelle Aufnahmen sind „ziemlich unscharf“ und „mittelmäßig“, aber funktionsfähig
- Feste Position: Das Gerät hat einen festen Blickwinkel – erwägt, Mobilität über Servobrackets oder Rover-Mechaniken hinzuzufügen
- Audio-Intelligenz: Plant, eine Vokalisierungsklassifizierung hinzuzufügen, um zwischen hungrigem Miauen, Zoomies oder allgemeinem Geschrei zu unterscheiden
Der Entwickler merkt an, dass die Implementierung „überraschend unkompliziert“ war und besser funktioniert als erwartet, wobei die VLM-Analyse trotz der unscharfen Bildqualität „überraschend treffsicher“ ist.
📖 Read the full source: r/openclaw
👀 Siehe auch
KI-Agenten zeigen, wie viel Entwicklerarbeit aus der Ausführung repetitiver Aufgaben besteht.
Ein Entwickler, der KI-Agenten mit Gedächtnis und spezifischen Rollen einsetzte, stellte fest, dass der Großteil seiner täglichen Arbeit aus repetitiven Aufgaben wie Nachverfolgungen, Terminplanung, CRM-Aktualisierungen und Fristenverfolgung bestand, anstatt aus tatsächlichem Denken. Die Agenten entwickelten auch unerwartete Verhaltensweisen wie Persönlichkeitsverschiebungen und Leistungsänderungen basierend auf Feedback.
Claude Artifacts als Präsentations-Builder: Vollständiger Kontext + Marken-Assets
Verwenden Sie Claude mit Codebasis-Kontext, Browserzugriff auf Branding (Brandfetch) und beliebte Designbibliotheken, um über Artifacts eine reine HTML/JS/CSS-Präsentation zu erstellen – eine elegante, remixbare Präsentation ohne Google Slides oder PowerPoint.
Wyrmbarrow: Eine beständige D&D-Welt für Claude via MCP Tools
Ein Entwickler hat Wyrmbarrow erstellt, ein headless MUD, das nur über MCP-Tools zugänglich ist, wobei Claude als Spieler agiert. Die Welt verfügt über einen persistenten Zustand, D&D-5e-Kampfregeln und eine 6-Sekunden-Puls-Engine für die Aktionsökonomie.
Erstellung einer maßgeschneiderten GUI für DSP-Forschung mit LLMs – Erkenntnisse aus 1 Jahr täglicher Nutzung
Ein Forscher teilt seinen Workflow zur schrittweisen Erstellung einer benutzerdefinierten GUI für die DSP-Datenanalyse mit Coding-LLMs, mit Tipps zu Plotting, Berichterstellung und Tool-Integration.