Création d'un Bot de Surveillance pour Chats sur Discord avec ESP32-S3, MiniClaw et l'IA Multimodale

Configuration d'un agent périphérique pour la surveillance d'un chat

Un développeur a créé un bot Discord qui surveille son chat en utilisant un ESP32-S3 Sense comme agent périphérique. Le système capture des photos ou enregistre de l'audio lorsqu'il est déclenché via des mentions Discord, puis envoie les médias à un LLM multimodal pour analyse.

Pile matérielle et logicielle

L'implémentation utilise des composants spécifiques :

• Matériel : XIAO ESP32-S3 Sense (version Vision) - assez petit pour être caché dans un arbre à chat
• Communication : Interface web + configuration WebSocket pour un débogage à faible latence
• Modèle d'IA : Modèle multimodal VLM-4V de Zhipu AI
• Plateforme : Discord pour l'interaction avec le bot

Fonctionnement

Le flux de travail est simple : lorsque quelqu'un @mentionne le bot sur Discord, l'ESP32-S3 prend une photo ou enregistre de l'audio. Ces médias sont envoyés au VLM (Vision-Language Model), qui les analyse et renvoie des descriptions en langage naturel de ce qui se passe. Au lieu de recevoir des spams "Mouvement détecté", les utilisateurs reçoivent des descriptions spécifiques comme "Votre chat dort sur le canapé" ou "Le chat joue avec un jouet".

Limitations actuelles et plans futurs

Le développeur a identifié plusieurs domaines à améliorer :

• Qualité d'image : Les captures actuelles sont "assez floues" et "médiocres" mais fonctionnelles
• Position fixe : L'appareil a un point de vue fixe - envisage d'ajouter de la mobilité via des supports à servomoteur ou une mécanique de rover
• Intelligence audio : Prévient d'ajouter une classification des vocalisations pour distinguer les miaulements de faim, les zoomies ou les cris généraux

Le développeur note que l'implémentation était "étonnamment simple" et fonctionne mieux que prévu, l'analyse VLM étant "étonnamment précise" malgré la qualité d'image floue.