Construindo um Bot de Monitoramento de Gatos no Discord com ESP32-S3, MiniClaw e IA Multimodal

Configuração de Agente de Borda para Monitoramento de Gatos

Um desenvolvedor criou um bot do Discord que monitora seu gato usando um ESP32-S3 Sense como agente de borda. O sistema captura fotos ou grava áudio quando acionado por menções no Discord, então envia a mídia para um LLM multimodal para análise.

Stack de Hardware e Software

A implementação usa componentes específicos:

• Hardware: XIAO ESP32-S3 Sense (versão Vision) - pequeno o suficiente para esconder em uma árvore para gatos
• Comunicação: Interface web + configuração WebSocket para depuração de baixa latência
• Modelo de IA: Modelo multimodal VLM-4V da Zhipu AI
• Plataforma: Discord para interação com o bot

Como Funciona

O fluxo de trabalho é direto: quando alguém @menciona o bot no Discord, o ESP32-S3 tira uma foto ou grava áudio. Esta mídia é enviada para o VLM (Modelo de Linguagem Visual), que a analisa e retorna descrições em linguagem natural do que está acontecendo. Em vez de receber spam de "Movimento Detectado", os usuários recebem descrições específicas como "Seu gato está dormindo no sofá" ou "O gato está brincando com um brinquedo".

Limitações Atuais e Planos Futuros

O desenvolvedor identificou várias áreas para melhoria:

• Qualidade da Imagem: As capturas atuais são "bastante borradas" e "medíocres" mas funcionais
• Posição Fixa: O dispositivo tem um ponto de vista fixo - considerando adicionar mobilidade via suportes de servo ou mecânica de rover
• Inteligência de Áudio: Planejando adicionar classificação de vocalização para distinguir entre miados de fome, corridas loucas ou gritos gerais

O desenvolvedor observa que a implementação foi "surpreendentemente direta" e funciona melhor do que o esperado, com a análise do VLM sendo "surpreendentemente precisa" apesar da qualidade borrada das imagens.