Echo-TTS Portado para Apple Silicon com MLX para TTS Nativo com Clonagem de Voz

O Echo-TTS, um modelo de transformador de difusão (DiT) de 2,4B parâmetros para texto em fala com clonagem de voz, foi adaptado do CUDA para rodar nativamente no silício da série M da Apple usando MLX. A adaptação permite que o modelo gere fala em uma voz alvo quando recebe texto e um pequeno clipe de áudio de alguém falando.

Desempenho e Benchmarks

Em um Mac mini M4 básico de 16GB, o modelo gera um clone de voz curto de 5 segundos em cerca de 10 segundos. Clones de até 30 segundos levam aproximadamente 60 segundos para gerar.

Principais Recursos

• Quantização de 8 bits: Reduz o uso de memória de aproximadamente 6 GB para cerca de 4 GB, roda mais rápido com perda de qualidade insignificante.
• Geração em blocos: Permite streaming e continuações de áudio.

Detalhes do Desenvolvimento

Esta foi uma adaptação assistida por IA. O Claude Opus 4.6 lidou com especificação e validação, o GPT-5.3-Codex realizou a implementação, e o desenvolvedor conduziu o projeto através do OpenClaw.

O repositório está disponível em github.com/mznoj/echo-tts-mlx.