Echo-TTS Porté sur Apple Silicon avec MLX pour une Synthèse Vocale Native avec Clonage de Voix

Echo-TTS, un modèle de transformateur par diffusion (DiT) de 2,4 milliards de paramètres pour la synthèse vocale avec clonage vocal, a été adapté de CUDA pour fonctionner nativement sur les puces Apple de série M en utilisant MLX. Cette adaptation permet au modèle de générer de la parole dans une voix cible à partir d'un texte et d'un court extrait audio d'une personne parlant.

Performances et Benchmarks

Sur un Mac mini M4 de base avec 16 Go de RAM, le modèle génère un court clonage vocal de 5 secondes en environ 10 secondes. Les clones allant jusqu'à 30 secondes prennent approximativement 60 secondes à générer.

Fonctionnalités Clés

• Quantification 8 bits : Réduit l'utilisation de mémoire d'environ 6 Go à environ 4 Go, fonctionne plus rapidement avec une perte de qualité négligeable.
• Génération par blocs : Permet le streaming et les continuations audio.

Détails du Développement

Il s'agit d'une adaptation assistée par IA. Claude Opus 4.6 a géré la spécification et la validation, GPT-5.3-Codex a réalisé l'implémentation, et le développeur a piloté le projet via OpenClaw.

Le dépôt est disponible sur github.com/mznoj/echo-tts-mlx.