Taalas' HC1 : Accélérer l'inférence de l'IA avec du silicium personnalisé

Taalas a lancé une nouvelle plateforme, HC1, spécialement conçue pour l'inférence d'IA utilisant du silicium personnalisé. Cette approche transforme les modèles d'IA en matériel dédié, optimisant considérablement les performances et le coût. La plateforme HC1 est conçue autour de trois principes fondamentaux : spécialisation totale, fusion du stockage et du calcul, et simplification radicale.

Le premier produit dévoilé sous cette plateforme est une implémentation câblée du modèle Llama 3.1 8B. Les tests de performance démontrent des améliorations de vitesse près de 10 fois supérieures à 17 000 tokens/seconde par utilisateur par rapport aux systèmes d'inférence d'IA actuels. De plus, la solution est 20 fois moins chère et consomme 10 fois moins d'énergie.

Les innovations clés impliquent l'effacement de la frontière traditionnelle mémoire-calcul. Cela est réalisé en intégrant la mémoire et le calcul dans une seule puce, approchant la densité de la DRAM pour améliorer l'efficacité opérationnelle et la rentabilité.

L'implémentation de Llama 3.1 8B offre également une flexibilité avec des tailles de fenêtre de contexte ajustables et la possibilité d'un réglage fin via des adaptateurs de faible rang. Ce produit cible les développeurs recherchant des solutions d'IA efficaces et rentables, en particulier dans les environnements où la latence et la consommation d'énergie sont des contraintes critiques.