HC1 de Taalas: Acelerando Inferência de IA com Silício Personalizado

A Taalas lançou uma nova plataforma, a HC1, projetada especificamente para inferência de IA usando silício personalizado. Essa abordagem transforma modelos de IA em hardware dedicado, otimizando significativamente o desempenho e o custo. A plataforma HC1 é projetada em torno de três princípios fundamentais: especialização total, fusão de armazenamento e computação e simplificação radical.

O primeiro produto revelado sob essa plataforma é uma implementação em hardware fixo do modelo Llama 3.1 8B. Os benchmarks de desempenho demonstram melhorias de velocidade de quase 10 vezes, com 17.000 tokens/segundo por usuário, em comparação com os sistemas atuais de inferência de IA. Além disso, a solução é 20 vezes mais barata e consome 10 vezes menos energia.

As principais inovações envolvem eliminar a fronteira tradicional entre memória e computação. Isso é alcançado integrando memória e computação em um único chip, aproximando a densidade da DRAM para melhorar a eficiência operacional e a relação custo-benefício.

A implementação do Llama 3.1 8B também oferece flexibilidade com tamanhos de janela de contexto ajustáveis e a opção de ajuste fino por meio de adaptadores de baixo posto. Este produto visa desenvolvedores que buscam soluções de IA eficientes e econômicas, especialmente em ambientes onde a latência e o consumo de energia são restrições críticas.