Таллас HC1: Ускорение ИИ-инференса с помощью индивидуального silicon.

Taalas запустила новую платформу HC1, специально разработанную для ИИ-инференсов с использованием индивидуального кремния. Этот подход трансформирует ИИ-модели в специализированное оборудование, значительно оптимизируя производительность и затраты. Платформа HC1 основана на трех основных принципах: полной специализации, объединении хранения и вычислений, а также радикальном упрощении.

Первый продукт, представленный в рамках этой платформы, представляет собой жестко запрограммированную реализацию модели Llama 3.1 8B. Тесты производительности демонстрируют почти 10-кратное увеличение скорости до 17,000 токенов в секунду на пользователя по сравнению с текущими системами ИИ-инференса. Кроме того, данное решение в 20 раз дешевле и потребляет в 10 раз меньше энергии.

Ключевые инновации заключаются в разрушении традиционной границы между памятью и вычислениями. Это достигается путем интеграции памяти и вычислений в одном чипе, что позволяет приблизить плотность DRAM для повышения оперативной эффективности и экономичности.

Реализация Llama 3.1 8B также предлагает гибкость с настраиваемыми размерами контекстного окна и возможностью тонкой настройки через низкоранговые адаптеры. Этот продукт ориентирован на разработчиков, ищущих эффективные и экономически выгодные решения ИИ, особенно в средах, где задержка и потребление энергии являются критическими ограничениями.