Taalas' HC1: Beschleunigung der KI-Inferenz mit maßgeschneidertem Silizium

Taalas hat eine neue Plattform, HC1, vorgestellt, die speziell für die KI-Inferenz mit maßgeschneidertem Silizium entwickelt wurde. Dieser Ansatz wandelt KI-Modelle in dedizierte Hardware um und optimiert dadurch sowohl die Leistung als auch die Kosten erheblich. Die HC1-Plattform basiert auf drei Grundsätzen: totale Spezialisierung, Zusammenführung von Speicher und Berechnung sowie radikale Vereinfachung.

Das erste Produkt, das unter dieser Plattform vorgestellt wurde, ist eine festverdrahtete Implementierung des Llama 3.1 8B Modells. Leistungstests zeigen nahezu 10-fache Geschwindigkeitsverbesserungen mit 17.000 Tokens/Sekunde pro Nutzer im Vergleich zu aktuellen KI-Inferenzsystemen. Darüber hinaus ist die Lösung 20-mal günstiger und verbraucht 10-mal weniger Energie.

Wesentliche Innovationen beinhalten das Zusammenführen der traditionellen Grenze zwischen Speicher und Berechnung. Dies wird erreicht, indem Speicher und Berechnung innerhalb eines einzigen Chips integriert werden, was die DRAM-Dichte annähert, um die betriebliche Effizienz und Kosteneffektivität zu steigern.

Die Implementierung von Llama 3.1 8B bietet außerdem Flexibilität mit einstellbaren Kontextfenstergrößen und der Möglichkeit zur Feinabstimmung durch Low-Rank-Adapter. Dieses Produkt richtet sich an Entwickler, die effiziente und kostengünstige KI-Lösungen suchen, insbesondere in Umgebungen, in denen Latenz und Energieverbrauch entscheidende Einschränkungen darstellen.