Fest integriertes KI-Modell: AMD übernimmt Start-up Taalas
Neben der Modellgröße gibt es bei KI-Beschleunigern eine weitere wichtige Kennzahl: den Durchsatz, sprich die Anzahl pro Sekunde generierter Tokens (Token/s). Und hier lässt das Start-up Taalas selbst Cerebras WSE3 weit hinter sich. Die hatte AMD zuletzt als Ergänzung zum eigenen Helios-Rack vorgestellt. Auch Taalas soll künftig in dieses Ökosystem eingebunden werden. AMD teilte mit(öffnet im neuen Fenster), das erst 2023 gegründete kanadische Start-up übernehmen zu wollen.
Für CEO Ljubisa Bajic bedeutet dies die Rückkehr zu seinem alten Arbeitgeber: Er entwickelte mehrere Jahre für AMD CPUs, bevor er zunächst Tenstorrent und dann Taalas gründete. Der Übernahme müssen noch Kartellbehörden zustimmen, bislang wurde eine verbindliche Absichtserklärung unterzeichnet. Ein Kaufpreis wurde nicht genannt, Taalas erhielt bislang laut Reuters(öffnet im neuen Fenster) 219 Millionen US-Dollar von Investoren.
Der Ansatz von Taalas klingt auf den ersten Blick absurd: Das Start-up entwirft Hardware, bei der ein KI-Modell fest integriert ist. Das ermöglicht enorme Inferenzgeschwindigkeit – der erste Chip, HC1, kann theoretisch 48 Nvidia B200 ersetzen – und hohe Effizienz. Taalas will die Chips zudem in nur zwei Monaten herstellen können. Möglich ist dies, da die Modellanpassung per Mask ROM erfolgt.
Alle Chips nutzen die gleiche Basis
Grundlage aller modellspezifischen Beschleuniger ist dabei der gleiche Chip. Wafer können entsprechend vorproduziert werden. Taalas setzt dabei bislang auf TSMCs N6-Prozess, der günstiger ist als aktuelle 2- und 3-nm-Prozesse und eine hohe Ausbeute (Yield) bietet.
Um ausgehend vom Universal-Chip ein konkretes Modell zu integrieren, müssen lediglich einige Leiterebenen (Metal Layer) angepasst werden. Das integrierte Modell kann über Low-Rank Adaptation(öffnet im neuen Fenster) (Lora) in kleinem Umfang verändert werden – eine Spezialisierung bleibt somit möglich. Patente(öffnet im neuen Fenster) zeigen beispielsweise Look-up-Tabellen anstelle von Rechenwerken genutzt.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.