myGully.com - [Technik] Waferscale Engine 3: Der größte Computerchip aller Zeiten

Zitat:

Waferscale Engine 3: Der größte Computerchip aller Zeiten

Die WSE-3 besteht aus 900.000 Kernen und hat mehr Cache als die Grafikspeicherausstattung der meisten GPUs. Es bleiben sogar Kerne für Redundanz übrig.

https://www.golem.de/2403/183190-434308-434307_rc.jpg

Der KI-Chipentwickler Cerebras hat die Waferscale Engine 3 (WSE-3) vorgestellt. Erneut nutzt Cerebras die gesamte Größe eines 300-mm-Wafers, um einen Halbleiterchip mit einer Fläche von 46.225 Quadratmillimetern zu bauen. Gefertigt wird der Chip bei TSMC im 5-nm-Prozess, bereits der Vorgänger WSE-2 stammte von TSMC und wurde im N7-Node produziert. Der Wechsel zum kleineren Fertigungsknoten ermöglichte zusätzliche 50.000 Kerne und vier Gigabyte zusätzlichen SRAM direkt auf dem Chip.

Gegenüber GPUs wie der Nvidia H100 soll die WSE-3 eine Reihe von Vorteilen bieten. Denn statt HBM-Speicher extern anzubinden, sind 44 GByte SRAM gleichmäßig über die gesamte Chipfläche verteilt. Dadurch können alle Kerne direkt auf den Speicher zugreifen, was in einer Durchsatzrate von 21 Petabyte/s resultiert. Das ist rund 7.000 Mal schneller als eine Nvidia H100 mit 0,003 PByte/s (3,35 TByte/s). Selbst per NV-Link im Verbund sind GPUs chancenlos. Zusätzlicher externer Speicher ist per Memory-X-Anbindung möglich und kann mehrere Terabyte groß sein.

Mit einer KI-Rechenleistung von 125 Petaflops soll der Chip einen großen Sprung zum Vorgänger hinlegen, der laut Cerebras 75 Petaflops (FP16-Sparse) schafft. Neben FP16 und Bf-16 werden FP32 und INT8 unterstützt sowie ein angepasstes FP16-Format von Cerebras, was spezielle Software benötigt. Die einzelnen quadratischen Chip-Module (Reticles) sind per Cross-Reticle-Stitching miteinander verbunden und können mit einer Durchsatzrate von 214 PBit/s untereinander kommunizieren.

Eingebaute Redundanz gegen defekte Chips

Da die gesamte WSE-3 in einem Stück hergestellt wird, lassen sich im Fall eines Defekts keine einzelnen Reticles austauschen. Cerebras hat deshalb 1,5 Prozent zusätzliche Kerne verbaut, um nicht funktionsfähige Kerne zu kompensieren. Die Logik erlaubt es, Datenströme um defekte Teilbereiche herumzuleiten. Dennoch benötigt der Hersteller eine hohe Ausbeute (Yield) vom Auftragsfertiger TSMC. Das dürfte auch der Grund sein, warum man sich für 5-nm entschieden hat, statt auf einen bereits in der Massenproduktion befindlichen 3-nm-Prozess zu wechseln, der zwar noch bessere Leistungsdaten, gleichzeitig aber auch geringere Ausbeute bedeuten würde.

Die Leistungsaufnahme soll auf dem gleichen Niveau wie bei WSE-2 bleiben, also rund 24 Kilowatt pro System. Auch die Kosten sollen gegenüber WSE-2 gleich bleiben, womit der Hersteller Moore's Law aufrechterhalten hat. Laut Cerebras soll KI-Training auf der WSE-3 verglichen mit WSE-2 doppelt so schnell sein.

Cloudsharing-Geschäftsmodell

Der KI-Cloud-Anbieter G42 nutzt laut Cerebras bereits mehrere Cluster mit WSE-3. Darunter Condor-Galaxy-3 (CS-3), ein Cluster mit 64 WSE-3-Systemen in Dallas, Texas. Der Verbund soll eine Gesamtrechenleistung von 8 Exaflops erreichen und hat eine Leistungsaufnahme von 2,5 Megawatt. Die bestehenden Cluster CS-1 und CS-2 nutzen bereits WSE-2. Die Systeme werden laut G42 für medizinische Forschung verwendet. Bis Jahresende sollen insgesamt neun solche Cluster gebaut werden. Laut Cerebas können WSE-3 in Clustern mit über 2.000 Knoten eingesetzt werden, was eine Rechenleistung von 256 Exaflops und 12 Petabytes On-Chip-SRAM entsprechen würde.

Neben dem Verkauf der fertigen WSE-Systeme bietet Cerebras auch Rechenzeit auf Waferscale-Systemen in der Cloud an. Neben dedizierten Rechenzentren nutzt Cerebras dafür auch ungenutzte Kapazitäten von Partnern wie G42, die das Unternehmen praktisch zurückkauft und den eigenen Cloudkunden zur Verfügung stellt.

[Link nur für registrierte und freigeschaltete Mitglieder sichtbar. Jetzt registrieren...]
[Link nur für registrierte und freigeschaltete Mitglieder sichtbar. Jetzt registrieren...]