[ziesell]

xAI: Musk schaltet ChatGPT-Konkurrent Grok frei

Das neue KI-Sprachmodell von X soll an das Buch Per Anhalter durch die Galaxis angelehnt sein. Humorlose Nutzer sollen die Finger davon lassen.



Das US-Softwareunternehmen X (vormals Twitter) hat sein KI-basiertes Sprachmodell Grok für erste Nutzer in den USA freigeschaltet. "Grok ist eine KI, die Per Anhalter durch die Galaxis nachempfunden ist und dazu gedacht ist, fast alles zu beantworten und, was noch schwieriger ist, sogar Vorschläge zu machen, welche Fragen man stellen sollte!", hieß es in einer Ankündigung von Elon Musks Startup xAI vom 4. November 2023. Deutsche X-Nutzer können sich vorerst nur auf eine Warteliste setzen lassen.

Der Ankündigung zufolge ist Grok noch ein "sehr frühes Beta-Produkt". Mehr habe man in der zweimonatigen Trainingsphase nicht erreichen können. In einer Art Warnung schreibt das Team: "Grok wurde entwickelt, um Fragen auf witzige Weise zu beantworten und hat eine rebellische Ader. Verwenden Sie es daher bitte nicht, wenn Sie Humor hassen!"

Ein "einzigartiger und grundlegender Vorteil von Grok" bestehe darin, dass der Chatbot durch den Zugriff auf X "über Echtzeitwissen über die Welt verfügt". Darüber hinaus werde Grok auch "pikante Fragen beantworten, die von den meisten anderen KI-Systemen abgelehnt werden". Da auf X jedoch vielfach Falschinformationen verbreitet werden, könnte die Nutzung dieser Daten durch Grok auch zum Problem werden.

ChatGPT 4 soll noch besser sein

Grok, was im amerikanischen Slang so viel wie "kapieren" bedeutet, ist ebenso wie die Chatbots ChatGPT von Microsoft und Googles Bard ein mit großen Datenmengen trainiertes Sprachmodell (engl.: Large Language Modell/LLM). Die Entwickler trainierten einen LLM-Prototyp (Grok-0) mit 33 Milliarden Parametern. Dieses frühe Modell erreichte den Angaben zufolge die Fähigkeiten von Facebooks LLaMA 2 (70B) bei Standard-Benchmarks, verbraucht aber nur die Hälfte von dessen Trainingsressourcen.

Weiter hieß es: "In den vergangenen zwei Monaten haben wir erhebliche Verbesserungen bei den Argumentations- und Codierungsfähigkeiten vorgenommen, bis hin zu Grok-1, einem hochmodernen Sprachmodell, das deutlich leistungsfähiger ist und bei der HumanEval-Codierungsaufgabe 63,2 Prozent und bei der MMLU 73 Prozent erreichte."

HumanEval ist ein Format, mit dem die Programmierfähigkeiten von Sprachmodellen getestet werden können. Mit MMLU (Massive Multitask Language Understanding) lässt sich laut Bigdata-Insider.de das Allgemeinwissen und die Problemlösungsfähigkeiten von Sprachmodellen testen. Die Entwickler räumten jedoch ein, dass ChatGPT 4 bei den Benchmark-Tests besser als Grok abgeschnitten habe.

Mit Kubernetes, Rust und JAX entwickelt

Laut xAI wurde für das Training von Grok ein "benutzerdefinierter Trainings- und Inferenz-Stack auf Basis von Kubernetes, Rust und JAX entwickelt". Das Training eines Sprachmodells verlaufe "wie ein donnernder Güterzug; wenn ein Waggon entgleist, wird der gesamte Zug aus den Gleisen gehoben, was es schwierig macht, ihn wieder aufzurichten".

Es gebe unzählige Möglichkeiten, wie GPUs versagen könnten: Herstellungsfehler, lose Verbindungen, falsche Konfiguration, beschädigte Speicherchips, gelegentliches zufälliges Umkippen von Bits und vieles mehr.

Für das Training würden monatelang Berechnungen mit Zehntausenden von GPUs synchronisiert, so dass die genannten Fehler häufig aufträten, hieß es dazu. Ein Schwerpunkt der Entwicklung sei die Maximierung der Rechenleistung pro Watt gewesen.

Auf X teilten Entwickler erste Erfahrungen mit dem neuen Chatbot. Es soll unter anderem möglich sein, mehrere Konversationen parallel zu führen und zwischen diesen hin und her zu wechseln.

[ Link nur für registrierte Mitglieder sichtbar. Bitte einloggen oder neu registrieren ]
[ Link nur für registrierte Mitglieder sichtbar. Bitte einloggen oder neu registrieren ]
[ Link nur für registrierte Mitglieder sichtbar. Bitte einloggen oder neu registrieren ]