[ziesell]

Neuer Rekord: Entwickler komprimiert Wikipedia-Daten stärker denn je

Ein US-amerikanischer Softwareentwickler erzielte vor wenigen Tagen einen Rekord in der Datenkompression und gewann damit ein Preisgeld.



Einem Softwareentwickler aus New York ist es gelungen, einen neuen Rekord in der Datenkompression aufzustellen. Damit hat er den von Marcus Hutter, einem deutschen Informatiker und Professor der Australian National University verliehenen "Hutter-Preis für verlustfreie Kompression menschlichen Wissens" gewonnen. Wie Hutter selbst gestern in einem Tweet mitteilte, gewann der neue Rekordhalter Saurabh Kumar damit ein Preisgeld in Höhe von 5.187 Euro. Den bisherigen Rekord habe er um 1,04 Prozent übertroffen.

Laut seinem Linkedin-Profil arbeitet Kumar als Quantitative Developer bei Tower Research Capital und kann auf einige Jahre Entwicklererfahrung zurückgreifen. Um den Hutter-Preis zu gewinnen, musste er einen ein Gigabyte (10? Byte) großen Auszug aus der Online-Enzyklopädie Wikipedia, die laut Hutter "eine gute Momentaufnahme des menschlichen Weltwissens" darstellt, so stark wie möglich komprimieren. Und das durch ein Verfahren, das eine vollständig verlustfreie Wiederherstellung der ursprünglichen Daten ermöglicht.

Systemparameter sind vorgegeben

Doch es gibt noch weitere Bedingungen, die einzuhalten sind, um den Hutter-Preis zu gewinnen. So darf der Kompressionsalgorithmus auf einem einzelnen CPU-Kern auf dem vordefinierten Testsystem des Preisverleihers eine maximale Rechenzeit von 50 Stunden nicht überschreiten – der Einsatz einer GPU ist explizit untersagt. Weiterhin muss das Verfahren mit weniger als 10 GB Arbeitsspeicher und weniger als 100 GB an Festplattenspeicher auskommen. Unter Einhaltung dieser Rahmenbedingungen gelang es Kumar, den vorgegeben Datensatz auf 114.156.155 Byte und damit 11,41 Prozent seiner ursprünglichen Größe zu komprimieren.

Auch die Höhe des Preisgeldes überließ Hutter nicht dem Zufall. Denn in dessen Berechnung fließt jeweils das Verhältnis des bisherigen zum neuen Kompressionsrekord ein. Vorheriger Rekordhalter war Artemiy Margaritov, dem es am 31. Mai 2021 gelang, den ein Gigabyte großen Datensatz auf 115.352.938 Byte zu komprimieren. Da sein Vorsprung gegenüber dem seines Vorgängers etwas größer war, gewann er damals 9.000 Euro.

[ Link nur für registrierte Mitglieder sichtbar. Bitte einloggen oder neu registrieren ]