[Draalz]

Cloudflare vs. KI-Bots: "Die Menschheit braucht vom Menschen gemachte Inhalte"

Der Netzdienstleister blockiert künftig Crawler, die Websites für KI-Training nutzen. Ziel sind neue Geschäftsmodelle, sagt Strategiechefin Stephanie Cohen.


Cloudflare: Ungefähr 20 Prozent des Internet-Datenverkehrs laufen über das Netzwerk. (Bild: Sharaf Maksumov/Shutterstock)

07:43 Uhr Lesezeit: 10 Min.

Von [ Link nur für registrierte Mitglieder sichtbar. Bitte einloggen oder neu registrieren ]

Stephanie Cohen ist Chief Strategy Officer bei Cloudflare, einem Content Delivery Network (CDN) mit zahlreichen integrierten Sicherheits- und Managementfunktionen, das heute gut 20 Prozent des Internet-Datenverkehrs ausliefert (eigene Angabe). Bevor Cohen zu dem Netzdienstleister kam, arbeitete sie 25 Jahre beim Bankhaus Goldman Sachs, war zuletzt unter anderem auf das Thema Fintech spezialisiert.

In ihrer Position bei Cloudflare, die sie vor einem Jahr antrat, arbeitet sie laut eigenen Angaben “hauptsächlich an strategischen Initiativen, bei denen es um unser Netzwerk und die Infrastruktur” geht. Dazu gehörte zuletzt besonders das Thema KI-Monetarisierung für Kreative und Urheberrechtsinhaber über [ Link nur für registrierte Mitglieder sichtbar. Bitte einloggen oder neu registrieren ]. Im Interview mit heise online erläutert Cohen, was die Motivation dahinter ist.

heise online: Viele Kreative fragen sich heute, wie sie KI, die immer mehr auf ihre Geschäftsfelder vordringt, monetarisieren können. Sie haben das Gefühl, dass KI-Unternehmen ihre Daten abgreifen und es Nutzern ermöglichen, Texte, Bilder oder Videos in ihrem Stil zu erstellen. Wie sieht Ihr Unternehmen die aktuelle Situation?

Stephanie Cohen: Da Cloudflare mehr als 20 Prozent des Internet-Datenverkehrs ausliefert, haben wir eine beträchtliche Anzahl von Content-Erstellern auf unserer Plattform, große wie kleine. Auf unserer Plattform gibt es aber auch eine beträchtliche Anzahl von KI-Unternehmen, ebenfalls große und kleine. Wir sehen also die Dinge stets im Internet-Maßstab und haben festgestellt, dass sich die Art und Weise dieses Datenverkehrs verändert.

Jemand wie Sie als Journalist beispielsweise investiert Zeit und Mühe, um originelle Ideen zu entwickeln, zu recherchieren und darüber zu schreiben. Sie tun das, weil Sie einen Anreiz dazu haben, da Sie diese Inhalte monetarisieren können, entweder durch Werbung oder durch Abonnements.

Heutzutage lesen die Menschen jedoch oft eher Derivate und Ableitungen dieser Inhalte statt das Original. Und womit tun sie das? Sie nutzen KI. In einer Welt, in der alle nur noch Derivate lesen, müssen wir also ein funktionierendes Geschäftsmodell finden, damit wir ein nachhaltiges Ökosystem schaffen können, in dem sowohl Content-Ersteller als auch KI-Innovatoren erfolgreich sein können.


Stephanie Cohen, Chief Strategy Officer bei Cloudflare.
(Bild: Cloudflare)

Warum interessiert Cloudflare das überhaupt?

Unsere Mission ist es, zum Aufbau eines besseren Netzes beizutragen. Aber damit es ein Internet gibt, braucht man hochwertige, originelle und vielfältige Inhalte. Ohne diese gibt es wirklich keinen Grund mehr für das Netz. Um es ganz klar zu sagen: Es geht um das Überleben des Internet. Deshalb hat Cloudflare beschlossen, die Standardeinstellungen in unserem Netzwerk zu ändern, um die Voraussetzungen für neue Geschäftsmodelle im Zusammenhang mit KI zu schaffen.

Wie genau machen Sie das?

Wir stellen für alle neuen Kunden und neuen Domains im Netzwerk auf ein berechtigungsbasiertes System um. Erstens blockieren wir standardmäßig KI-Crawler für Trainingszwecke. Wir blockieren sie auf Netzwerkebene oder mithilfe von robots.txt. Bei der Anmeldung können Sie als Kunde entscheiden, ob Sie diese Funktion aktiviert lassen oder deaktivieren möchten.

Zweitens können Sie KI-Crawler auch individuell verwalten und entscheiden, ob Sie sie überhaupt auf Ihrer Website zulassen möchten, ob Sie ihnen das Training mit Ihren Daten erlauben wollen oder ob sie beispielsweise nur Suchanfragen durchführen dürfen.

Und drittens haben wir einen derzeit noch privaten Betatest gestartet, bei dem Website-Betreiber KI-Unternehmen fragen können, ob sie für das Crawling eine Gebühr zahlen möchten.

Diese drei Dinge sind nur der erste Schritt zur Schaffung eines nachhaltigeren Ökosystems, in dem KI und Content-Ersteller beide gedeihen können.

Wie lösen Sie das auf technischer Ebene und stellen sicher, dass KI-Unternehmen dies nicht umgehen?

Wir tun hier Einiges. Ein Beispiel: Wenn Sie eine von uns erstellte Website namens goodaibots.com besuchen, sehen Sie, ob die verschiedenen KI-Crawler ihre IP-Adressen bekannt geben, ob sie ihre Identität kryptografisch überprüfen lassen, ob sie robots.txt befolgen und so weiter.

In der Praxis haben wir technisch mehrere Möglichkeiten, Bots im Allgemeinen und KI-Bots im Speziellen zu blockieren. Erstens verfügen wir über ein verifiziertes Crawler-Programm, das mittlerweile von den meisten bekannten KI-Crawlern verwendet wird und uns mitteilt, wer sie sind. Die KI-Unternehmen geben auch die von ihnen verwendeten IPs bekannt.

Zweitens haben wir vor einigen Wochen ein Werkzeug namens WebBot Auth angekündigt, mit dem Bots wie erwähnt ihre Identität kryptografisch überprüfen lassen können, was ein wichtiger nächster Schritt ist. Es gibt einen kryptografischen Handshake, der bestätigt, dass Sie als Bot der sind, für den Sie sich ausgeben. Wir glauben, dass dies die Sicherheit im Internet allgemein erhöhen wird.

Der letzte Punkt ist, dass wir Unternehmen, die mehrere Aktivitäten in einem Crawler kombinieren, über robots.txt Anweisungen geben können. Unserer Erfahrung nach halten sie sich im Allgemeinen daran, zumindest die bekannten Crawler.

Welche Geschäftsmodelle sehen Sie sich daraus entwickeln?

Wir hoffen, dass durch die Schaffung der Voraussetzungen eines solchen nachhaltigen Systems viele verschiedene Geschäftsmodelle entstehen werden, die wir und andere testen und weiterentwickeln können.

Das von mir schon erwähnte Betamodell beispielsweise heißt "Pay per Crawl" und bedeutet, dass Sie als Website-Betreiber oder Content-Ersteller einen bestimmten Betrag pro Crawl verlangen können oder dass der Crawler den Höchstpreis angibt, den er zu zahlen bereit ist.

Diese Kommunikation ist übrigens eine bilaterale Kommunikation, das heißt, es handelt sich um einen privat bleibenden Handshake: Er findet nur zwischen dem Crawler und den Content-Erstellern statt. Wenn die Preise übereinstimmen, findet der Crawl dann statt und sie werden bezahlt. Wenn keine Übereinstimmung vorliegt, erhält der Crawler eine 402-Antwort.

Es gibt sicherlich ausgefeiltere Lösungen wie man sie aus dem Programmatic-Advertising-Bereich kennt. Aber wir sind der Meinung, dass es am besten ist, mit etwas anzufangen, das einfach und leicht verständlich ist. Das war der Beginn. Und wir werden jetzt herausfinden, ob sich der Markt so entwickeln kann, dass sowohl die Ersteller von Inhalten als auch die KI-Firmen davon profitieren.

"KI wird ohne menschliche Inhalte nicht weiter wachsen"

Was springt für Cloudflare dabei heraus? Bekommen Sie einen Anteil an diesem Geld?

Die Mission von Cloudflare ist es, wie ich bereits gesagt habe, dass wir dabei helfen wollen, ein besseres Internet aufzubauen. Es geht also vor allem um die Nachhaltigkeit des Netzes, was natürlich bislang immer gut für Cloudflare, die Welt im Allgemeinen und die Innovation selbst war.

Der zweite Punkt ist: Content Delivery und Dinge wie das Bot-Management sind Kernprodukte von Cloudflare. Wir bieten diese Produkte zwar auch in kostenlosen Versionen an, aber wir haben auch kostenpflichtige Versionen, und das ist ein wichtiger Teil unserer Arbeit und der Grund, warum wir hier so gut aufgestellt sind. Und dann ist da noch der dritte Aspekt: Dies ist der Beginn des Aufbaus eines neuen Marktes. Und man kann davon ausgehen, dass daraus ein marktplatzartiges Geschäftsmodell entstehen kann, insofern Cloudflare als Vermittler dieser Transaktionen fungiert.

Es scheint fast so, als könnten Cloudflares Maßnahmen für die Inhaltebranche und die Kreativen zu spät kommen. Seit Google beispielsweise seine KI-Übersicht in der Suche eingeführt hat, ist der Traffic auf vielen Websites eingebrochen. Immer mehr Menschen klicken nicht mehr auf Links zu Inhalten, sondern geben sich mit dem generativen KI-Output zufrieden.

Ich denke, wir sehen auch einige der Trends, die Sie hier beschreiben – nämlich dass die Menschen eher Derivate aus KI lesen als die Originalinhalte. Und wir machen uns Sorgen um die Urheber und fragen uns, ob sie noch einen Anreiz haben, weiter zu produzieren. Denn: Originelle Inhalte können nur dann weiterhin entstehen, wenn die richtigen Anreize vorhanden sind.

Aber wir sind auch optimistisch, was letztendlich erreicht werden kann. Wir glauben, dass wir mit einem System, das hochwertige Originalinhalte wertschätzt, in ein goldenes Zeitalter der Inhalteerstellung eintreten könnten, in dem der Fokus auf hochwertigen, originellen Inhalten liegt und nicht auf Me-too-Content. Deshalb arbeiten wir mit der Branche zusammen. Und wir arbeiten auch mit KI-Unternehmen zusammen, um herauszufinden, was alles geschaffen werden muss, damit sie mitziehen.

Cloudflare ist doch nicht per se gegen KI, oder?

KI ist eine unglaubliche Innovation. Sie hilft den Menschen in vielerlei Hinsicht, das wissen Sie aus Ihrer Arbeit und ich aus meiner. Aber wir müssen einen Weg finden, diese Art von Innovation mit einer Welt zu vereinen, in der wir Anreize für Content-Ersteller schaffen können, denn KI wird sich nicht weiter verbessern und wachsen, wenn es keine originellen, von Menschen erstellten Inhalte mehr gibt.

Es gibt Leute in der KI-Branche, die sagen, dass sie keine menschlichen Inhalte mehr brauchen, da sie für ihr Training mit synthetischen Daten arbeiten können, die die KI selbst erzeugt.

Wenn man nur das Training ohne KI-Suche betrachtet, ist das Crawling durch KI in den letzten sechs Monaten um 65 Prozent gestiegen. Ich denke, das zeigt, dass es im Internet noch wertvolle Inhalte für KI-Unternehmen gibt, oder? Und es kostet sie viel Geld, das Internet zu crawlen!

Alle Daten deuten also darauf hin, dass die KI-Unternehmen weiterhin einen Bedarf an hochwertigen, originellen neuen Inhalten für das Training sehen. Und das zusätzlich zu allen anderen Verwendungszwecken, sei es Suche oder Retrieval Augmented Generation (RAG, KI-Inhalte generiert mit Hilfe von Suchergebnissen) und weitere Dinge.

Natürlich weiß niemand, wie es weitergeht. Mein Lieblingsausdruck in letzter Zeit ist, dass ich meine Kristallkugel zu Hause vergessen habe, wenn es darum geht, eine Meinung zu KI-Themen zu haben. Wir haben aber das glasklare Gefühl, dass KI diese originären Inhalte braucht und dass auch die Menschheit sie braucht. Menschen wollen vielfältige originelle Perspektiven lesen, die von Menschen stammen.

[ Link nur für registrierte Mitglieder sichtbar. Bitte einloggen oder neu registrieren ]
Eine interessante, fast philosophische Beleuchtung über KI und deren Umsetzung, die, zumindest mich, nachdenklich macht.