[ziesell]

Googles vs. Microsofts KI: Bing informiert, Bard fantasiert

Alte Informationen und keine Quellenangaben: Der aktuelle Zustand von Google Bard zeigt, wie gefährlich unausgereifte KI-Tools sein können.

Ein Hands-on von Oliver Nickel



Mit Sprachgeneratoren verbesserte Suchmaschinen sind seit einigen Monaten heiß diskutiert. Allerdings hat nicht etwa Google hier erste Erfolge zu vermelden. Ausgerechnet Microsoft konnte zusammen mit OpenAI den Bing Chat entwickeln. Der kann bereits diverse Fragen beantworten, Texte zusammenfassen oder uns die Nachrichten des Tages auflisten.

Der Google-Konzern Alphabet hatte zum Zeitpunkt der Ankündigung von Bing Chat nichts Vergleichbares vorzuweisen. Deshalb arbeitet das Unternehmen seit einiger Zeit am Chatbot Bard, der mittels Google und den KI-Ressourcen beim größten Suchmaschinenanbieter enormes Potenzial haben könnte.

Mehrere Wochen lang konnte Bard bereits von US-Kunden getestet werden. Nun gibt es die Software auch in Deutschland. Das große Potenzial sehen wir nach unserem ersten Hands-on mit dem Bard allerdings noch nicht. Dafür entdecken wir ein paar Grammatikfehler und umso mehr falsche Informationen. Würden wir Bard im jetzigen Zustand vertrauen, dann könnten wir schnell in unangenehme Situationen geraten. Hier muss Google dringend nachbessern. Es ist daher gut, dass es sich hier noch um eine Preview-Version handelt und Google das zumindest auch deutlich angibt.

Um Bard zu testen, haben wir die aktuelle Version in Google Chrome mit Microsofts Bing Chat in Microsoft Edge verglichen. Beiden Programme haben wir ein paar einfache Fragen aus dem täglichen Leben gestellt.

Größtenteils gute Deutschkenntnisse

Uns fällt auf: Sowohl Bard als auch Bing Chat können bereits gut mit deutschsprachiger Grammatik und Rechtschreibung umgehen. Allerdings wirkt der Satzbau von Googles KI-Tool aktuell noch etwas zu sehr wie eine Übersetzung. Browser werden etwa mit dem Pronomen "es" beschrieben. Bard beantwortet unsere Frage nach dem besten Browser für Windows 11 etwa so: "Chrome ist schnell, zuverlässig und einfach zu bedienen. Es hat auch eine große Auswahl an Erweiterungen und Add-ons, sodass Sie es nach Ihren Wünschen anpassen können."

Der Satz könnte so auch direkt von Google Translate stammen. In Bing Chat finden wir ebenfalls noch einige Fehler, vor allem wenn die Software im kreativen Modus läuft. Insgesamt wirkt die generierte Sprache aber etwas natürlicher.

Bard schwadroniert von Google-Produkten

Hier merken wir direkt ein weiteres Problem, das sich in nicht allzu ferner Zukunft noch verstärken könnte: Googles Chatbot empfiehlt Googles Browser mit Worten wie aus dem Handbuch für aufdringliches Marketing. So eine Meinungsmache ist bei Tools, die menschlichen Usern irgendwann das Recherchieren und – dystopisch weitergedreht – das Denken abnehmen könnten, sehr gefährlich.

Ehrlich gesagt haben wir eine ähnliche Reaktion auch beim Bing Chat erwartet. Statt Microsoft Edge zu loben, gibt die KI allerdings den nützlichen Tipp, sich von Browsern selbst ein Bild zu machen. Als Suchmaschinen-Tool ist die KI nach eigenen Aussagen nicht in der Lage, ein bestimmtes Produkt besser als andere zu bewerten.

Auf die Frage, welche drei Browser sich für Windows 11 am besten eignen, antworten beide Programme hingegen gleich. Auf der Liste stehen Google Chrome, Microsoft Edge und Mozilla Firefox. Bard ist hier allerdings etwas ausführlicher und beschreibt die jeweiligen Browser in kurzen Absätzen, während Bing Chat nur eine Auflistung in drei Stichpunkten ausgibt. Fairerweise müssen wir sagen, dass Bard auch Edge und Firefox nicht schlechtredet. Offenbar lässt sich die Software von den Marketingtexten der jeweiligen Hersteller beeinflussen.

Bard und Bing Chat haben beide ein ähnliches Problem: Sie stellen Fakten teils falsch oder in einem falschen Kontext dar. Allerdings hat Bard bisher nicht einmal gelernt, wie Quellenangaben funktionieren.

Quelle: Google, Mehrwert: niedrig

Zum Release von Bing Chat war die Software für falsche und nicht mehr aktuelle Informationen kritisiert worden. Das gleiche Argument können wir auch für Googles Bard anbringen. Offenbar gilt das hier aber noch einmal mehr. Nicht nur werden Informationen teilweise falsch dargestellt, die KI greift dabei auf veraltete Informationen zurück, obwohl sie theoretisch auch auf Googles Suchressourcen Zugriff haben müsste.

Im jetzigen Zustand fallen für Bard deshalb Nutzungsszenarien weg – beispielsweise, wenn wir aktuelle Nachrichten lesen oder uns über die politische Lage informieren möchten. Für Bard leitet beispielsweise Christine Lambrecht (SPD) noch immer das Bundesverteidigungsministerium, während Bing Chat die aktuelle Information zur Verfügung stellen kann. Schließlich ist SPD-Politiker Boris Pistorius seit Januar 2023 in diesem Amt tätig.

Ironischerweise kann auch Bard diese Antwort richtig ausgeben. Der zielführende Prompt muss nur möglichst präzise gestellt werden. "Wer ist Boris Pistorius?" gibt uns die Antwort, die wir suchen. "Wer ist für das Verteidigungsministerium verantwortlich?" funktioniert nur mit Bing Chat.

Dieses Beharren auf veralteten Informationen können wir bei weiteren Prompts beobachten. So wollten wir von Bard und Bing Chat etwa drei wichtige News im Bereich IT und Tech erhalten. Bing Chat teilt uns etwa mit, dass Google Bard nun in Deutschland verfügbar gemacht wurde, Apple eine Sicherheitslücke in iOS geschlossen habe und die EU Regeln für den Datenaustausch mit den USA aufstellt – alles relevante News aus dem genannten Sektor.

Bard bleibt bei gleicher Fragestellung sehr allgemein – und liegt vor allem daneben. So hält es für neu, dass Meta neue Metaverse-Features angekündigt, Apple neue Macbooks vorgestellt und Google neue Pixel-Smartphones angekündigt hat. Das alles ist passiert, aber vor einigen Wochen und Monaten.

Veraltete Infos

Es scheint, als greift Bard auf ein trainiertes Sprachmodell zurück, das bereits vor einiger Zeit fertiggestellt und seither nicht wirklich aktualisiert wurde. Das gleiche trifft auch auf das hinter Bing Chat arbeitende ChatGPT zu, das auf Daten aus den Vorjahren basiert. Allerdings führt das Tool nach jedem Prompt eine Suchanfrage auf Bing durch. Die gefundenen Ergebnisse fließen dann in die generierte Antwort mit ein.

Das sollte in allen Fällen bei Bard eigentlich auch so funktionieren. Die Praxis sieht allerdings anders aus, so dass die Software für aktuelle Themen noch unbrauchbar ist. Das gilt übrigens auch für die generelle Transparenz. Haben wir Microsofts Tool noch für die übersichtlichen Quellenangaben und den schnellen Zugriff auf Sucheregebnisse gelobt, können wir Bard nur dafür kritisieren.

Das ist klar, denn es gibt schlicht keine Quellenangaben zu Bards Antworten. Wollen wir etwa Fakten und Ergebnisse nachprüfen, müssen wir den Umweg über manuelle Suchmaschinen gehen. Das ist sowas von 2022!

Fehlende Transparenz

Statt einer Quellenangabe bietet Bard die Möglichkeit, weitere Suchanfragen über eine Google-Suche zu stellen. Auf Basis der Prompts werden dabei drei Vorschläge generiert, die wir anklicken können. Bard führt uns anschließend zur Google-Webseite und führt eine Suchanfrage mit dem ausgewählten Text durch. Teilweise ist selbst dieses Feature noch kaputt. Manchmal gelangen wir etwa auf englischsprachige Suchergebnisse.

Bing Chat löst das unserer Meinung nach viel besser, denn es führt uns direkt zu den Primärquellen und geht meist nicht den Umweg über Bing, Google oder eine andere Suchmaschine. Die in einer Antwort genutzten Quellen werden hier zudem immer übersichtlich aufgelistet.

Bei Bard ist es umso schwerer, den Gedankenweg der Software nachzuvollziehen. Da sie auf teils nicht mehr aktuellen Informationen basiert, sind Ausgaben oft mit Fehlern versehen. Es ist hier besonders wichtig, Fakten noch einmal manuell nachzuprüfen. Schließlich hat der Planet Jupiter nach aktuellem Kenntnisstand nicht mehr 92, sondern 95 Monde.

Übrigens liegt auch Bing Chat hier daneben. Der Unterschied ist, dass wir direkt nachvollziehen können, aus welcher Quelle die genannte Zahl stammt. So findet die Software in unserer ersten Anfrage "Wie viele Monde hat der Jupiter?" nur 75 Monde. Als Quelle wird dabei ein alter Artikel eines Wissenschaftsmagazins zitiert. Lassen wir ChatGPT einen Schulaufsatz über den Jupiter schreiben, greift das System aber auf den aktualisierten Wikipedia-Artikel zurück und trägt die seit März 2023 bestätigten 95 Monde entsprechend korrekt ein.

In Sachen Kreativität steht Bard dem Microsoft-Tool in nichts nach. Den vom Programm generierten Aufsatz könnten wir minimal bearbeiten und so im Astronomieunterricht abgeben. Spätestens die veralteten Informationen würden jede gescheite Lehrkraft aber schnell skeptisch machen.

Was wir von Bard mitnehmen

Es sei gesagt, dass sowohl Bard als auch Bing Chat weiterhin als unfertige Programme vermarktet werden. Google ist hier auch so transparent und gibt dies direkt auf der Startseite der Software an. Auch finden wir es gut, dass wir schnell auf die Datenverarbeitungsklauseln der Software zugreifen können.

Beide Programme funktionieren dabei mit ihren respektiven Konten und greifen auch auf Standortdaten und vergangene Konversationen zurück. Bei Bard ist es das Google-Konto, bei Bing Chat der Microsoft-Account.

Würden wir Bard in einem Wort beschreiben, dann wäre es im aktuellen Zustand dieses: gefährlich. Es stellt Informationen falsch dar und gibt Empfehlungen auf Basis von Unternehmensmarketing. Wer hält Google am Ende davon ab, gegen Geld bestimmte Unternehmen und Produkte besonders hoch zu loben? Eine ähnliche Praxis sehen wir ja bereits in der Google-Suchmaschine selbst.

Es geht ums Geld, nicht um Moral

Ähnliche Bedenken haben wir übrigens auch bei Microsoft. Am Ende geht es schließlich nicht (nur) darum, Menschen kostenlose Hilfe anzubieten, sondern mit den in der Entwicklung sehr teuren Programmen am Ende auch viel Geld zu verdienen.

Der Unterschied zwischen Bing Chat und Bard ist: Microsoft hat von Anfang an vorbildliche Transparenz und Quellenangaben in das eigene Produkt integriert. Das einzige, was Google bisher gut kann, ist mittels Bard auf sich selbst zu verweisen. Diese Einstellung halten wir für gefährlich, da sie einen Einblick in die Denkweise des Entwicklerteams und der Intention hinter Bard gibt.

Die eigenen Produkte zu vermarkten und Transparenz nach hinten zu stellen. Der Blick auf die Zukunft, in der unser Suchverhalten im Internet durch KI-Systeme kontrolliert wird und wir solchen Tools nach und nach mehr Vertrauen schenken, ist für uns umso düsterer

Aber wer weiß, möglicherweise bessert Google in diesem Bereich noch nach. Im aktuellen Zustand sehen wir Bard nicht als seriös und praktisch nutzbares Tool an.

[ Link nur für registrierte Mitglieder sichtbar. Bitte einloggen oder neu registrieren ]