[ziesell]

Halluzination: ChatGPT erfindet Gerichtsakten

Ein Anwalt wollte sich von ChatGPT bei der Recherche unterstützen lassen – das Ergebnis ist eine Blamage.



Ein Mann wird auf einem Flug von einem Servierwagen angefahren und verklagt anschließend die Fluggesellschaft auf Schmerzensgeld – so weit nichts Ungewöhnliches in den USA. Besonders wurde der Fall erst, als die Anwälte der Fluggesellschaft ein Schreiben erhielten, das mehrere Präzedenzfälle auflistete, zu denen sie keine Akten fanden. Verhandelt wurde das Verfahren am Bezirksgericht in Manhattan, New York, wie die New York Times berichtet.

Alle Fälle enthielten Zitate aus den jeweiligen Entscheidungen und sogenannte docket numbers, die dem deutschen Aktenzeichen entsprechen. Darüber sollten die entsprechenden Fälle in den Gerichtsarchiven zu finden sein. Auf Nachfrage übermittelte der Anwalt des Klägers sogar mehrseitige Auszüge aus den vermeintlichen Akten – wie sich herausstellte, allesamt von der KI erfunden.

Wieder prüften die Anwälte der Fluggesellschaft, wieder fanden sie keine entsprechenden Akten. Zu diesem Zeitpunkt, so die Kanzlei, habe man bereits vermutet, dass das Material von einem Sprachmodell wie ChatGPT erfunden worden sei.

Das räumte dann auch der Anwalt des Klägers ein: Er habe sich bei der Recherche von ChatGPT unterstützen lassen. Allerdings habe "sich diese Quelle als unzuverlässig erwiesen". Er habe, so der Anwalt, sich sogar von der KI versichern lassen, dass die Fälle real seien. Sein Vertrauen war allerdings offensichtlich dennoch so groß, dass er keine eigenen Recherchen mehr anstellte – ein großer Fehler, wie er rückblickend einsah.

Ein Mix aus realen Fällen

Grund für die erfundenen Fälle ist ein Verhalten, das als Halluzination bezeichnet wird. Dabei leitet eine KI Daten ab, die frei aus dem während des Trainings Gelernten zusammengestellt sind. Die einzelnen Versatzstücke, etwa die docket numbers, existieren zwar, sind aber neu zusammengestellt.

Für die KI erscheint das Ergebnis korrekt, weshalb das System auch bei Nachfragen auf seinem Ergebnis beharrt. Besonders bei sehr spezialisierten Themengebieten – wozu Fluggastrechte wohl zählen dürften – tritt dieses Phänomen auf. Zumindest vorerst ersetzen Sprachmodelle wie ChatGPT also keinen Anwalt.

[ Link nur für registrierte Mitglieder sichtbar. Bitte einloggen oder neu registrieren ]