Saturn hat festgestellt, dass KI-Modelle durchschnittlich in 57% der Fälle falsche Antworten auf Finanzfragen gaben.

Bei komplexen Anfragen mit mehreren Berechnungen stieg die Fehlerquote auf 88% und erreichte bei einigen Modellen 99%.

Ein Fehler eines Modells bei der Besteuerung von Renten könnte der Studie zufolge zu einer Forderung von HMRC in Höhe von 17.500 £ geführt haben.

Das Technologieunternehmen Saturn testete kostenlose und kostenpflichtige Versionen von ChatGPT, Claude, Copilot, Grok und Gemini in einer von der FT berichteten Untersuchung. Dabei stellte das Unternehmen fest, dass die Modelle bei Finanzfragen durchschnittlich in 57% der Fälle falsche Antworten gaben. Bei komplexen Anfragen mit mehreren Berechnungen stieg die Fehlerquote auf 88%, was die möglichen finanziellen Folgen verdeutlicht, wenn generative KI für Steuer-, Renten- und Anlageentscheidungen genutzt wird.

KI-Modelle hatten Schwierigkeiten mit komplexen Finanzfragen

Die Forscher testeten mehr als 100 geldbezogene Fragen mit 18 Modellen. Insgesamt reichten sie mehr als 10.000 Prompts ein, wobei jede Frage bis zu fünfmal wiederholt wurde.

Die Studie identifizierte Fehler bei Finanzberechnungen, die Nichtberücksichtigung künftiger Änderungen der Steuergesetzgebung, erfundene Regeln und falsche Antworten auf komplexe Fragen, die mehrere Berechnungen erforderten.

Bei einigen Modellen erreichte die Fehlerquote bei komplexen Fragen 99%. Claude Opus 5 erzielte im „Reasoning“-Modus das beste Ergebnis, beantwortete jedoch weiterhin 39% der Fragen falsch.

Amal Jolly, CEO von Saturn, sagte, die weitverbreitete Nutzung von KI für Finanzberatung schaffe zusätzliche Risiken.

„Millionen von Menschen vertrauen den KI-Modellen bei Geldfragen, aber sie erhalten falsche Antworten, die sie Geld kosten können“, sagte er.

Fehler könnten beträchtliche Kosten verursachen

In einem Test befragten die Forscher das kostenlose Modell Claude Haiku 4.5 zur Besteuerung von Renten. Der Studie zufolge hätte dessen Fehler für einen Rentensparer zu einer Forderung von HMRC in Höhe von 17.500 £ oder rund 23.430 $ führen können.

In einem weiteren Fall „erfand“ Claude eine Regel zu Studiendarlehen und behauptete, ein Hochschulabsolvent könne nach einem Umzug ins Ausland die Rückzahlungen einstellen.

Kostenpflichtige Modelle waren im Allgemeinen genauer als kostenlose Versionen, während neuere Modelle bessere Ergebnisse erzielten. Sarah Coles, Leiterin für Privatfinanzen bei der Anlageplattform AJ Bell, sagte, KI könne Nutzern dennoch bei der Budgetplanung und der Informationssuche helfen.

„Es ist ein gutes Beispiel dafür, warum Menschen, die Unterstützung benötigen, eine angemessene Beratung brauchen, statt der KI zu vertrauen“, sagte sie.

Die Ergebnisse stimmen mit einer aktuellen Studie der britischen Finanzaufsicht Financial Conduct Authority überein, die ergab, dass einer von fünf Erwachsenen im Vereinigten Königreich bereit war, KI Finanzentscheidungen in seinem Namen treffen zu lassen. Das Interesse war in komplexen Bereichen wie Schulden, Renten und Anlagen am stärksten.

Jolly sagte, KI-Finanzberatung sei derzeit unreguliert, sodass Nutzer nicht über dieselben Schutzmechanismen und Entschädigungsmöglichkeiten verfügten wie bei der Beratung durch einen menschlichen Fachmann.

OpenAI hat kürzlich ChatGPT für den Finanzsektor eingeführt.

Quelle: HODL Press