Saturn concluyó que los modelos de IA dieron respuestas incorrectas a preguntas financieras el 57% de las veces, en promedio.

La tasa de error aumentó al 88% en consultas complejas que implicaban múltiples cálculos y alcanzó el 99% en algunos modelos.

Según el estudio, un error sobre la tributación de pensiones cometido por un modelo podría haber derivado en un cargo de HMRC de £17.500.

La empresa tecnológica Saturn probó versiones gratuitas y de pago de ChatGPT, Claude, Copilot, Grok y Gemini en una investigación recogida por el FT, y concluyó que los modelos dieron respuestas incorrectas a preguntas financieras el 57% de las veces, en promedio. La tasa de error aumentó al 88% en consultas complejas que implicaban múltiples cálculos, lo que pone de relieve las posibles consecuencias financieras de depender de la IA generativa para decisiones fiscales, de pensiones e inversión.

Los modelos de IA tuvieron dificultades con preguntas financieras complejas

Los investigadores probaron más de 100 preguntas relacionadas con el dinero en 18 modelos. En total, enviaron más de 10.000 indicaciones, y cada pregunta se repitió hasta cinco veces.

El estudio identificó errores en cálculos financieros, omisiones de futuros cambios en la legislación fiscal, reglas inventadas y respuestas incorrectas a preguntas complejas que requerían múltiples cálculos.

En algunos modelos, la tasa de error en preguntas complejas alcanzó el 99%. Claude Opus 5 obtuvo el mejor resultado cuando se utilizó en modo de “razonamiento”, pero aun así respondió incorrectamente al 39% de las preguntas.

Amal Jolly, consejero delegado de Saturn, afirmó que el uso generalizado de la IA para orientación financiera generaba riesgos adicionales.

“Millones de personas están confiando en los modelos de IA para recibir consejos sobre dinero, pero están obteniendo respuestas equivocadas que pueden hacerles perder dinero”, afirmó.

Los errores podrían acarrear costes considerables

En una prueba, los investigadores preguntaron al modelo gratuito Claude Haiku 4.5 sobre la tributación de pensiones. Según el estudio, su error podría haber derivado en un cargo de HMRC de £17.500, o aproximadamente $23.430, para un ahorrador de pensiones.

En otro caso, Claude “inventó una regla” sobre préstamos estudiantiles y afirmó que un graduado podía dejar de realizar pagos tras mudarse al extranjero.

Los modelos de pago fueron en general más precisos que las versiones gratuitas, mientras que los modelos más recientes obtuvieron mejores resultados. Sarah Coles, responsable de finanzas personales de la plataforma de inversión AJ Bell, afirmó que la IA aún podía ayudar a los usuarios con la elaboración de presupuestos y la búsqueda de información.

“Es un buen ejemplo de por qué las personas que necesitan apoyo necesitan asesoramiento adecuado en lugar de confiar en la IA”, afirmó.

Los resultados coinciden con un estudio reciente de la Financial Conduct Authority del Reino Unido, que concluyó que uno de cada cinco adultos británicos estaba dispuesto a dejar que la IA tomara decisiones financieras en su nombre. El interés fue mayor en áreas complejas, entre ellas las deudas, las pensiones y las inversiones.

Jolly afirmó que el asesoramiento financiero mediante IA no estaba regulado actualmente, lo que dejaba a los usuarios sin las mismas protecciones y compensaciones disponibles cuando consultan a un profesional humano.

OpenAI lanzó recientemente ChatGPT para el sector financiero.

Fuente: HODL Press