A Saturn constatou que modelos de IA deram respostas incorretas a perguntas financeiras em 57% dos casos, em média.
A taxa de erro subiu para 88% em consultas complexas que envolviam múltiplos cálculos e chegou a 99% para alguns modelos, evidenciando as potenciais consequências financeiras de depender de IA generativa para decisões sobre impostos, pensões e investimentos.
Segundo o estudo, um erro sobre tributação de pensões cometido por um modelo poderia ter resultado numa cobrança de £17.500 pela HMRC.
A empresa de tecnologia Saturn testou versões gratuitas e pagas do ChatGPT, Claude, Copilot, Grok e Gemini numa pesquisa reportada pelo FT, concluindo que os modelos deram respostas incorretas a perguntas financeiras em 57% dos casos, em média. A taxa de erro subiu para 88% em consultas complexas envolvendo múltiplos cálculos, destacando as potenciais consequências financeiras de depender de IA generativa para decisões sobre impostos, pensões e investimentos.
Modelos de IA tiveram dificuldades com perguntas financeiras complexas
Os investigadores testaram mais de 100 perguntas relacionadas com dinheiro em 18 modelos. No total, submeteram mais de 10.000 prompts, com cada pergunta repetida até cinco vezes.
O estudo identificou erros em cálculos financeiros, falhas em considerar futuras alterações à legislação fiscal, regras inventadas e respostas incorretas a perguntas complexas que exigiam múltiplos cálculos.
Para alguns modelos, a taxa de erro em perguntas complexas chegou a 99%. O Claude Opus 5 apresentou o melhor resultado quando utilizado no modo de “raciocínio”, mas ainda assim respondeu incorretamente a 39% das perguntas.
Amal Jolly, CEO da Saturn, afirmou que o uso generalizado de IA para orientação financeira criou riscos adicionais.
“Milhões de pessoas estão a confiar nos modelos de IA para aconselhamento sobre dinheiro, mas estão a receber respostas erradas que podem fazê-las perder dinheiro”, disse.
Erros podem acarretar custos substanciais
Num teste, os investigadores perguntaram ao modelo gratuito Claude Haiku 4.5 sobre tributação de pensões. Segundo o estudo, o seu erro poderia ter resultado numa cobrança de £17.500 pela HMRC, ou cerca de US$23.430, para um aforrador de pensão.
Noutro caso, o Claude “inventou uma regra” sobre empréstimos estudantis e afirmou que um licenciado poderia deixar de efetuar pagamentos depois de se mudar para o estrangeiro.
Os modelos pagos foram, em geral, mais precisos do que as versões gratuitas, enquanto os modelos mais recentes produziram melhores resultados. Sarah Coles, responsável por finanças pessoais na plataforma de investimento AJ Bell, disse que a IA ainda poderia ajudar os utilizadores com orçamentação e com a procura de informação.
“É um bom exemplo de por que as pessoas que precisam de apoio necessitam de aconselhamento adequado, em vez de confiar na IA”, disse.
As conclusões estão alinhadas com um estudo recente da Autoridade de Conduta Financeira do Reino Unido, que concluiu que um em cada cinco adultos britânicos estava disposto a deixar a IA tomar decisões financeiras em seu nome. O interesse foi mais forte em áreas complexas, incluindo dívida, pensões e investimentos.
Jolly afirmou que o aconselhamento financeiro por IA não era atualmente regulado, deixando os utilizadores sem as mesmas proteções e compensações disponíveis quando consultam um profissional humano.
A OpenAI lançou recentemente o ChatGPT para o setor financeiro.
Fonte: HODL Press
