Solução para alucinações de IA pode ser… a própria IA!

Pesquisadores descobriram que chatbots podem ser usados para detectar “alucinações” de outros modelos de IA generativa. No estudo publicado recentemente na revista Nature, a equipe explica que sistemas como o ChatGPT, da OpenAI, e o Gemini, do Google, podem ajudar a encontrar e corrigir respostas imprecisas fornecidas por outros chatbots.

Entenda:

• Pesquisadores de Oxford descobriram que chatbots como ChatGPT e Gemini podem ser usados para detectar “alucinações” de outros modelos de IA generativa;
• A equipe fez uma série de perguntas a um chatbot e, em seguida, avaliou as respostas em um outro modelo em busca de inconsistências;
• As perguntas também passaram por avaliadores humanos para determinar a confiabilidade das comparações entre os chatbots;
• Os modelos de IA concordaram com as resoluções dos humanos em 93% dos casos;
• A equipe destaca que as alucinações e respostas imprecisas dos chatbots ajudam a dificultar a adoção generalizada dos sistemas – especialmente em áreas como a medicina;
• O estudo foi publicado na revista Nature.

Para o estudo, Sebastian Farquhar, cientista da computação da Universidade de Oxford, no Reino Unido, e sua equipe fizeram uma série de questionamentos comuns a um chatbot – problemas matemáticos do ensino fundamental, por exemplo. Um segundo modelo foi usado para revisar as respostas geradas em busca de inconsistências e distorções.

Leia mais:

Chatbots ajudam a corrigir alucinações de IA

As perguntas feitas aos chatbots também passaram por avaliadores humanos. Como explicam os investigadores no artigo, a IA concordou com as resoluções dos humanos em 93% dos casos, e os avaliadores humanos concordaram entre si em 92% das vezes. O resultado ajudou a equipe a determinar a confiabilidade da comparação das respostas dos diferentes chatbots.

Ao The Washington Post, Farquhar explica que, para o leitor médio, é “muito difícil” identificar alguns erros da IA, já que os chatbots “muitas vezes dizem o que você quer ouvir, inventando coisas que não são apenas plausíveis, mas que seriam úteis se fossem verdadeiras, algo que os pesquisadores rotularam de ‘bajulação’.”

A equipe ainda diz que as alucinações da IA generativa ajudam a criar uma barreira que impede a adoção generalizada dos sistemas – principalmente em áreas como a medicina, onde “poderiam representar um risco para a vida humana.”