Por que a IA inventa coisas?
Alucinação de IA é uma resposta confiante, mas falsa ou inventada, como um fato, uma citação ou uma fonte que não existem. Acontece porque o chatbot prevê palavras prováveis em vez de checar fatos, então, quando falta informação, ele produz algo fluente mesmo assim. Cuidado com nomes, números, citações, referências e notícias recentes: confira em outro lugar.
▶ Pratique
Por que isso importa
Um modelo de linguagem sempre produz palavras prováveis, mesmo quando não tem uma resposta de verdade. O resultado pode ser um fato, uma citação ou uma fonte caprichada, confiante e totalmente inventada.
Em 6 minutos você vai conseguir
- Alucinações de IA acontecem porque chatbots preveem palavras prováveis, não fatos checados.
- Nomes, números, citações, referências e notícias recentes são os pontos críticos.
- Confira detalhes importantes numa fonte confiável, não perguntando de novo ao chatbot.
O que você vai praticar
Por que acontece
Uma alucinação não é defeito nem mentira. Ela vem do jeito como os chatbots escrevem.
- 🔮 Ela prevê, não consulta
- Um chatbot escreve as próximas palavras mais prováveis. Não existe um passo embutido que confira tudo com os fatos.
- 🕳️ Lacunas são preenchidas
- Quando os textos de treino dizem pouco sobre um assunto, o modelo produz mesmo assim algo com cara de resposta.
- 😌 Sempre soa segura
- O tom é o mesmo quando a resposta está certa ou errada. Confiança não diz nada.
- 📌 Pontos críticos
- Os erros são mais comuns em nomes, datas, números, citações, referências, temas de nicho e acontecimentos recentes.
Ache as invenções
A Noor sabe a história real: o Lumen Lab foi criado por três estudantes em 2019, como um pequeno laboratório de pesquisa. Toque em cada detalhe inventado na resposta da Lumi.
Lumi
Ótima pergunta! O Lumen Lab é um laboratório de pesquisa que estuda como as máquinas aprendem. Ele foi fundado em 1987 pela Dra. Elena Varga, que também inventou a primeira calculadora solar. Ela dizia: “A luz é a professora mais esperta.” Saiba mais no livro dela, Máquinas Brilhantes (2004), página 112Arriscado ou tranquilo?
Qual pergunta tem mais chance de receber uma resposta inventada?
Qual destas você deve conferir mais?
- “Me dê três estudos, com número de página, sobre meu tema” (Resposta)
- “Sugira um título para meu álbum de fotos das férias”
A Lumi diz a população exata de uma cidadezinha. Qual é a jogada esperta?
- Conferir numa fonte oficial ou confiável (Resposta)
- Confiar, o número é tão preciso
- Perguntar à Lumi “Tem certeza?” e aceitar a resposta
Hábitos que pegam invenções
Escolha todos os hábitos que ajudam.
- Pesquisar nomes, datas e números numa fonte confiável
- Abrir cada fonte citada e ver se ela diz isso
- Buscar a citação exata para ver se existe mesmo
- Ter cuidado extra com notícias recentes e temas de nicho
- Confiar em respostas que soam seguras e detalhadas
- Aceitar uma fonte porque tem número de página
Lembre-se
Fluente não é verdadeiro. Confira nomes, números, citações e fontes fora do chat.
Fluente não é verdadeiro. Confira nomes, números, citações e fontes antes de confiar.
Fatos principais
- Em junho de 2023, um juiz federal dos EUA multou dois advogados e o escritório deles em US$ 5.000 por apresentarem uma petição que citava decisões judiciais inventadas por um chatbot de IA. · Fonte: Tribunal Distrital dos EUA, Distrito Sul de Nova York, Mata v. Avianca, Inc., decisão e sanções, 22 de junho de 2023
- O instituto americano de padrões e tecnologia (NIST) lista a “confabulação”, conteúdo falso afirmado com confiança, como um dos principais riscos da IA generativa. · Fonte: NIST, AI 600-1, Artificial Intelligence Risk Management Framework: Generative AI Profile, 2024
- Alguns pesquisadores preferem a palavra “confabulação” a “alucinação”, porque o modelo não está vendo coisas que não existem; ele preenche lacunas com conteúdo que soa plausível.
- Perguntar a um chatbot se a própria resposta está correta não é uma checagem confiável, porque a nova resposta é gerada do mesmo jeito que a original.
Atualizado:
Perguntas frequentes
Qual é um exemplo de alucinação de IA?
Um chatbot inventar um livro, um estudo ou um processo judicial que não existe, com título, autor e página realistas, ou dar uma data ou estatística precisa, mas errada.
Por que os chatbots de IA alucinam?
Eles são treinados para produzir texto que soa provável, não para checar fatos. Quando falta informação, o modelo gera mesmo assim uma resposta fluente que segue o padrão, ainda que seja falsa.
Dá para corrigir as alucinações da IA?
Dá para reduzir, por exemplo ligando o chatbot a buscas ou a documentos confiáveis e com treino melhor, mas nenhum método atual elimina as alucinações por completo. Conferir os fatos importantes continua sendo tarefa sua.
Como saber se a IA está alucinando?
Muitas vezes não dá para saber só pelo texto, porque ele soa igualmente confiante nos dois casos. Confira nomes, números, citações e fontes num lugar confiável fora do chat.
Termos relacionados