Tech

Os chatbots do Google e da Microsoft estão compondo as estatísticas do Super Bowl

Se você precisasse de mais evidências de que a GenAI é propensa a inventar coisas, o Google Gêmeos chatbot, anteriormente Bardo, acha que o Super Bowl de 2024 já aconteceu. Ele ainda tem estatísticas (fictícias) para apoiá-lo.

Por um Reddit fioGêmeos, alimentado por Modelos GenAI do Google com o mesmo nome, está respondendo a perguntas sobre o Super Bowl LVIII como se o jogo tivesse terminado ontem – ou semanas antes. Como muitas casas de apostas, parece favorecer os Chiefs em detrimento dos 49ers (desculpe, torcedores de São Francisco).

Gemini embeleza de forma bastante criativa, em pelo menos um caso fornecendo um detalhamento das estatísticas do jogador, sugerindo que o quarterback do Kansas Chief, Patrick Mahomes, correu 286 jardas para dois touchdowns e uma interceptação contra as 253 jardas corridas e um touchdown de Brock Purdy.

Não é apenas Gêmeos. da Microsoft Co-piloto o chatbot também insiste que o jogo terminou e fornece citações erradas para respaldar a afirmação. Mas — talvez refletindo uma tendência de São Francisco! – diz que os 49ers, e não os Chiefs, saíram vitoriosos “com uma pontuação final de 24-21”.

Copiloto Super Bowl

Créditos da imagem: Kyle Wiggers/TechCrunch

É tudo um tanto bobo – e possivelmente já resolvido, visto que este repórter não teve sorte em replicar as respostas do Gemini no tópico do Reddit. (Eu ficaria chocado se a Microsoft também não estivesse trabalhando em uma solução.) Mas também ilustra as principais limitações da GenAI atual – e os perigos de confiar demais nela.

Modelos GenAI não tenho inteligência real. Alimentados por um enorme número de exemplos geralmente provenientes da web pública, os modelos de IA aprendem a probabilidade de os dados (por exemplo, texto) ocorrerem com base em padrões, incluindo o contexto de quaisquer dados circundantes.

Esta abordagem baseada em probabilidade funciona notavelmente bem em escala. Mas embora a gama de palavras e suas probabilidades sejam provável para resultar em um texto que faça sentido, está longe de ser certo. Os LLMs podem gerar algo que é gramaticalmente correto, mas sem sentido, por exemplo – como a afirmação sobre a Golden Gate. Ou podem divulgar mentiras, propagando imprecisões em seus dados de treinamento.

Não é malicioso por parte dos LLMs. Eles não têm maldade e os conceitos de verdadeiro e falso não têm sentido para eles. Eles simplesmente aprenderam a associar certas palavras ou frases a certos conceitos, mesmo que essas associações não sejam precisas.

Daí as falsidades de Gêmeos e Copilot no Super Bowl.

Google e Microsoft, como a maioria dos fornecedores de GenAI, reconhecem prontamente que seus aplicativos GenAI não são perfeitos e estão, na verdade, sujeitos a cometer erros. Mas esses reconhecimentos vêm na forma de letras pequenas que eu diria que poderiam facilmente passar despercebidas.

A desinformação do Super Bowl certamente não é o exemplo mais prejudicial de GenAI saindo dos trilhos. Essa distinção provavelmente reside endossando tortura, reforçando estereótipos étnicos e raciais ou escrevendo de forma convincente sobre teorias da conspiração. É, no entanto, um lembrete útil para verificar novamente as declarações dos bots GenAI. Há uma boa chance de que não sejam verdade.

Source

Related Articles

Leave a Reply

Your email address will not be published. Required fields are marked *

Back to top button