Um novo teste sobre o conhecimento da Siri a respeito do histórico do Super Bowl revelou problemas significativos de precisão na assistente virtual da Apple. Isso sugere que a empresa ainda precisa aprimorar a capacidade da Siri de fornecer informações confiáveis.
Siri erros Super Bowl: Testes revelam falhas na assistente virtual
Em um experimento metódico, Paul Kafasis, do One Foot Tsunami, perguntou à Siri quem venceu cada Super Bowl, do I ao LX, e documentou suas respostas. Os resultados foram surpreendentemente ruins, com a Siri identificando corretamente os vencedores apenas 34% das vezes – acertando somente 20 de 58 jogos.
Um dos erros mais notáveis foi a atribuição repetida e incorreta de 33 vitórias do Super Bowl ao Philadelphia Eagles, apesar do time ter vencido apenas um campeonato em sua história. As respostas da assistente virtual variaram entre informações sobre os jogos errados e fatos de futebol americano completamente aleatórios.
Embora a Siri tenha conseguido algumas sequências de acertos, incluindo três respostas corretas consecutivas para os Super Bowls V, VI e VII, ela também teve uma sequência impressionante de 15 respostas incorretas consecutivas, abrangendo os Super Bowls XVII a XXXII.
Em um caso específico, ao ser questionada sobre o Super Bowl XVI, a Siri se ofereceu para consultar o ChatGPT, que forneceu a resposta correta. Esse contraste destacou as limitações da base de conhecimento da Siri em comparação com sistemas de IA mais avançados, como os disponíveis para notebooks gamer.
Leia também:
O teste foi realizado no iOS 18.2.1 com o Apple Intelligence ativado e resultados semelhantes foram encontrados tanto na versão beta do iOS 18.3 quanto no macOS 14.7.2. Isso sugere que o problema se estende por todas as plataformas da Apple. Kafasis gerou uma planilha com os resultados nos formatos Excel e PDF.
Inspirado pelo teste de Kafasis, John Gruber, do Daring Fireball, fez suas próprias pesquisas esportivas com a Siri e comparou as respostas com as do ChatGPT, Kagi, DuckDuckGo e Google, que obtiveram sucesso onde a Siri falhou. Vale lembrar que esses mecanismos de busca são amplamente utilizados em notebooks gamers para acesso a informações e pesquisas.
Para piorar a situação para a Apple, Gruber descobriu que a versão antiga da Siri (antes do Apple Intelligence) teve um desempenho melhor ao se recusar a responder, fornecendo em vez disso uma lista de links da web. O primeiro resultado da web forneceu uma resposta precisa, embora parcial, à pergunta, enquanto a nova Siri, alimentada pelo Apple Intelligence, teve um desempenho muito pior. Segundo Gruber, “A nova Siri – alimentada pelo Apple Intelligence com a integração do ChatGPT habilitada – obtém uma resposta completamente, mas plausivelmente errada, que é a pior maneira de errar”. Ele ainda completa que as respostas são inconsistentes. Gruber comentou: “É simplesmente incrível como a Siri é estúpida sobre um assunto tão popular”.
Essa não é a primeira vez que a Siri é criticada por seu desempenho geral, como visto aqui, mas a crítica de Gruber sobre respostas “plausivelmente erradas” para perguntas de conhecimento geral se relaciona ao problema moderno dos chatbots de IA que fornecem respostas enganosas ou completamente erradas com total confiança.
A Apple está desenvolvendo uma versão muito mais inteligente da Siri que utiliza modelos de linguagem grandes avançados, o que deve permitir que a assistente pessoal concorra melhor com chatbots como o ChatGPT. Uma versão chatbot da Siri provavelmente seria capaz de manter conversas contínuas e fornecer o tipo de ajuda e insights como ChatGPT ou Claude. No entanto, o quão bem a integração funcionará pode ser uma preocupação, considerando o histórico ruim da Siri. A expectativa é de que a Apple anuncie a Siri com LLM em 2025 na WWDC, com lançamento previsto para uma atualização do iOS 19 na primavera de 2026.
Este conteúdo foi auxiliado por Inteligência Artificial, mas escrito e revisado por um humano.
Via MacRumors
