IA do Google chama polícia por foto de pai com filho doente

reocupações com as consequências de confundir as linhas do que deveria ser considerado privado já renderam discussões no ano passado. A Apple chegou a anunciar seu plano de segurança infantil. Como parte disse, a Apple digitalizaria localmente imagens em dispositivos Apple antes de serem carregadas no iCloud e, em seguida, combinaria as imagens com o banco de dados de CSAM (sigla em ingês usada para definir pornografia infantil).

Se achadas correspondências suficientes, um moderador humano revisaria o conteúdo e bloquearia a conta do usuário se contiver CSA

A Electronic Frontier Foundation (EFF), um grupo de direitos digitais sem fins lucrativos, derrubou o plano da Apple dizendo que poderia “abrir uma porta dos fundos para sua vida privada” e que representava “uma diminuição na privacidade de todos os usuários do iCloud, não uma melhoria”.

A Apple finalmente colocou a parte de digitalização de imagens armazenadas em segundo plano, porém, com o lançamento do iOS 15.2 passou a incluir um recurso opcional para contas filhas incluídas em um plano de compartilhamento familiar. Se os pais aceitarem, na conta de uma criança, o aplicativo Mensagens “analisa anexos de imagens e determina se uma foto contém nudez, mantendo a criptografia de ponta a ponta das mensagens”. Se detectar nudez, desfoca a imagem, exibe um aviso para a criança e apresenta recursos destinados a ajudar na segurança online.

O caso em detalhes

O incidente acima destacado pelo New York Times ocorreu em fevereiro de 2021, quando alguns consultórios médicos ainda estavam fechados devido à pandemia do COVID-19.

Conforme observado, Mark (cujo sobrenome não foi revelado) notou inchaço na região genital do filho e, a pedido de uma enfermeira, enviou imagens do problema antes de uma consulta por vídeo. O médico acabou prescrevendo antibióticos que curaram a infecção.

O pais receberam uma notificação do Google apenas dois dias depois de Mark tirar as fotos, informando que suas contaa haviam sido bloqueadas devido a “conteúdo nocivo” que era “uma violação grave das políticas do Google e pode ser ilegal”.

Mark acabou perdendo o acesso a seus e-mails, contatos, fotos e até mesmo seu número de telefone, pois usava o serviço móvel do Google Fi. Mark imediatamente tentou apelar da decisão do Google, mas o Google negou o pedido de Mark.

O Departamento de Polícia de São Francisco, onde Mark mora, abriu uma investigação em dezembro de 2021 e obteve todas as informações que ele armazenou no Google. O investigador do caso acabou por constatar que o incidente “não satisfez os elementos de um crime e que nenhum crime ocorreu”.

Tecnologia usada pelo Google já ajudou na prisão de pedófilo

Como muitas empresas de internet, incluindo Facebook, Twitter e Reddit, o Google usou a correspondência de hash com o FotoDNA da Microsoft para digitalizar imagens carregadas para detectar correspondências com pornografia infantil. Essa tecnologia em 2012 levou à prisão de um homem que era um criminoso sexual e usou o Gmail para enviar imagens de uma jovem.

Em 2018, o Google anunciou o lançamento do seu Kit de ferramentas de IA da API de segurança de conteúdo que pode “identificar proativamente imagens de CSAM nunca antes vistas para que possam ser revisadas e, se confirmadas como CSAM, removidas e relatadas o mais rápido possível”.

Ele usa a ferramenta para seus próprios serviços e, juntamente com uma solução de correspondência de hash CSAI Match de segmentação de vídeo desenvolvida por engenheiros do YouTube, também a oferece para uso de outras pessoas.

Um porta-voz do Google disse que a IA só verifica as imagens pessoais dos usuários quando um usuário toma uma “ação afirmativa”, ou seja, quando você dá “Ok” para o Google fazer backup de suas fotos no serviço Google Photos, o que a maioria faz sem pensar a respeito.

Quando o Google sinaliza imagens exploratórias, ele é exigido pela lei federal americana a denunciar o potencial infrator à CyberTipLine no NCMEC. Em 2021, o Google relatou 621.583 casos ao CyberTipLine do NCMEC, enquanto o NCMEC alertou as autoridades de 4.260 potenciais vítimas em uma lista que o NYT diz que inclui o filho de Mark.