A Apple removeu da App Store dois apps de deepfake sexual, Kromix e MaskAI, depois que uma investigação mostrou que a Meta veiculava anúncios segmentados para homens promovendo nudez gerada por IA com rostos de pessoas reais.
Adicione ao Google NotíciasNeste artigo
Na prática, a Apple tirou do ar ferramentas de “nudificação” que driblavam a revisão da loja para transformar fotos e vídeos em conteúdo sexual explícito, enquanto a Meta só derrubou 32 anúncios da campanha depois de ser cobrada publicamente. O caso escancara, mais uma vez, o buraco na combinação “moderação automatizada + hype de IA” das duas gigantes.
O que eram Kromix e MaskAI e por que foram banidos?
O Kromix se apresentava na App Store como um simples “estilizador de imagens por IA”. Mas, nos anúncios veiculados pela Meta, o discurso era outro: o app se vendia como uma IA “sem restrições”, destacava que “todos os personagens são pessoas reais” e se promovia como “a IA que os homens realmente usam”. A campanha tinha 32 anúncios, todos direcionados exclusivamente a usuários do sexo masculino, segundo a investigação citada pelas empresas envolvidas.
Em um dos vídeos, uma mulher com aparência muito semelhante à de uma política dos Estados Unidos aparece diante de símbolos ligados à presidência. A peça cortava, então, para uma cena pornográfica deepfake com o mesmo rosto, expondo a mistura de instrumentalização política e exploração sexual do recurso. Usuários pagantes podiam enviar fotos para gerar imagens explícitas, com comandos que incluíam termos ligados a violência sexual e outras práticas criminosas, abrindo espaço para pedidos de estupro simulado, coerção e outros abusos digitais direcionados a rostos identificáveis.
Já o MaskAI oferecia troca de rostos em situações sexuais, permitindo subir fotos de pessoas reais para encaixar em cenas íntimas. Após ser questionada, a Apple removeu também esse aplicativo. A empresa afirmou que proíbe aplicativos projetados para gerar, distribuir ou consumir pornografia, e que apps de “desnudificação” violam suas diretrizes de revisão da App Store. Segundo a própria Apple, o Kromix adicionou funcionalidades proibidas depois de passar pelo crivo inicial, isto é, o pacote de recursos que transformava o app em ferramenta de deepfake sexual entrou via atualização posterior, e não no envio original para aprovação.
Qual o papel da Meta nos anúncios e o que falhou na moderação?
Os dois apps não ganharam alcance sozinhos: contaram com o impulso dos sistemas de anúncios da Meta. A revista WIRED relatou às empresas uma campanha do Kromix com 32 anúncios comprados em plataformas da Meta, todos mirando homens. As peças exploravam imagens de mulheres e até o rosto de uma política americana para vender uma espécie de “botão de tirar a roupa” com IA, com chamadas que incentivavam o usuário a testar o recurso sobre qualquer foto disponível.
A Meta reconheceu uma falha em seus sistemas automatizados de revisão de anúncios. As políticas da companhia proíbem a promoção de serviços de “nudificação”, mas o caso ilustra como anunciantes vêm aprendendo a contornar filtros: capas que mostram apenas paisagens ou cenas genéricas, aparentemente inofensivas à primeira vista, escondem conteúdo sexual que só aparece depois do clique no anúncio. Segundo a biblioteca de anúncios da Meta, a maioria das 32 peças ficou no ar entre 5 e 46 horas e teve 10 ou menos impressões antes de ser removida. A Meta sustenta que derrubou os anúncios assim que foi acionada pela imprensa, o que indica que a ação mais efetiva partiu de uma denúncia externa, não do sistema automático.
A empresa diz ter removido mais de 340 mil anúncios de aplicativos de nudificação no fim do ano passado e afirma compartilhar dados de contas banidas com outras big techs. Ainda assim, o fato de uma campanha desse tipo conseguir passar pela triagem expõe um gargalo: a dependência de moderação automatizada continua abrindo espaço para abusos de IA sexualizada direcionada a mulheres, inclusive em anúncios pagos, que em tese passam por mais checagens antes de ir ao ar.
Apple está realmente fechando o cerco aos deepfakes de nudez?
A remoção de Kromix e MaskAI não surge como caso isolado dentro da loja da Apple. A empresa admite que desenvolvedores vêm adicionando recursos proibidos depois da aprovação inicial, o que força um jogo de gato e rato dentro da App Store, com atualizações que inserem funções de nudez sintética e violação de privacidade sem alterar de forma óbvia a descrição oficial do app. A Apple afirma que “sempre proibiu rigorosamente” apps voltados a pornografia e que trabalha de forma agressiva para identificar e remover tanto os aplicativos quanto as contas de desenvolvedores que tentam burlar regras, especialmente em ferramentas de “desnudificação”.
Pressão externa ajuda a acelerar movimentos como esse. Em julho recente, o procurador de São Francisco enviou uma carta de cessar e desistir à Apple exigindo a remoção de oito aplicativos de nudificação da loja. Depois, outra carta elevou o número para 13 apps, acusando a companhia de “auxiliar e ser cúmplice” na venda de imagens explícitas geradas por IA. Em paralelo, discussões legislativas sobre deepfakes íntimos sem consentimento avançam em vários países, incluindo o Brasil, onde projetos específicos sobre o tema tramitam no Congresso e incluem desde tipificação criminal até regras de responsabilidade para plataformas que hospedam ou distribuem esses conteúdos.
Enquanto reguladores apertam o cerco, a Apple tenta mostrar serviço na limpeza da loja, mas a cada nova leva de banimentos aparece um problema estrutural: a revisão da App Store não escala bem quando o objetivo é detectar funcionalidades de abuso sexual por IA escondidas em atualizações. E isso alimenta um outro front para a empresa, com desenvolvedores reclamando de arbitrariedade nos banimentos e, em pelo menos um caso recente, levando a briga para a Justiça nos Estados Unidos por remoção de apps de IA e retenção de receita, com pedidos de indenização e questionamentos sobre a transparência dos critérios de revisão.
Por que o caso importa para usuários e para o debate sobre IA?
Deepfakes sexuais não consensuais afetam de forma desproporcional mulheres e figuras públicas. Pesquisadores citados pelas empresas envolvidas apontam que materiais até então banais — fotos oficiais, entrevistas, lives — viraram combustível para apps que transformam qualquer rosto em pornografia, muitas vezes com violência implícita. Casos recentes envolveram autoridades em países europeus e têm aumentado a pressão para que lojas de apps e plataformas de anúncios adotem limites muito mais duros, com banimentos rápidos, rastreamento de contas reincidentes e cooperação entre empresas para bloquear redes especializadas em abuso digital.
No Brasil, o tema entra no mesmo pacote de discussões que tratam de IA generativa, proteção de crianças e adolescentes e responsabilização de plataformas. A Meta já foi criticada por permitir anúncios com abuso sexual infantil gerado por IA alcançarem milhares de usuários antes de remoção, e o episódio de Kromix e MaskAI reforça que o problema não está restrito a “casos isolados”.
Para Apple e Meta, o custo agora não é técnico, é político e jurídico: cada novo app de nudez por IA que escapa da moderação vira argumento extra para quem defende leis específicas contra deepfakes íntimos e regras mais duras para lojas e sistemas de anúncios. Nenhuma das duas empresas detalhou que mudanças concretas fará na revisão de apps e de campanhas publicitárias depois desse episódio — o próximo embate deve recair exatamente sobre esse ponto, quando reguladores e parlamentares cobrarem compromissos verificáveis e métricas de redução desse tipo de abuso.
