Última patente da Microsoft revela nova técnica para detectar conteúdo tóxico

UMA nova patente concedida à Microsoft pelo Escritório de Marcas e Patentes dos Estados Unidos revela detalhes sobre um método implementado por computador para detectar conteúdo eletrônico tóxico. A patente – Detecção de conteúdo tóxico com recurso de interpretabilidade – foi concedido à Microsoft em 1º de outubro e credita Xiaoran Zhang, Emilia Stoica e Clayton Holz como inventores.

A técnica determina probabilisticamente um identificador de palavra-chave tóxica como indicativo de conteúdo tóxico.

Aqui está o pano de fundo. Nas organizações, o pessoal de RH frequentemente conduz pesquisas para solicitar e obter comentários dos funcionários e avaliar e melhorar a saúde da empresa. A revisão pode incluir identificadores de possível toxicidade no local de trabalho, incluindo comentários rudes, desrespeitosos, ameaçadores, obscenos, insultuosos e que contenham ódio baseado na identidade. Essas organizações apreciarão as soluções que as ajudem a identificar rapidamente esses comentários tóxicos entre dezenas ou centenas de milhares de comentários enviados por funcionários. Se a resposta da pesquisa indicar toxicidade, os recursos humanos podem pesquisar a resposta para ações adicionais.

São divulgadas técnicas implementadas por computador para detecção de conteúdo tóxico precisa e interpretável. As técnicas abrangem o uso de um identificador de palavra-chave tóxica probabilística para determinar probabilisticamente palavras-chave que são indicativas de conteúdo tóxico. Em uma implementação, as palavras-chave tóxicas são determinadas com base na comparação de frequências de termo das palavras-chave em um conjunto de comunicações eletrônicas interpessoais tóxicas de exemplo com as frequências de termo das palavras-chave em um conjunto de comunicações eletrônicas interpessoais não tóxicas de exemplo. Uma palavra-chave é determinada como indicativa de conteúdo tóxico se sua frequência de termo no conjunto de exemplos tóxicos for mais do que um número limite de vezes mais do que sua frequência de termo no conjunto de exemplos não tóxicos. Desta forma, um conjunto de várias palavras-chave indicativas de conteúdo tóxico pode ser determinado. Os comentários da pesquisa contendo uma palavra-chave considerada tóxica são então sinalizados como conteúdo potencialmente tóxico em uma interface do usuário para análise humana.

As empresas de tecnologia registram várias patentes que muitas vezes não veem a luz do dia em produtos voltados para o consumidor, portanto, qualquer conjectura sobre a aplicação dessa técnica patenteada é bem, uma conjectura. A Microsoft também pode ampliar o uso dessa técnica para analisar o comportamento tóxico em chats e transcrições de vídeo no Microsoft Teams.