Racismo algorítmico e o Dia Internacional das Mulheres Negras, Afrolatinas e Caribenhas

O Dia Internacional da Mulher Negra, Latina e Caribenha, celebrado em 25 de julho, é um marco na luta por igualdade e justiça para as mulheres negras. Este dia tem como objetivo dar visibilidade às lutas e conquistas das mulheres e também chama a atenção para as inúmeras formas de discriminação que ainda enfrentam diariamente. 

O racismo algorítmico tende a ser uma das modalidades de violação de direitos que mais afeta as mulheres na nossa região. Os sistemas de inteligência artificial (IA), por meio de algoritmos em plataformas e softwares, têm replicado os vieses estruturais de raça e de gênero em nossas sociedades. 

As tecnologias emergentes têm um enorme potencial para a garantia dos direitos humanos em seus matizes sociais, culturais e econômicas. As ferramentas digitais podem expandir rapidamente a qualidade e o acesso a muitos serviços e produtos essenciais para o exercício efetivo da cidadania, ao mesmo tempo, implicam riscos consideráveis ​​em termos da possibilidade de acentuar, perpetuar e até criar novas lacunas e desigualdades existentes historicamente. 

Essas brechas e discriminações  profundamente enraizadas se intensificam quando estabelecemos um recorte que considera as mulheres negras diante do panorama de discriminações múltiplas, ainda mais quando se somam o racismo e o sexismo. 

Em um mundo cada vez mais digitalizado, é fundamental que essas desigualdades não sejam validadas e disseminadas pelas tecnologias avançadas. No entanto, pesquisas indicam que os sistemas de IA, quando não cuidadosamente programados e testados podem reforçar preconceitos e estereótipos, levando a discriminação para as mais diversas áreas.

Um exemplo cada vez mais evidenciado e identificado de discriminação é o racismo algorítmico em sistemas utilizados para o recrutamento de candidatos a vagas de emprego. Estas ferramentas automatizadas de seleção utilizam inteligência artificial (IA) por meio de machine learning e do treinamento com grandes volumes de dados históricos. 

Se os dados utilizados na programação contêm vieses implícitos ou explícitos, os algoritmos podem reproduzir esses preconceitos, levando a práticas discriminatórias. Os algoritmos podem priorizar critérios que não são neutros. 

Por exemplo, se um algoritmo para seleção de perfis atribuir maior pontuação em um ranqueamento valorizando candidatos que tenham estudado em escolas, universidades ou trabalhado em empresas específicas onde a diversidade racial e de gênero é baixa, ele pode privilegiar candidatos homens e brancos no lugar de mulheres negras.

Há ainda os chamados preconceitos implícitos nos dados. Informações aparentemente neutras podem conter preconceitos. Por exemplo, nomes, endereços ou até certas atividades extracurriculares podem estar associadas a grupos étnico-raciais. 

O algoritmo pode favorecer ou desfavorecer candidatos com base em informações relacionadas aos nomes e sobrenomes dos candidatos. Existem casos de recrutamento nos Estados Unidos que priorizam sobrenomes ligados a famílias de pessoas brancas. Também já foram identificados casos em que o software atribui uma nota menor no recrutamento a candidatos ligados a faculdades vistas como “populares”. 

Algumas ferramentas de recrutamento utilizam dados extraídos da análise de perfis de redes sociais como parte do processo de seleção. Se a programação, treinamento e aplicação algorítmica estiver baseada em padrões culturais predominantes de grupos hegemônicos, ela pode desfavorecer candidatas mulheres e negras.

Outro exemplo de racismo algorítmico é encontrado em tecnologias de reconhecimento facial. Estudos têm mostrado que esses sistemas possuem taxas de erro significativamente mais altas ao identificar rostos de mulheres negras em comparação com rostos de homens brancos. 

Esse viés pode levar a situações de discriminação, como falsos positivos em sistemas de segurança, resultando em constrangimentos e, potencialmente, aumentando o risco de prisões injustas e outros abusos e violações de direitos humanos.

Nesse contexto, merece destaque a "Declaração de Princípios de Direitos Humanos no âmbito da Inteligência Artificial no Mercosul", promulgada em dezembro de 2023. O documento elenca uma série de aspctos que envolvem o desenvolvimento responsável da IA, destacando a importância da igualdade e da não-discriminação. 

Entre os principais pontos do instrumento, destaca-se a eliminação de vieses étnico-raciais nos algoritmos de IA. Além disso, a Declaração da Reunião de Altas Autoridades em Direitos Humanos do Mercosul (RAADH) aponta que a utilização de tecnologias como as de reconhecimento facial devem ser realizadas com transparência e proteção de dados para garantir os direitos à igualdade e à privacidade.

Outro documento internacional de referência é a "Recomendação da Unesco sobre a Ética na Inteligência Artificial", aprovada em 2021, que fornece diretrizes importantes para o desenvolvimento e uso ético da IA. A recomendação enfatiza a promoção de medidas para que as tecnologias de IA não perpetuem ou amplifiquem discriminações e estabelece mecanismos de monitoramento sobre a aplicação dessas ferramentas.  

Algumas dessas ações também incluem o respeito à diversidade, o incentivo à participação de grupos sub-representados nos processos de tomada de decisão relacionados ao desenvolvimento e uso da IA, transparência nos processos automatizados para garantir que possam ser transparentes e auditados, assegurar que os sistemas de IA possam fornecer explicações claras e compreensíveis sobre suas decisões, especialmente quando essas decisões afetarem diretamente os direitos e a vida das pessoas.

Diante desse contexto, em que ainda é incipiente a formulação e implementação  de regulações e políticas públicas sobre os usos, riscos e oportunidades da Inteligência Artificial, é fundamental que os diversos setores da sociedade, incluindo a academia, as empresas, sindicatos, movimentos sociais e os governos reconheçam a importância da equidade na tecnologia e tomem medidas concretas para garantir que as inovações em inteligência artificial promovam a inclusão em vez de reforçar desigualdades históricas. 

Finalmente, a simbiose entre as distintas dimensões de proteção, promoção, garantia e defesa dos direitos humanos prescinde do conhecimento e disseminação da existência de documentos como a Declaração de Princípios de Direitos Humanos sobre a Inteligência na Inteligência Artificial da RAADH do Mercosul bem como da Recomendação da Unesco.

O arcabouço de recomendações desses instrumentos orientadores merecem maior destaque na agenda política, para que a criação de sistemas de IA observe o respeito aos direitos humanos promovendo a justiça social.

Neste Dia Internacional da Mulher Negra, Latina e Caribenha, é necessário reafirmar o compromisso com a luta contra o racismo algorítmico e todas as formas de discriminação em um esforço conjunto para garantir que as tecnologias emergentes sejam desenvolvidas e utilizadas de maneira ética e inclusiva, assegurando que todas as mulheres, especialmente as negras, afrolatinas e caribenhas, tenham acesso igualitário às oportunidades e possam viver em um mundo com justiça social e equidade.

*Caroline Coelho é pesquisadora do Instituto de Estudos Avançados da USP em Inteligência Artificial. 
**Atahualpa Blanchet é especialista em Novas Tecnologias e Direitos Humanos do IPPDH do Mercosul e consultor em Inteligência Artificial do Escritório da Unesco para a América Latina e Caribe. Pesquisador do IEA-USP.