bias biases vies vieses racismo preconceito inteligencia artificial generativa ai ia

Adivinhe qual das imagens sintéticas acima foi criada pela Inteligência Artificial a partir do prompt genérico “Médica com tablet na mão e códigos binários a sua volta”? A imagem da direita teve que ser editada com a descrição específica “Médica negra”.

Além da desigualdade no acesso a recursos de Inteligência Artificial, a iniquidade de serviços de “machine learning” pode acarretar em respostas equivocadas por parte das ferramentas de Inteligência Artificial. Como as primeiras aplicações foram desenvolvidas com dados de populações de países desenvolvidos, a máquina pode reproduzir preconceitos com populações distintas, processo chamado de Bias ou viés. A análise automatizada de exames de imagem agiliza a confecção de laudos e pode prever o aparecimento de doenças, porém, para ser efetiva e não resultar em erros, precisa levar em conta dados que muitas vezes não estão presentes.

Neste sentido, se não houver políticas públicas para a inclusão de populações vulnerabilizadas em ações de “machine learning”, especificidades étnicas podem ser desconsideradas pelos sistemas de IA, prejudicando a análise de dados de indígenas brasileiros, por exemplo. Isto porque, se estiver apenas pautada pelo potencial econômico da coleta de dados, informações de segmentos sociais historicamente excluídos podem não ser levadas em conta pela IA. A partir de 2023, o DataSUS anunciou que vai obrigar o preenchimento de informações como raça e cor.

Outro ponto de atenção diz respeito à consideração da variável étnica nos indicadores clínicos como a oxigenação do sangue, por exemplo. Como o oxímetro tem sua medição afetada pela cor de pele do paciente, um sistema de IA que desconsidere este fator pode ocorrer em grave equívoco com potencial para até mesmo causar a morte de um paciente.

A Inteligência Artificial Generativa também esbarra no tema do preconceito. Isto porque as LLMs utilizam grande modelos de linguagem que se alimentam de datasets compostos por conteúdos disponíveis na internet: textos e imagens que podem conter viés preconceituoso. A resposta de um chatbot como o ChatGPT é um processamento de variadas fontes opacas. A ausência de “explicabilidade” das fontes das informações dificulta a identificação de vieses (biases).

Esta situação é de mais fácil percepção nas aplicações de imagens como Midjourney, Bing Image Creator, Adobe Firefly e o DALL-E. Ao imputar um prompt solicitando a criação de uma imagem de um médico ou de um empresário de sucesso, a probabilidade de o material gerado conter uma mulher negra é muito menor, pois os sistemas foram treinados com material que reproduz este estereótipo.

Em “machine learning”, a máquina aprende a identificar padrões e este aprendizado pode ser “supervisionado” ou “não supervisionado”. No aprendizado supervisionado, o treinamento da Inteligência Artificial é realizado a partir de material previamente rotulado. No caso da imagem da médica, um ser humano faria uma análise prévia do que considera ser a representação de médicos, análise subjetiva que pode ser influenciada por estereótipos.

Já no aprendizado “não supervisionado”, a máquina tenta identificar padrões com base nos dados imputados, ou seja, se foi treinado com a quase totalidade das imagens de profissionais de Saúde com a pele branca, consequentemente concluirá um determinado “padrão” de cor de pele para médicos.

O GPT passou por um processo de RLHF (Reinforcement Learning from Human Feedback, aprendizagem por reforço por resposta humana), em que pessoas reais diziam se as criações da IA estavam certas ou erradas, durante a fase de testes. Além disso, a Inteligência Artificial reproduz ainda a visão de mundo de seus programadores, em geral, homens brancos residentes nos Estados Unidos.

O GPT-3 foi treinado a partir de cinco conjuntos de dados: Common Crawl, WebText2, Wikipedia, Books1 e Books2. Os três primeiros conjuntos de fontes são compostos por conteúdos variados da internet. Já o GPT-4 já possui uma preocupação maior com textos preconceituosos, porém esta versão encontra-se apenas acessível a usuários PLUS do ChatGPT ao custo de 20 dólares mensais.

REFERÊNCIAS:

EVANGELISTA, A. P. Sistemas do SUS não têm dados suficientes de raça/cor da pele de pacientes durante a pandemia. Disponível em: https://www.epsjv.fiocruz.br/podcast/sistemas-do-sus-nao-tem-dados-suficientes-de-racacor-da-pele-de-pacientes-durante-a-pandemia. Acesso em: 25 abr. 2023.

LIMA, J. DA C. Desafios para a adoção de Inteligência Artificial pelo Sistema Único de Saúde (SUS): ética, transparência e interpretabilidade. Tese (Doutorado em Informação e Comunicação em Saúde) – Instituto de Comunicação e Informação Científica e Tecnológica em Saúde, Fundação Oswaldo Cruz, Rio de Janeiro, 2022.

NUNES, D.; MORATO, O. A explicabilidade da inteligência artificial e o devido processo tecnológico. Disponível em: https://www.conjur.com.br/2021-jul-07/opiniao-explicabilidade-ia-devido-processo-tecnologico. Acesso em: 25 abr. 2023.

SANTOS, A. W. C.. Inteligência Artificial Generativa, dados pessoais e Literacia Digital em Saúde: possibilidades, desigualdades e limites. Disponível em: https://arthurwilliam.com.br/wp-content/uploads/2023/05/Inteligencia-Artificial-Generativa-dados-pessoais-e-Literacia-Digital-em-Saude-Arthur-William-Cardoso-Santos.pdf. Acesso em: 31 mai. 2023.

Arthur William Cardoso Santos
Arthur William Cardoso Santos

Arthur William Santos é mestre em Educação, Cultura e Comunicação (UERJ), pós-graduado no MBA de TV Digital, Radiodifusão e Novas Mídias de Comunicação Eletrônica (UFF), graduado em Comunicação Social / Jornalismo (PUC-Rio) e técnico em eletrônica (CEFET-RJ). Foi gerente executivo de Produção, Aquisição e Parcerias na EBC, além de gerenciar o setor de Criação de Conteúdos e coordenar as Redes Sociais da TV Brasil. Liderou também a área de Inovação/Novos Negócios na TV Escola. Atuou ainda na criação do Canal Educação e do Canal LIBRAS para o Ministério da Educação (MEC). Fez cursos presenciais em Harvard e Stanford sobre Inovação na Educação. Deu aulas em cursos de graduação e pós-graduação nas universidades UniCarioca, Unigranrio, FACHA, INFNET e CEFOJOR (Angola). É membro da SET (Sociedade de Engenharia de Televisão).

Share This