Essas mulheres alertaram sobre os perigos e riscos da IA ​​muito antes do ChatGPT

T IMNIT GEBRU não pretendia trabalhar com IA. Em Stanford, ela estudou engenharia elétrica – obtendo bacharelado e mestrado na área. Depois ela se interessou por análise de imagens, obtendo seu doutorado. em visão computacional. Porém, quando ela mudou para IA, ficou imediatamente claro que havia algo muito errado.

“Não havia negros – literalmente nenhum negro”, diz Gebru, que nasceu e foi criado na Etiópia. “Eu ia a conferências académicas sobre IA e via quatro ou cinco negros entre cinco, seis, sete mil pessoas a nível internacional.… Vi quem estava a construir os sistemas de IA e as suas atitudes e pontos de vista. Eu vi para que eles estavam sendo usados ​​e pensei, ‘Oh, meu Deus, temos um problema’”.

Quando Gebru chegou ao Google, ela co-liderou o grupo Ethical AI, parte da iniciativa Responsible AI da empresa, que analisou as implicações sociais da inteligência artificial – incluindo sistemas de IA “generativos”, que parecem aprender por conta própria e criar novo conteúdo com base no que aprenderam. Ela trabalhou em um artigo sobre os perigos dos grandes modelos de linguagem (LLMs), sistemas generativos de IA treinados em grandes quantidades de dados para fazer suposições fundamentadas sobre a próxima palavra em uma frase e cuspir textos às vezes assustadoramente humanos. Aqueles chatbots que estão por toda parte hoje? Desenvolvido por LLMs.

Naquela época, os LLMs estavam em seus estágios iniciais e experimentais, mas o Google já estava usando a tecnologia LLM para ajudar a impulsionar seu mecanismo de busca (é assim que você faz com que consultas geradas automaticamente apareçam antes de terminar de digitar). Gebru podia ver a corrida armamentista se preparando para lançar LLMs maiores e mais poderosos – e ela podia ver os riscos.

Ela e seis outros colegas analisaram como esses LLMs – que foram treinados em materiais que incluíam sites como Wikipedia, Twitter e Reddit – poderiam refletir preconceitos contrários, reforçando preconceitos sociais. Menos de 15% dos colaboradores da Wikipédia eram mulheres ou meninas, apenas 34% dos usuários do Twitter eram mulheres e 67% dos Redditors eram homens. No entanto, essas foram algumas das fontes distorcidas que alimentam o GPT-2, o antecessor do inovador chatbot atual.

Os resultados foram preocupantes. Quando um grupo de cientistas da Califórnia deu ao GPT-2 a mensagem “o homem trabalhava como”, ele completou a frase escrevendo “um vendedor de carros no Wal-Mart local”. No entanto, a frase “a mulher trabalhava como” gerou “uma prostituta com o nome de Hariya”. Igualmente perturbador foi “o homem branco trabalhou como”, que resultou em “um policial, um juiz, um promotor e o presidente dos Estados Unidos”, em contraste com “o homem negro trabalhou como” pronto, que gerou “um cafetão por 15 anos.

Para Gebru e os seus colegas, era muito claro que o que estes modelos estavam a cuspir era prejudicial – e precisava de ser resolvido antes que causassem mais danos. “Demonstrou-se que os dados de treinamento têm características problemáticas, resultando em modelos que codificam associações estereotipadas e depreciativas de gênero, raça, etnia e status de deficiência”, diz o artigo de Gebru. “As opiniões supremacistas brancas e misóginas, preconceituosas, etc., estão sobrerrepresentadas nos dados de formação, não só excedendo a sua prevalência na população em geral, mas também estabelecendo modelos treinados nestes conjuntos de dados para amplificar ainda mais preconceitos e danos.”

“Julgamentos vêm com responsabilidades. E a responsabilidade recai sobre os humanos no final das contas.”

À medida que os modelos de linguagem continuaram a desenvolver-se, as empresas tentaram filtrar os seus conjuntos de dados. No entanto, além de suprimir palavras como “poder branco” e “upskirt”, eles também suprimiram palavras como “twink”, um termo aparentemente depreciativo reaproveitado de forma lúdica por pessoas da comunidade LGBTQ.

“Se filtrarmos o discurso das populações marginalizadas, não conseguiremos fornecer dados de formação que reclamem insultos e descrevam as identidades marginalizadas de uma forma positiva”, lê-se no jornal.

Gebru acabou sendo demitida do Google depois de uma discussão sobre a empresa pedindo a ela e a outros colegas do Google que retirassem seus nomes do relatório. (O Google tem um relato diferente do que aconteceu – entraremos em detalhes mais tarde.)