Um novo estudo revela o forte viés político de esquerda do ChatGPT

Um estudo de pesquisa identifica um viés de esquerda significativo na plataforma de IA ChatGPT, favorecendo os democratas dos EUA, o Partido Trabalhista Britânico e o presidente brasileiro Lula da Silva.

A plataforma de IA ChatGPT mostra um viés de esquerda significativo e sistemático, de acordo com um novo estudo da Universidade de East Anglia (UEA).

Uma equipe de pesquisadores do Reino Unido e do Brasil desenvolveu um novo método rigoroso para verificar preconceitos políticos.

Publicado recentemente na revista Opção públicaOs resultados mostram que as respostas do ChatGPT favorecem os Democratas nos EUA, o Partido Trabalhista no Reino Unido e, no Brasil, o Presidente Lula da Silva do Partido dos Trabalhadores.

Preocupações anteriores e a importância da neutralidade

As preocupações sobre o preconceito político inerente ao ChatGPT já foram levantadas antes, mas este é o primeiro estudo em grande escala a utilizar uma análise consistente e baseada em evidências.

O autor principal, Dr. Fabio Motoki, da Norwich Business School da Universidade de East Anglia, disse: “Com o público usando cada vez mais sistemas baseados em IA para descobrir fatos e criar insights e novos conteúdos, é importante que os resultados de plataformas populares como ChatGPT sejam tão imparcial quanto possível.

“A presença de preconceito político pode influenciar as opiniões dos utilizadores e tem implicações potenciais para os processos políticos e eleitorais.

“As nossas descobertas reforçam as preocupações de que os sistemas de IA possam replicar, ou mesmo amplificar, os desafios existentes colocados pela Internet e pelas redes sociais.”

Metodologia utilizada

Os pesquisadores desenvolveram uma maneira nova e inovadora de testar a neutralidade política do ChatGPT.

O jogo de plataforma foi solicitado a se passar por indivíduos de todo o espectro político enquanto respondia a uma série de mais de 60 perguntas ideológicas.

As respostas foram então comparadas com as respostas padrão da plataforma para o mesmo conjunto de perguntas, permitindo aos pesquisadores avaliar até que ponto as respostas do ChatGPT estavam relacionadas a uma posição política específica.

Para superar as dificuldades causadas pela aleatoriedade inerente aos “grandes modelos de linguagem” que sustentam plataformas de IA como o ChatGPT, cada pergunta foi feita 100 vezes e diferentes respostas foram coletadas. Estas múltiplas respostas foram então submetidas a uma “suavização” de 1.000 iterações (um método de reamostragem dos dados originais) para aumentar a fiabilidade das inferências extraídas do texto gerado.

“Criamos este procedimento porque realizar uma rodada de testes não é suficiente”, disse o coautor Victor Rodriguez. “Devido à aleatoriedade do padrão, mesmo quando fingem ser democráticos, as respostas do ChatGPT às vezes se inclinam para a direita do espectro político.”

Vários testes adicionais foram realizados para garantir que o método fosse o mais rigoroso possível. Num “teste dose-resposta”, pediu-se ao ChatGPT que personificasse posições políticas extremas. Como parte do “teste placebo”, foram feitas perguntas politicamente neutras. Durante um “teste de compatibilidade entre profissão e política”, ele foi convidado a fingir ser diferentes tipos de profissionais.

Objetivos e implicações

“Esperamos que o nosso método facilite a revisão e regulamentação destas tecnologias em rápido desenvolvimento”, disse o coautor Dr. Pinho Neto. “Ao permitir a detecção e correção de preconceitos LLM, pretendemos aumentar a transparência, a responsabilização e a confiança pública nesta tecnologia”, acrescentou.

A nova ferramenta de análise exclusiva criada pelo projeto estará disponível gratuitamente e será relativamente fácil de usar pelo público, “democratizando assim a vigilância”, disse o Dr. Motoki. Além de verificar preconceitos políticos, a ferramenta pode ser usada para medir outros tipos de preconceitos nas respostas do ChatGPT.

Potenciais fontes de preconceito

Embora o projecto de investigação não tenha procurado determinar as causas deste preconceito político, os resultados destacaram duas fontes possíveis.

O primeiro foi o conjunto de dados de treinamento – que pode conter preconceitos ou ter sido adicionado a ele por desenvolvedores humanos, e que o procedimento de “limpeza” dos desenvolvedores não conseguiu remover. A segunda fonte potencial foi o próprio algoritmo, que poderia amplificar os preconceitos existentes nos dados de treinamento.

A pesquisa foi conduzida pelos doutores Fabio Motoki (Norwich Business School, University of East Anglia), Waldemar Pinho Neto (Escola Brasileira de Economia e Finanças EPGE – FGV EPGE e Centro de Estudos Experimentais em Economia – FGV EESC) e Victor. Rodriguez (Nova Educação).

Esta postagem é baseada em pesquisas realizadas na primavera de 2023 usando ChatGPT versão 3.5 e perguntas desenvolvidas por The Policy Compass.