// ChatGPT: produção massiva de desinformação e outros riscos

Nas últimas semanas, o ChatGPT, chatbot lançado pela empresa OpenAI, tem sido tema recorrente de debates. Ao mesmo tempo que a ferramenta impressiona pela capacidade de responder perguntas complexas e redigir textos coerentes, ela abre um leque de preocupações.

Em matéria para a Veja, o pesquisador do MediaLab.UFRJ Paulo Faltay levantou questões relacionadas à produção de desinformação pela ferramenta, que poderia ampliar ainda mais o cenário de disseminação de notícias falsas na internet. Como explica, “o robô não tem discernimento da verdade. Ele não questiona nem duvida, todo dado para ele é um número e, portanto, um fato”.

Abaixo, disponibilizamos a entrevista na íntegra, na qual esta e outras questões são elaboradas:

Como o ChatGPT funciona?

Basicamente ele “aprende”, se essa for a forma mais adequada de nomear, como prever qual será a próxima ou as próximas palavras mais prováveis de aparecer em uma sentença. E a nossa percepção é que se a ferramenta consegue prever de maneira coerente e com alguma acurácia qual será a próxima palavra em uma sentença, o resultado será um texto parecido com o que identificamos como um texto produzido por humanos. Mas, basicamente, o ChatGPT é alimentado por enormes quantidades de textos disponíveis na internet e sintetiza um monte de coisas que humanos já escreveram antes. 

O que eles estão aprendendo é serem convincentes. E nesse sentido o ChatGPT é assustadoramente convincente, claro. Mas são convincentes porque eles recombinam frases e coisas que já foram ditas. Aprendem a soar como humanos, mas esses sistemas não fazem ideia do que estão produzindo. 

Por enquanto são grandes copiadores, não grandes criadores, não conseguem colocar em contexto e conexão o que está produzindo. Uma máquina de pastiche, ou como o professor Gary Marcus apontou, o ChatGPT seria “o rei do pastiche”. 

Quais os possíveis efeitos da ferramenta?

O que eu vejo como principal efeito é que esses chatbots vão reduzir drasticamente o custo de produção de textos, neste primeiro momento, e posteriormente, também, reduzir o custo de produção de imagens, vídeos e música. 

E é uma redução deocusto financeiro, humano e de tempo na produção de conteúdo. Ou seja, criou-se um novo âmbito de substituição de trabalhadores por ferramentas de automação. Soma-se a isso a característica de que esses sistemas não criam textos, mas produzem conteúdo a partir da colagem e mixagem de textos anteriormente produzidos. O problema é que não são confiáveis – e já vemos por aí muitos erros –  e não conseguem distinguir fato de ficção, o que seria verdade e o que seria mentira. Esses sistemas não possuem esses conceitos e valores (fato/ficção; verdade/mentira), eles são treinados a partir do que outras pessoas escreveram e seu funcionamento está direcionado para maximizar a probabilidade de escrever de maneira similar e prever o que vem a seguir.

A virtude e a racionalidade desses sistemas não é produzir textos confiáveis, mas produzir textos convincentes. Ou seja, um “bom” texto para o ChatGPT é um texto que seja coerente e crível e não um texto consistente, no sentido de ser factual e construído a partir de fontes confiáveis. Dito de outra forma, eles produzem conteúdo, mas não produzem informação. 

Juntando esses dois aspectos – a redução de custos e o que é considerado como virtude e objetivo das ferramentas – chegamos em um dos efeitos que considero mais provável desses sistemas: a produção de desinformação e conteúdo em larga escala. Se hoje em dia, em escala não tão automatizada, já sofremos as consequências da falta de distinção entre informação verdadeira e conteúdos enganosos e mentirosos em redes sociais e ferramentas de busca, imagine se estes chatbots se espraiarem sem controle e regulamentação. 

A situação fica ainda mais preocupante se somarmos mais dois possíveis cenários de utilização dessas ferramentas. A primeira seria se veículos tradicionais e consolidados de produção de informação e do campo do jornalismo também passarem a adotar a ferramenta. O segundo cenário que destacaria vem da combinação da capacidade de imitar estilos de escrita por parte dessas ferramentas e o modelo de direcionamento de conteúdo e propaganda direcionada das grandes plataformas. Nesse sentido, algum agente pode incrementar o direcionamento de desinformação para grupos específicos de pessoas de forma ainda mais convincente e persuasiva do que já observamos hoje. Resumidamente, estamos criando, a meu ver, um ambiente midiático em que as pessoas não saberão mais no que confiar. Um cenário que fica ainda mais dramático se pensarmos na promessa do GPT4 que, segundo a OpenAI, está sendo desenvolvido para produzir imagens e vídeos.