O que o CHATGPT nos revela sobre o colapso do apoio político/corporativo para a Educação Superior/Humanidades

POR ERIC SCHLIESSER

Tradução de Jordan Bruno Oliveira Ferreira

Como muitos professores universitários, passei parte das férias de inverno dando uma olhando no ChatGPT, uma rede neural "que interage de um modo conversacional". Esta rede foi treinada a partir de uma vasta base de dados para reconhecer e (a partir daí) predizer padrões, e reproduzir estes padrões na forma de uma conversação. O programa requer uma inscrição, que, curiosamente, requer uma verificação visando provar que o usuário não é um robô. Além disso, vale ressaltar que o ChatGPT armazena/memoriza suas interações anteriores.

É impressionante a fluência do diálogo. Também pode ser bem ignorante às vezes. Por exemplo, quando eu perguntei:

"quem era o presidente em 2022?"

o programa respondeu (entre outras coisas):

"minha base de dados se refere apenas ao período a partir de 2021, então eu não posso responder às perguntas sobre eventos que ainda não ocorreram".

Perceba que a conversa perde o sentido porque o programa me responde em 2023! (é um erro tão básico que eu acredito que as afirmações sobre como este programa passou, ou fingiu ter passado, no teste de Turing são exageradas, mesmo que alguém alegue a distância chocante entre nossa época e a de Turing).

Quando eu insisti neste ponto, o programa me deu uma resposta bem melhor:

"Peço desculpas por qualquer confusão que minhas mensagens anteriores tenham causado. Sendo um modelo de linguagem IA, não tenho a habilidade de perceber ou experimentar o tempo do mesmo modo que um humano. Só posso oferecer informações que me foram repassadas, como em um treinamento, que só alcança o ano de 2021. Não tenho a habilidade de acessar dados novos ou mesmo navegar na internet, portanto não posso proporcionar informações sobre eventos que ocorreram antes do meu treinamento ter se encerrado".

Ok, razoável. Mas eu comecei a fazer perguntas mais complicadas do ponto de vista acadêmico e intelectual, incluindo termos técnicos ou artigos produzidos por alunos, e fiquei impressionado com alguns dos outputs do programa (capaz de produzir um pequeno artigo sobre Ibn Tufayl) e assustado com o fato de que ele sempre volta a produzir coisas que não fazem o menor sentido (o programa chega mesmo a atribuir a autoria de textos que eu nunca fiz!).

Sem querer menosprezar a rede neural presente no programa, mas este ChatGPT é um produtor de blá-blá-blá - já que não tem qualquer comprometimento com a verdade. Eu (diga-se de passagem) não sou o primeiro a perceber isso (uma rápida pesquisa no Google já demonstra). E, como Arvind Narayanam (cientista da computação) e Sayash Kapoor já haviam antecipado em seu artigo sobre o programa, ajuda a explicar o programa chama mais a atenção quando lida com poesia e piadas (que até agora, no entanto, é quase sempre plagiada de alguém). Dizer que a poesia me impressiona tem mais a ver com minhas limitações do que com a capacidade do chat, mas ainda assim considero uma capacidade digna de nota por sua inventividade, em virtude de ser um programa que age com base em padrões já existentes. Vale a pena refletir sobre isso, se for o caso de se tratar de um analista especializado em IA e poesia. 

Claro, nenhum filósofo da ciência vai se surpreender com uma máquina pré-programada que não se atém a um valor de verdade. (Modelos falseados podem predizer outputs com facilidade, é ocaso do Ptolemy). Mas se o ChatGPT não precisasse adivinhar tanto os inputs, de modo a apenas expressar ignorância, suspeito que alguém rapidamente o consideraria digno de confiança. Claro, é possível que em uma conversação os humanos não queiram admitir ignorância acerca de um assunto, portanto se utilizando do mesmo blá-blá-blá da máquina (em situações corriqueiras) - por essa via, o ChatGPT não é assim tão diferente de nós.

Sim, nas redes sociais, muitos acadêmicos têm refletido apressadamente sobre os casos em que, inevitavelmente, estudantes passassem a usar o ChatGPT para escrever seus artigos para eles. Eu me deparei com casos interessantes em que os foram incentivados a descobrir (individualmente ou em grupo) como o chat é um tipo de gerador de conversa fiada (e a partir daí perceber a diferença entre fontes oficiais e outras formas de fontes), ou como produzir conteúdo livre de blá-blá-blá. Então, não quero fazer sugestões fechadas para problemas que tenho identificado.

No entanto, tenho visto muitos professores americanos afirmarem que o ChatGPT é, neste momento, incapaz de lidar com questões muito técnicas, ainda assim pode até produzir trabalhos de graduação que receberiam uma nota 7. Em um artigo sofisticado e revelador, o filósofo John Symons já havia notado que: "parece que o programa é muito bom, certamente tão bom quanto um aluno de graduação que considero medíocre... gerando parágrafos passáveis que poderiam ser reunidos para produzir o tipo de trabalho que geralmente recebem notas do tipo C+ (7.7 a 7.9) ou B- (8 a 8.2)." Symons ensina em Kansas, mas eu já vi afirmações semelhantes de professores de outras universidades de prestígio. (Eu ensino na Holanda, onde um B- é considerado uma nota muito alta).

Mas isso significa que muitos estudantes passam pelos nossos cursos, e passam em virtude de conseguirem gerar parágrafos aceitáveis que não revelam nenhum entendimento do assunto. Deixo de lado se é o caso de se tratar de uma situação que seja resultado de uma bem-intencionada leveza das mãos dos professores na hora de darem as notas, ou um tipo de cinismo típico do "o cliente tem sempre razão", ou o resultado de um contexto universitário onde muitos dos professores são substitutos e mal pagos. (Se você é contra a própria existência de notas, trata-se de uma postura válida). Claro, não sou o primeiro a perceber que a educação superior, de várias formas, é um tipo de mera certificação, onde os sinais emitidos pela administração superior atendem a demandas do mercado de trabalho, e só depois a demandas acadêmicas. Mas não é um bom sinal que um aluno possa passar pelos cursos apenas produzindo conversa fiada graças a um, digamos, sistema privado de educação superior que lhe ensinou a produzir parágrafos passáveis.

Esta situação ajuda a explicar, parcialmente, eu penso, a forma como a classe política e corporativa dominam a academia, e as humanidades em particular. (Não sou o primeiro a perceber isso). E, enquanto reflito sobre a resposta dos professores ao ChatGPT, quem pode culpá-los? As corporações e os políticos acreditam que a capacidade de produzir parágrafos passáveis é suficiente para passar por muitos dos cursos iniciais na universidade. (Comecei a pensar sobre isto em um contexto diferente: quando um estudante inteligente, que claramente gostava das aulas, afirmou que poderia passar sem precisar ler os textos recomendados). 

E se cursos introdutórios é a única coisa a que são expostos, suspeito que eles infiram, erroneamente, de que não exista um saber real ou uma habilidade para o raciocínio que valham a pena serem adquiridos no ensino superior. Claro, eles têm sido encorajados a pensar que o ensino superior está repleto de pessoas que não falam coisa com coisa, dado que nas últimas décadas não se fez outra coisa a não ser acusar as humanidades de serem uma farsa intelectual. (Qualquer pessoa da minha geração vai olhar para o "escândalo Sokal (1996)" ou para o caso de Derrida quando este recebeu um título honorário da Universidade de Cambridge (1992) como o epicentro, mas é óbvio que pode se ir mais longe no tempo passado).

Como uma espécie de refutação, o ChatGPT me devolveu isto: "Existe uma tendência nos anos recentes em focar os estudos no campo da ciência, tecnologia, engenharia e matemática (STEM), que fez com que algumas pessoas considerassem as humanidades menos importantes ou valiosas em comparação com esses campos. No entanto, as humanidades continuam sendo um importante campo do ensino superior e possuem um significativo impacto na sociedade".

Quando eu insisti neste ponto (mencionando o caso Sokal/Derrida), gerou um "erro de rede" (sério!!). Quando eu reiniciei o chat, respondeu (depois, como se não quisesse fazê-lo): "é dificil dizer se esses eventos demonstram que as humanidades foram infiltradas por 'enrolões'" – como se isso dependesse do significado da palavra "enrolão" e da perspectiva do usuário acerca do problema em questão. Mesmo assim, é claro que esses eventos causaram um significativo debate sobre a natureza do conhecimento, da verdade e dos critérios intelectuais que envolvem a academia.

Que essa preocupação existe é muito perceptível por conta das recentes controvérsias políticas, que mostraram a falta de apoio que as Humanidades recebem do público. Agora, não quero dizer que essa situação é fruto exclusivamente do que os professores fazem nos primeiros semestres dos cursos universitários. Que eu saiba, é o fator menos decisivo em uma virada cultural muito mais ampla. Mas se um programa como o ChatGPT for capaz de gerar uma reação dos professores no intuito de buscar soluções para o problema - ou seja, evitar que os alunos se tornem "enrolões" -, mesmo que pela razão errada, evitar que os alunos cometam plágio, pode sim ser um meio de melhorar o ensino superior.

Acesse o original aqui