O chatGPT é consciente?
Provavelmente não.
Resumo para os apressados:
Grandes modelos de linguagem (LLMs, na sigla em inglês), tais como o chatGPT e o Gemini, são capazes de produzir textos surpreendentemente semelhantes à escrita humana, o que levou muita gente a especular que esses modelos sejam conscientes, ou que estejam perto de atingir a consciência em um futuro próximo. Embora essa ainda seja uma posição minoritária, especialmente entre pesquisadores, esse é um debate difícil de resolver uma vez que ainda existem muitas incertezas sobre a natureza da consciência. Existe também muita discordância em torno de pressupostos filosóficos com grande influência sobre a plausibilidade de uma inteligência artificial consciente. Meu objetivo aqui é apresentar um argumento cuja generalidade permita contornar boa parte das minúcias técnicas e filosóficas que costumam figurar nesses debates. Para tanto, parto de ideias amplamente aceitas sobre as bases biológica da consciência, bem como de trabalhos fundamentais sobre filosofia da inteligência artificial, para argumentar que a ideia de LLMs serem conscientes é implausível mesmo quando aceitamos todas as principais premissas usadas para defender a possibilidade de inteligência artificial consciente.
A cidade onde moro tem muitos tucanos-de-bico-verde. Além do seu visual impressionante, esses tucanos também emitem um som bem característico. Certo dia, depois de ouvir o som de um deles, tentei pensar em como o descreveria para alguém que nunca o tivesse ouvido. Eis a minha ideia: imagine que você tem um pedaço de tronco de bambu cortado ao meio. As bordas das duas metades foram cobertas com pequenas reentrâncias, criando uma crista serrilhada. Agora imagine que você desliza uma dessas cristas contra a outra, muito rapidamente. O som resultante, acredito, se assemelharia ao grito dos tucanos. Digo “acredito” porque, naturalmente, nunca realizei esse experimento. O que levanta a questão: como eu (acho que) conheço o som de algo com o qual nunca tive experiência? E, mais importante, o que isso tem a ver com o tema deste ensaio – ou seja, se os grandes modelos de linguagem são conscientes? Vamos chegar lá.
Grandes modelos de linguagem são conscientes? Depende de para quem você pergunta
Desde que os grandes modelos de linguagem (LLMs, na sigla em inglês) foram apresentados ao público em 2023, alegações de que esses modelos são conscientes proliferaram. Por “consciente”, geralmente se entende o mesmo que ter uma experiência subjetiva – que há uma sensação associada a ser um LLM1. Em um estudo recente, mais da metade dos participantes que usaram LLMs atribuíram uma chance não-nula de que eles fossem conscientes. Essas crenças não se limitam a usuários comuns – elas também podem vir de pessoas que realmente entendem como esses modelos funcionam. Considere o caso de Blake Lemoine, um engenheiro de software que trabalhava com desenvolvimento de LLMs na Google, que foi demitido em 2022 após vazar um memorando no qual ele questionava se o modelo da empresa era consciente. Outro exemplo notório vem de Geoffrey Hinton, cujo trabalho na área de inteligência artificial (IA) lhe rendeu o Prêmio Nobel de Física de 2024, que afirmou em entrevistas que os LLMs atuais já são conscientes.
Algumas empresas de IA também exploraram essa questão para fins de marketing, de forma particularmente flagrante na retórica usada pela Anthropic, uma das empresas líderes na área. A Anthropic publicou artigos sobre o funcionamento interno de seus modelos com títulos como “A biologia de um modelo de linguagem” e chegou ao ponto de criar uma equipe dedicada ao “bem-estar da IA” – concedendo inclusive aos seus modelos mais robustos a capacidade de encerrar certos tipos de conversas para proteger seu próprio bem-estar. Mas para além de impressões pessoais e estratégias de marketing, como podemos saber se os LLMs são realmente conscientes?
Os controversos critérios para a consciência
Opiniões sobre a possibilidade de consciência em LLMs dependem da posição filosófica da qual se parte. E embora os pesquisadores que defendem algum grau de consciência nesses modelos ainda sejam minoria, o assunto é tão confuso que a mera possibilidade teórica de criar uma IA consciente ainda é debatida. Aceitar tal possibilidade geralmente implica aderir a uma posição filosófica chamada funcionalismo computacional: a ideia de que a mente é produzida por computações específicas que, em nosso caso, são implementadas pelo cérebro, mas que poderiam ser implementadas em diferentes substratos (algo similar a um programa que roda em computadores diferentes). Essa visão não está livre de críticas2, mas permanece popular entre pesquisadores de IA e neurocientistas com inclinação computacional. Em vez de argumentar contra essa ideia, vamos tomá-la como verdadeira por um momento: o que ela implica para consciência em LLMs?
Se o funcionalismo computacional for verdadeiro, então qualquer sistema capaz de implementar as computações corretas seria consciente. Logo, para descobrir se os LLMs são conscientes, basta comparar as computações que eles realizam com os que formam a base para nossa própria consciência. O problema é que não sabemos quais computações produzem nossa consciência, o que nos deixa em um impasse. Uma alternativa para contornar essa situação é usar a abordagem proposta pelo célebre cientista da computação Alan Turing: tratar tanto o modelo quanto o humano como caixas-pretas e comparar seus “comportamentos”. Se o modelo for capaz de nos imitar adequadamente, poderíamos argumentar que ele pode realizar as mesmas computações que nós. Os LLMs certamente parecem capazes de gerar textos muito semelhantes aos de humanos, suficientemente convincentes para passar em um teste de Turing padrão.
Porém, esse tipo de argumento superficial baseado em similaridades no “comportamento” não resiste a uma análise mais minuciosa. Isso é bem ilustrado por um clássico experimento mental do filósofo John Searle, “O quarto chinês”. Nesse experimento, Searle se imagina trancado em um quarto enquanto alguém do lado de fora lhe entrega documentos escritos em chinês, que ele não consegue entender. Ele também recebe um documento com instruções precisas, em inglês (que ele entende), para manipular os símbolos chineses a fim de produzir uma nova sequência de símbolos, que ele então envia para a pessoa do lado de fora do quarto. O detalhe é que a pessoa que está do lado de fora entende chinês, e para essa pessoa o texto enviado para Searle continha perguntas, para as quais o texto devolvido por Searle continha respostas – mesmo que Searle não consiga entender nada disso. A lição aqui é que a mera manipulação formal de símbolos (o que poderíamos argumentar ser tudo o que LLMs podem fazer) não é critério suficiente para compreensão e, por extensão, para consciência.
O argumento de Searle foi expandido em um artigo de 1990 do cientista cognitivo Steven Harnad. Nele, Harnad articulou o desafio encarado na criação de modelos de linguagem, o qual ele chamou de “problema do embasamento de símbolos”. Para entendê-lo, imagine que você está tentando aprender chinês como segunda língua, mas tudo o que você tem te ajudar nessa tarefa é um dicionário chinês/chinês. Nessa situação, como Harnad observa, cada “ida ao dicionário equivaleria a um carrossel, passando infinitamente de um símbolo ou sequência de símbolos sem significado (o termo a ser definido) para outro (que deveria defini-lo), sem nunca chegar a uma conclusão sobre o significado de nada”3. E se isso já parece difícil, o verdadeiro desafio em construir um modelo que compreenda a linguagem é ainda maior, porque não existe uma primeira língua para começar! Nas palavras de Harnad, “[c]omo o significado dos símbolos pode ser embasado em algo além de apenas mais símbolos sem significado?”4.
Mas por mais lógicos que estes argumentos pareçam, eles parecem frágeis confrontados com a bruta realidade das capacidades dos LLMs modernos. Esses modelos parecem ter superado o problema do embasamento de símbolos, construindo uma representação semântica (isto é, com base no significado das palavras) a partir das regularidades estatísticas extraídas da sua montanha de textos de treinamento. Os LLMs podem então usar essas representações para criar, fragmento por fragmento, textos com significado. É discutível se estes modelos realmente manipulam a informação semântica – tudo o que um LLM faz é processar inputs numéricos de acordo com a sua estrutura interna, essencialmente computando uma função de probabilidade condicional ridiculamente complexa que permite prever os próximos tokens (palavras ou fragmentos de palavras) numa sequência de texto5. O fato de podermos rotular suas “representações” internas com conceitos que têm significando para nós é apenas um subproduto dos padrões estatísticos complexos nos dados de treinamento desses modelos, os quais refletem a maneira como nós mesmos usamos as palavras. Tudo o que rotulamos como “semântico” em um LLM é puramente relacional do ponto de vista dos dados usados para treinar esses modelos – símbolos sem sentido baseados em mais símbolos sem sentido. No entanto, pode-se argumentar que a estrutura interna desses modelos “incorpora” relações entre conceitos, e que no processo de imitar padrões de escrita humana através de truques estatísticos, os LLMs aprenderam algo sobre a semântica dos nossos conceitos embasados. Mas isso é suficiente para a consciência?
De volta aos fundamentos
Talvez a melhor maneira de encarar este problema seja partir das características fundamentais da consciência. Os aspectos mais conspícuos da experiência consciente, das nossas percepções e sentimentos, são seu conteúdo. Nós percebemos algo, sentimos algo. Não há experiência subjetiva sem conteúdo. No caso da nossa percepção, o conteúdo é construído a partir de fundamentos sensório-motores, aqueles elementos fundamentais de experiência subjetiva que decorrem das nossas interações com o mundo através dos nossos corpos, e que constituem a forma mais simples de fenomenologia que podemos imaginar. Esses são os alicerces que embasam nossos conceitos. Embora os LLMs frequentemente pareçam capazes de manipular conteúdo semântico em vez de meramente aplicar regras sintáticas, suas “representações semânticas” são fundamentalmente diferentes das nossas, na medida em que não possuem esses alicerces. Para ilustrar isso, considere um experimento mental simples.
Imagine uma pessoa que nasceu sem os sentidos do paladar e do olfato. Agora imagine que, fascinada por este mundo inacessível de sabores e aromas, ela decide desde cedo se dedicar ao estudo da gastronomia. Ela lê tudo o que há para ser lido sobre diferentes alimentos, técnicas culinárias, temperos, etc. Este material inclui extensas descrições dos aromas e sabores de diferentes combinações de especiarias, vegetais, proteínas e assim por diante. Após anos de estudo, ela se torna tão versada nessas descrições que apreende uma lógica interna nas características das diferentes combinações de elementos utilizados na criação dos pratos. Ela pode fornecer descrições detalhadas do aroma e sabor de qualquer prato imaginável. Ela pode até mesmo prever o sabor de pratos que nunca foram preparados! Suas descrições são tão boas que quase sempre correspondem à percepção de quem realmente consegue provar os pratos. E agora eu pergunto: o que essa pessoa vivencia ao descrever o sabor de um prato? Qual é a sua experiência subjetiva de todos os adjetivos que ela usa para descrever sabores e aromas? É concebível que, tendo nascido sem paladar e olfato, ela realmente experiencie algo subjetivo ligado a essas descrições? Ou é mais provável que, ao escrever suas descrições, ela tenha a mesma experiência associada a elas que você teria se recebesse uma lista de adjetivos inventados ligados a diferentes alimentos inventados e tivesse que descrever uma combinação desses ingredientes imaginários?6
O ponto crucial é que, embora possamos presumir com segurança que a pessoa do experimento acima é consciente – não há razão para supor o contrário apenas pela perda do olfato e do paladar – é difícil acreditar que ela experiencie algo substancial ao produzir descrições de sabores que nunca experimentou. Quaisquer experiências subjetivas que ela possa ter nesses casos provavelmente seriam produzidas por analogia com conceitos extraídos de seus outros sentidos, os quais são verdadeiramente embasados. Dado que o seu conhecimento sobre sabores e aromas não foi construído a partir dos alicerces sensório-motores – daquelas experiências essenciais adquiridas através das nossas interações com o mundo – quaisquer percepções associadas não podem ser tão ricas em informação quanto a percepção normal.
Que tipo de consciência os LLMs poderiam ter?
Apesar de todas as nossas capacidades imaginativas, nada que possamos imaginar parece carecer de embasamento. Isto é verdade mesmo para conceitos que não têm correlatos reais na nossa experiência – como imaginar um espaço com infinitas dimensões. Não importa o quanto tentemos, a única experiência subjetiva que podemos ter desse espaço imaginário está embasada no espaço tridimensional com o qual interagimos diretamente.
Mesmo quando simulamos mentalmente um cenário que nunca foi experimentado – como tentar replicar o som de tucanos com um instrumento imaginário de bambu – todas “experiências” que surgem desse cenário são inferidas a partir de experiências passadas devidamente embasadas. Respondendo à questão apresentada no início deste ensaio: acredito saber o som daquele aquele instrumento de bambu não porque abstraí um conjunto de padrões estatísticos entre diferentes símbolos, mas porque construí algum tipo de representação interna dos diferentes elementos do mundo com os quais tive experiência ao longo da minha vida – uma representação de suas aparências, seus sons, de como se comportam, de todas as sensações associadas a eles. E isso só foi possível por ter interagido com mundo através do meu corpo e dos sentidos que ele proporciona.
O que tudo isto implica é que, por mais que os LLMs pareçam processar informação semântica e não apenas regras sintáticas, eles ainda estão presos na sala chinesa. Mesmo se assumirmos que esses modelos imitam não apenas o nosso uso da linguagem, mas que mimetizam também algumas das representações semânticas que manipulamos ao usar a linguagem, isso provavelmente não é suficiente para ter uma experiência subjetiva com conteúdo significativo sem o devido embasamento. E tenha em mente que toda a nossa discussão até agora se concentrou numa forma basta crua, bastante empobrecida de experiência subjectiva – uma forma que carece de sentimentos, positivos ou negativos, que teorias proeminentes associaram a funções centrais de regulação fisiológica e homeostase – algo fundamentalmente biológico, até onde sabemos.
Os LLMs nos mostraram que é possível produzir texto que carrega significado sem embasamento – que mesmo não sendo possível aprender chinês a partir de um dicionário chinês/chinês, é certamente possível criar a aparência de ter aprendido. Mas apesar de todas as suas capacidades, os LLMs não superaram o problema do embasamento de símbolos, apenas o contornaram. E até que superem este problema, mesmo que aceitemos todos os pressupostos necessários para acreditar na possibilidade de IA consciente, qualquer experiência subjectiva possível num LLM estará fadada a ser tão empobrecida a ponto de ser fundamentalmente vazia – uma “experiência” sem conteúdo.
Agradeço a Sabine Pompeia, Maria Luiza Iennaco de Vasconcelos, José Maria Monserrat e Rafael Kremer, que leram e comentaram versões anteriores deste texto.
Essa definição, colocada desta forma (em inglês, “it feels like something”), é geralmente associada a um artigo clássico do filósofo Thomas Nigel.
Tradução livre do original: “each trip through the dictionary would amount to a merry-go-round, passing endlessly from one meaningless symbol or symbol-string (the definiens) to another (the definiendum), never coming to a halt on what anything meant”.
Tradução livre do original: “[h]ow is symbol meaning to be grounded in something other than just more meaningless symbols?”
Para uma introdução ao funcionamento desses modelos, veja https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/.
A filósofa Maria Luiza Iennaco de Vasconcelos, lendo uma versão anterior deste texto, notou que este experimento é conceitualmente similar ao clássico experimento mental do filósofo Frank Jackson, conhecido como “O quarto de Mary”, que ele apresentou como um argumento contra o fisicalismo.