Joseph Weizenbaum nasceu em 1923 na Alemanha, no seio de uma família de origem judaica. Em 1936, a família emigrou para os Estados Unidos, procurando fugir dos piores terrores do nazismo, experiência que marcaria o futuro cientista para o resto dos seus dias. Tendo começado por estudar matemática, Weizenbaum viria a tornar-se um dos pioneiros do então emergente ramo da computação, trabalhando com alguns dos primeiros computadores digitais. Existe, inclusive, um prémio com o seu nome, atribuído a indivíduos que tenham realizado uma «contribuição significativa no campo da ética da informação e computação».
O acontecimento que o veio a tornar mais conhecido foi a elaboração, em 1966, de um programa de análise de linguagem denominado ELIZA (o mesmo nome da heroína da peça de Bernard Shaw, Pigmalião, imortalizada por Audrey Hepburn no musical My Fair Lady), escrito numa linguagem de programação por ele criada, quando era professor no MIT, em Boston [1]. Este programa tornou-se num dos mais famosos marcos no desenvolvimento da inteligência artificial (IA), ao responder com um conjunto simples de respostas ou comentários às questões colocadas por um operador humano, simulando em parte uma consulta de psicoterapia, e podendo ser visto como precursor dos ubíquos chatbots dos nossos dias. Uma interação típica seria:
«Os homens são todos iguais.
DE QUE FORMA
Estão sempre a chatear-nos com uma coisa ou outra.
CONSEGUE PENSAR NUM EXEMPLO ESPECÍFICO
Bem, o meu namorado fez-me vir aqui.
O SEU NAMORADO FEZ COM QUE VIESSE AQUI
Ele diz que estou deprimida a maior parte do tempo.
SINTO MUITO DE OUVIR QUE ESTÁ DEPRIMIDA
É verdade. Sinto-me infeliz.
PENSA QUE O FACTO DE VIR CÁ PODERÁ AJUDÁ-LA A NÃO SER INFELIZ
Preciso de alguma ajuda, isso é certo.
QUE SIGNIFICARIA PARA SI TER ALGUMA AJUDA»
– etc., com as respostas do programa dadas em maiúsculas [2].
Como o exemplo demonstra, as respostas fornecidas são bastante simples, se comparadas com a complexidade que muitos programas actuais exibem, como o famoso ChatGPT. O algoritmo está programado para fazer uma análise relativamente rudimentar do texto introduzido e responder com base nisso e num conjunto de estratégias pré-preparadas. Ora, qual não foi o choque de Weizenbaum ao ver que vários psiquiatras de renome vieram a público defender o uso do programa para fins terapêuticos, alegando que dessa forma muitos mais pacientes poderiam ser ajudados em simultâneo. Outra surpresa ocorreu quando Weizenbaum se apercebeu do impacto que a interação com aquele programa tinha sobre várias pessoas suas conhecidas. Um dos exemplos foi a sua própria secretária começar a experimentar o programa e, após algumas interações, pedir ao cientista para que deixasse a sala, de modo a ficar sozinha com a máquina.
O Poder do Computador e a Razão Humana
Estas e outras reações convenceram Weizenbaum de que algo estava seriamente errado e conduziram-no num caminho de reflexão crítica que ultimamente levou à publicação do seu livro clássico de 1976, traduzido em Portugal em 1992 pelas Edições 70 como O Poder do Computador e a Razão Humana. Nele o cientista expõe não só os rudimentos da ciência da computação, como as suas profundas apreensões em relação ao rumo que vê o incipiente ramo da inteligência artificial tomar.
O livro resistiu perfeitamente ao teste do tempo e hoje, passados quase 50 anos após a sua publicação, é em muitos aspectos mais actual do que nunca. O seu esquema é relativamente simples, mas prossegue de forma inexorável na construção de um argumento que é sobretudo um aviso: não só sobre os eventuais limites da IA e o que esta poderá ou não vir a fazer, mas, de forma muito mais importante, sobre que funções devemos, enquanto sociedade, permitir que sejam delegadas aos algoritmos e postas em larga medida fora do controle das instituições democráticas.
Weizenbaum começa por fazer uma breve análise da forma como o desenvolvimento de variados tipos de ferramenta foi alterando não só as possibilidades de organização social, como a própria forma de ver e conceber o mundo, desde os instrumentos de caça no Paleolítico às armas de fogo e à imprensa. Um exemplo concreto é o da invenção do relógio mecânico: «Onde o relógio era usado para contar o tempo, a regulação do homem [sic] da sua vida quotidiana já não se baseava exclusivamente, digamos, na posição do sol sobre certas rochas ou no canto de um galo, mas era agora baseado no estado autónomo de um modelo que reflectia um fenómeno natural. Aos vários estados deste modelo foram dados nomes e dessa forma reificados. E todo o seu conjunto foi sobreposto ao mundo existente e mudou-o, tanto quanto um rearranjo cataclísmico da sua geografia ou clima poderia ter feito. (…) O relógio criou, literalmente, uma nova realidade.» Com esta progressiva instrumentalização da experiência humana, poderá ocorrer um ganho considerável em termos de eficiência e de aproveitamento de recursos (naturais e humanos), mas há também, paralelamente, um progressivo empobrecimento e uma uniformização da forma de ver e sentir o mundo, sobre os quais urge reflectir e extrair lições para o momento presente.
Um aviso não só sobre os eventuais limites da IA e o que esta poderá ou não vir a fazer, mas, de forma muito mais importante, sobre que funções devemos, enquanto sociedade, permitir que sejam delegadas aos algoritmos
A esta discussão seguem-se vários capítulos sobre os conceitos básicos da programação e do que constitui um algoritmo. Neles o autor procura demonstrar de que forma o poder de manipulação de informação das novas máquinas digitais veio abrir avenidas de controle – económico, social, político – que são absolutamente inéditas na história da civilização humana. Mas também um outro ponto bastante original: que a forma como este desenvolvimento se processou não estava absolutamente determinada à partida. Mais concretamente: existe uma determinada visão do progresso tecnológico que afirma ter o computador digital chegado mesmo na «altura certa» para lidar com um aumento exponencial no volume e na complexidade de dados produzidos pelas sociedades modernas. Contra este argumento, Weizenbaum contrapõe que: «A crença na indispensabilidade do computador não é completamente errada. O computador torna-se um componente indispensável de qualquer estrutura, a partir do momento em que esteja tão completamente integrado com a mesma, tão enredado nas suas várias subestruturas vitais, que não pode mais ser excluído sem prejudicar fatalmente toda a estrutura. Isto é praticamente uma tautologia. A utilidade desta tautologia é que ela pode despertar-nos novamente para a possibilidade de que algumas ações humanas, por exemplo, a introdução de computadores em algumas atividades humanas complexas, podem constituir um compromisso irreversível. Não é verdade que o sistema bancário americano ou os mercados de ações e bens e as grandes empresas teriam entrado em colapso se o computador não tivesse aparecido “na hora certa”. É verdade que a forma específica como esses sistemas se desenvolveram e continuam a desenvolver nas últimas duas décadas teria sido impossível sem o computador.» (itálico nosso). Outras formas de trabalho se teriam, seguramente, desenvolvido, provavelmente recorrendo a maior quantidade de mão de obra e a relações de trabalho mais colaborativas.
Limites da IA e do digital
Neste contexto, não deixa de ser relevante referir brevemente alguns dos aspectos mais preocupantes da enorme transição digital em curso, que tem o apoio unívoco de praticamente todos os governos e maiores instituições mundiais. Em primeiro lugar, a associação que se faz hoje entre digitalização e descarbonização, de forma quase automática e praticamente sem reflexão, tem de ser desmontada e analisada de forma crítica. Não só o digital tem um consumo de energia astronómico (e um dos que mais rapidamente tem crescido em todo o mundo), como cada sensor, chip e bateria tem uma pegada material não-desprezível [3]. O que deveria inviabilizar quase de imediato algumas das propostas mais delirantes a que temos assistido neste campo, como a da «internet dos objectos». A famosa «nuvem» de armazenamento global de dados não é uma entidade imaterial a vogar num qualquer éter, mas, sim, um conjunto de enormes centros de dados, ocupando vastas áreas com os seus milhares de processadores e unidades de refrigeração, e consumindo mais eletricidade do que muitos países.
Depois coloca-se a questão de quem controla todos estes fluxos de informação. Ou nas palavras da autora norte-americana Shoshana Zuboff, que popularizou o termo «capitalismo de vigilância»: «Quem sabe? Quem decide? E quem decide quem decide?» É cada vez mais claro que permitir que um reduzido número de pessoas (quase todos homens e multimilionários) controle toda a infraestrutura de informação mundial, com pouco ou nenhum escrutínio, só poderá conduzir ao desastre.
Não só o digital tem um consumo de energia astronómico (e um dos que mais rapidamente tem crescido em todo o mundo), como cada sensor, chip e bateria tem uma pegada material não-desprezível.
O terceiro factor, e talvez o mais difícil de avaliar, prende-se com o enorme impacto que a imersão diária nestas novas tecnologias por parte de uma fracção considerável da população mundial poderá ter sobre as formas como socializamos e comunicamos, sobre a visão que a humanidade tem do mundo e de si própria. Não é difícil extrapolar que quanto mais tempo passarmos a interagir com estas máquinas e seus algoritmos mais provável é que a nossa forma de pensar se torne mais mecanizada e instrumental, quer ao nível individual, quer colectivo.
Outro dos aspectos que o trabalho de Weizenbaum também aborda, de forma presciente, prende-se com o conceito de compreensão da linguagem e de como um algoritmo pode executar operações complexas de manipulação de símbolos verbais – sem que tenha necessariamente nada parecido com uma compreensão verdadeira do que estes significam ou dos variados impactos que possam ter no mundo real. Segundo ele, ainda que determinadas tarefas sejam «passíveis de ser automatizadas», o ónus da decisão deverá sempre recair sobre o ser humano (e daí o subtítulo do livro: From judgement to calculation). Na altura em que ele escrevia o livro, cada vez mais decisões delicadas começavam a ser relegadas para as máquinas, com destaque para as campanhas norte-americanas de bombardeamento no Vietname, que recorriam já a uma série de algoritmos para seleccionar os seus alvos.
O imperialismo da razão instrumental
Na mira do criticismo de Weizenbaum destacavam-se os primeiros proponentes da inteligência artificial, como Marvin Minsky, e a quem ele apelidava de «intelligentzia artificial», que defendiam que tudo o que se passava no interior de um cérebro humano era passível de ser reproduzido num computador digital, um ponto de vista que ainda hoje recolhe bastantes apoiantes. Ora, se tal poderá fazer sentido no que diz respeito a operações algébricas elementares, importa interrogarmo-nos se todas as formas de pensar poderão realmente ser reduzidas a esse aspecto.
Para desmontar estes pressupostos facilitistas, Weizenbaum recorreu ao seu conhecimento da psicanálise e do poder do subconsciente humano, bem como à sua experiência de vida, experiência essa que cada um de nós vai acumulando ao longo dos anos e que vai construindo, de maneira indelével e única, a pessoa que somos. Neste contexto, existe todo um sem-número de acontecimentos sensoriais – eminentemente materiais – que representam outras tantas formas de viver/sentir a realidade. Assim, um cientista poderá concentrar-se durante meses a fio num determinado problema, para ver por fim a chave da sua resolução a ser-lhe revelada num sonho, ou no decurso de uma caminhada, quando estava a pensar em algo completamente diferente. A mesma coisa sucede com a criação artística ou com a tomada de decisões difíceis na nossa vida pessoal.
A sedução desta «razão instrumental» é que ela é de muito fácil implementação, altamente escalável – através dos variados meios computacionais que se multiplicam a uma velocidade estonteante por todo o mundo – e tem sido utilizada, sobretudo, para aprofundar a concentração de poder e riqueza nas mãos das classes mais ricas; bem como para cobrir uma certa visão da realidade e do ser humano com um manto de inevitabilidade e de progresso tecnológico, deixando, assim, de parte considerações éticas, estéticas, espirituais, religiosas e ecológicas, entre muitas outras. Para citar de novo o autor: «Quando a razão instrumental é o único guia para a ação, os atos que ela justifica são privados dos seus significados inerentes e existem, portanto, num vácuo ético.»
Num planeta com mais de oito mil milhões de habitantes, com enormes crises ambientais e escassez de recursos, o uso desta forma de razão vai ser crucial para a nossa sobrevivência enquanto espécie, nas próximas décadas e séculos. Mas é igualmente da maior urgência desmascarar a actual dependência excessiva da mesma, e termos a capacidade de a ver pelo que é: uma das muitas formas possíveis de pensar e de ser, um auxiliar útil para determinadas decisões, mas nunca a forma de decidir por excelência – que deverá ser sempre integralmente humana e ética, aberta à diferença e à diversidade do mundo e da experiência humana, como Weizenbaum tão bem expôs e defendeu!
*Artigo publicado no Jornal Mapa, edição #40, Janeiro | Março 2024