Una màquina pot saber que sabem el que sap?

La lectura de la ment és habitual entre els humans. No a la manera dels mèdiums –que, segons ells mateixos diuen, accedeixen als càlids fluxos de la consciència que omplen l’experiència de cadascú–, ni a la dels mentalistes, que afirmen que t’endevinen un pensament a voluntat. La lectura quotidiana de la ment és més subtil: observem les cares i els moviments de la gent, escoltem les seves paraules i després decidim o intuïm què els pot passar pel cap.

D’aquesta psicologia intuïtiva –la capacitat d’atribuir als altres uns estats mentals diferents del nostre– els psicòlegs en diuen teoria de la ment, i el seu deteriorament o carència s’han relacionat amb l’autisme, l’esquizofrènia i altres trastorns del desenvolupament. La teoria de la ment ens ajuda a comunicar-nos i entendre’ns; ens permet gaudir de la literatura i el cine, participar en jocs i donar sentit al nostre entorn social. Des de molts punts de vista, aquesta capacitat és una part essencial de l’ésser humà.

I si una màquina llegís la ment?

Doncs vet aquí que Michal Kosinski, psicòleg de la Graduate School of Business de Stanford, ha exposat fa poc precisament aquest argument: els grans models de llenguatge, com el ChatGPT i el GPT-4 d’OpenAI –màquines que prediuen la paraula següent i que han estat entrenades amb enormes quantitats de text procedent d’internet–, han desenvolupat la teoria de la ment.

Tot i que els seus estudis no han sigut revisats per experts, han estat objecte d’atenció i han suscitat un debat entre els especialistes en psicologia cognitiva, que intenten respondre la pregunta que se sol fer aquests dies –això ho pot fer el ChatGPT?– i l’han traslladat a l’àmbit d’una recerca científica més sòlida. Quines capacitats tenen aquests models i com poden transformar la manera d’entendre la nostra pròpia ment?

Com diu Alison Gopnik, psicòloga de la Universitat de Califòrnia, a Berkeley, i una de les primeres a estudiar la teoria de la ment als anys vuitanta: "Els psicòlegs no acceptarien cap conclusió sobre les capacitats dels nens petits a partir només d’anècdotes sobre les nostres interaccions amb ells, i això és precisament el que passa amb el ChatGPT. S’han de fer proves força acurades i rigoroses".

L’anterior investigació de Kosinski va demostrar que les xarxes neuronals ensinistrades per analitzar trets facials com la forma del nas, l’angle del cap i l’expressió emocional poden predir les opinions polítiques i l’orientació sexual amb un grau sorprenent de precisió (al voltant del 72% en el primer cas i del 80%, en el segon). El seu estudi recent sobre grans models de llenguatge es basa en tests clàssics de la teoria de la ment que mesuren la capacitat dels nens per atribuir falses creences a altres persones.

N’és un exemple famós el test de la Sally i l’Anne, en què una noia, l’Anne, treu d’un cistell una bola per posar-la en una caixa mentre l’altra noia, la Sally, no l’està mirant. Segons els investigadors, per saber on la Sally buscarà la bola, l’espectador ha d’aplicar la teoria de la ment i tenir en compte l’evidència perceptiva i la formació d’opinions de la Sally: com que la Sally no ha vist l’Anne posant la bola a la caixa, encara creu que és on l’havia deixat abans, és a dir, al cistell.

Kosinski va introduir en 10 grans models de llenguatge 40 variacions específiques d’aquests tests de la teoria de la ment: descripcions de situacions com la prova de la Sally i l’Anne, en què una persona (la Sally) es forma una creença errònia. Llavors va fer preguntes als models de llenguatge sobre aquestes situacions i els va continuar interrogant per veure si atribuïen falses creences als personatges implicats i en predirien amb precisió el comportament. Va descobrir que el GPT-3.5, que va aparèixer el novembre del 2022, se’n va sortir el 90% de vegades, i el GPT-4, llançat el març del 2023, el 95%.

Conclusió? Les màquines apliquen la teoria de la ment.

Els matisos

Poc després que es publiquessin aquests resultats, però, Tomer Ullman, un psicòleg de la Universitat de Harvard, hi va respondre amb una sèrie d’experiments que demostraven que petites modificacions en els indicadors podien canviar totalment les respostes, fins i tot les generades pels grans models de llenguatge més sofisticats. Si es descrivia un contenidor com a transparent, les màquines no eren capaces de deduir que algú podria veure el que hi havia dintre. A les màquines els costava tenir en compte el testimoni de les persones en aquestes situacions, i de vegades no sabien distingir si un objecte era dintre d’un contenidor o a sobre.

Maarten Sap, un informàtic de la Universitat Carnegie Mellon, va introduir més de 1.000 tests de teoria de la ment en grans models de llenguatge i va descobrir que els sistemes més avançats, com el ChatGPT i GPT-4, les superaven només el 70% de les vegades. (En altres paraules, van encertar en un 70% d'ocasions a l’hora d’atribuir falses creences a les persones descrites en les situacions dels testos.) La discrepància entre les dades de Sap i les de Kosinski es podria atribuir a les diferències entre les proves, però per a Sap ni tan sols un 95% d’encerts demostraria una autèntica teoria de la ment. Segons diu, les màquines solen fallar seguint una pauta, són incapaces de fer raonaments abstractes i sovint estableixen "correlacions espúries".

Ullman assenyala que, des de fa dues dècades, els investigadors de l’aprenentatge automàtic lluiten perquè els models informàtics reflecteixin la flexibilitat del coneixement humà. Aquesta dificultat ha estat una conclusió que sempre ha quedat a l’ombra, darrere de totes les innovacions apassionants. Els investigadors han demostrat que els models de llenguatge molt sovint donen respostes errònies o irrellevants quan els subministren informació innecessària abans de plantejar-los una pregunta; alguns xatbots es van veure sumits en una tal confusió per uns hipotètics debats sobre ocells parlants que van acabar afirmant que els ocells podien parlar. Com que la seva lògica és vulnerable als petits canvis en les dades amb què les alimenten, els científics qualifiquen de “fràgils” els coneixements d’aquestes màquines.

Atribuir humanitat

Alison Gopnik ha comparat la teoria de la ment dels grans models de llenguatge amb la manera com ella entén la relativitat general: "He llegit prou per conèixer les paraules. Però si em demanéssiu que fes una nova predicció o que expliqués què ens diu la teoria d’Einstein sobre un fenomen nou, no sabria què contestar, perquè, en realitat, no tinc la teoria al cap". En canvi, la teoria de la ment humana està vinculada a altres mecanismes de raonament basats en el sentit comú; resisteix davant de qualsevol anàlisi.

En general, l’estudi de Kosinski i les reaccions que ha suscitat encaixen en el debat sobre si les capacitats d’aquestes màquines es poden comparar amb les dels humans, un debat que divideix els investigadors que es dediquen al processament del llenguatge natural. Aquestes màquines són lloros estocàstics, intel·ligències alienígenes o una estafa fraudulenta? Segons una enquesta del 2022, dels 480 investigadors que hi van participar, el 51% creien que els grans models de llenguatge arribarien a "entendre el llenguatge natural més enllà de conceptes trivials i el 49% creia que no.

El doctor Ullman no descarta la possibilitat que una màquina tingui capacitat de comprensió o sigui capaç d’aplicar la teoria de la ment, però és reticent a atribuir habilitats humanes a coses no humanes. Cita un famós estudi del 1944 de Fritz Heider i Marianne Simmel, en què als participants els ensenyaven una pel·lícula animada amb dos triangles interactuant amb un cercle. Quan van demanar als participants que comentessin el que passava a la pel·lícula, gairebé tots van descriure les formes com a persones.

“Uns amants al món bidimensional, sens dubte; el petit triangle número dos i el cercle bonic", va escriure un participant. "El triangle número u (d’ara endavant conegut com el dolent) espia el jove amor. Ah!”

És natural, i moltes vegades la societat ho demana, explicar el comportament humà parlant de creences, desitjos, intencions i pensaments. Aquesta tendència és fonamental per ser qui som, tan fonamental que, de vegades, intentem llegir la ment de coses que no en tenen, com a mínim, no com la nostra.