La caixa negra
Per entendre alguns dels riscs que comporta la generalització de les eines d’intel·ligència artificial (IA), és fonamental diferenciar entre informació i coneixement. La informació es troba formada per dades. Les dades són abundants i necessàries per poder prendre determinades decisions i en podem fer ús sense que sigui necessari comprendre-les en detall. El coneixement, en canvi, sorgeix de la interpretació de les dades i la seva comprensió, la qual cosa ens reporta una utilitat molt més gran.
Això ho veiem quan fem ús del mòbil per saber la situació del trànsit, obtenint una foto del que està passant i decidint la ruta a agafar; saber d’on surt la informació és irrellevant. Però entenent i interpretant les dades es pot arribar a saber també quines vies acabaran col·lapsades en un futur i justificar, per exemple, la necessitat de fer una nova via de circumval·lació. Aquesta tasca, més complexa, pot requerir anys de feina i és aquí on la IA juga amb avantatge, ja que els seus algoritmes poden analitzar milions de dades en minuts i extreure’n conclusions.
Ara bé, fiar-ho tot a aquesta tecnologia planteja un problema: amb la IA obtenim un coneixement ràpid a partir de moltes dades, però no sabem ben bé com funciona l’algoritme. Això passa perquè les persones pensem a partir de relacions de causalitat, miram allò que passa (o que volem que passi) i cercam les causes que ho poden provocar o obstaculitzar. Però la IA no ‘pensa’ com nosaltres, no cerca relacions causa-efecte, sinó que analitza dades per extreure’n patrons estadístics, un raonament que per als humans ens és estrany i opac. És el que s’anomena el fenomen de la caixa negra.
No entendre com ‘pensa’ la IA també fa difícil detectar per què pot equivocar-se. En l’exemple del trànsit, els errors puntuals no són gaire importants. Si normalment la predicció es compleix al llarg de setmanes o mesos, podem pensar que l’algoritme és fiable, malgrat que algun dia s’equivoqui. Però hi ha qüestions més crítiques on un error puntual sí que és important. Imaginem, per exemple, una assegurança de salut que empri una tecnologia capaç de determinar les malalties greus que es poden tenir a partir de l’anàlisi d’un conjunt de dades de cada persona, de manera que justifiqui la no subscripció o renovació de la pòlissa. Com es pot saber si la IA s’equivoca?
La caixa negra provoca que el client queda en una situació d’indefensió. Cap treballador de l’assegurança segurament sabrà explicar per què deneguen la pòlissa, cosa que farà inviable qualsevol classe de reclamació. Això mateix pot passar –segurament ja passa– en altres àmbits, com la sol·licitud d’un crèdit o en un procés de selecció per obtenir una feina. No són decisions de vida o mort, certament, però poden acabar determinant el futur d’una persona.
La IA és una eina amb molt de potencial, però la seva opacitat intrínseca genera problemes importants, per la qual cosa és urgent regular on es pot emprar i com. La caixa negra no és només una metàfora enginyosa, sinó que pot ser l’excusa que encobreixi abusos des d’una aparent impunitat fonamentada en un determinisme tecnològic tergiversadament entès. La urgència prové de l’evidència que aquesta tecnologia ja s’està emprant avui i com més gran es faci aquesta caixa negra, més fàcil serà que ens fugi completament de les mans. Suposant que ja no ho hagi fet.