Prof Xavier Castillo Ferrer

Avui, el sector dels llibertaris tecnològics liderats per Peter Thiel i Alex Karp volen crear un nou ordre autoritari i militaritzat que pot posar en crisi el món tal com el coneixem avui.

EL NOU MANIFEST PER LA REPÚBLICA TECNOLÒGICA PUBLICAT PER PALANTIR HAURIA DE SER CAUSA D’ENORME PREOCUPACIÓ.

Aquesta primera meitat d’any 2026 hem viscut la IA com un fenomen que posa en qüestió el nostre model de societat actual i hem vist com capdavanters en el desenvolupament d’algoritmes han plantejat aquesta qüestió i s’han posicionat al respecte. Mentrestant, hem vist com màquines mataven persones amb total autonomia.

A Senior’s Club Empresarial era un tema que ens va crear inquietud i vàrem poder contactar amb el Prof Xavier Castillo que de moment, per anar fent boca, ens va parlar d’un parell d’articles:

El cas Anthropic. Entre l’ètica i la seguretat nacional (enllaç)
Com es defineix la Justicia a la IA? (enllaç)
Industrial Policy for the IA. Ideas to keep people first (enllaç)

I d’un enllaç a les directrius que marquen com Europa vol regular la IA

https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai

i un enllaç al llibre considerat com el manifest Palantir on expliquen que volen fer els seus impulsors:

https://www.amazon.es/Technological-Republic-Sunday-bestseller-Palantir/dp/1529945402

En Xavier Castillo ens va acompanyar en el col·loqui del mes de juliol, ell és Enginyer de Telecomunicacions per la Universitat Politècnica de Catalunya, M.Sc. i PhD en Enginyeria Elèctrica (Computer Engineering) a Carnegie Mellon University, MBA per IESE Business School, i llicenciat en Humanitats (música) per la Open University.

Té una bona formació humanística posterior (BA en Humanitats – música), el que li dona una visió holística que analitza sistemes, problemes com un tot interconnectat. La seva trajectòria professional en el sector de les TIC ha seguit un perfil clar d’alta direcció en el sector digital/telecom espanyol (anys 1980–2017).

Actualment, és professor a La Salle – Universitat Ramon Llull, és membre fundador de la institució Nausika, un grup d’opinió i reflexió format per experts tecnològics, acadèmics i directius que analitzen el paper de la tecnologia en la societat i on està creant un grup d’ètica de les tecnologies digitals.

Ens va parlar de Nausika (Nausika.es), una plataforma cívica que neix de la societat civil per a impulsar la tecnologia i la innovació com a elements que garanteixin la prosperitat del conjunt de la Societat i ens va invitar a seguir la serva activitat a www.nausika.es. Nausika farà un acte a Barcelona el 23 d’octubre de 2026, al que estem tots convidats.

Dins del grup, ell està especialment actiu en els aspectes ètics associats en les tecnologies digitals. Actualment, l’activitat criminal al món, vinculada al crim digital, suborns, enganys, estafes…, ocupa el tercer lloc quant a activitat econòmica a escala mundial, suposa uns 10.500.000.000.000  anuals!!. I això no té res a veure amb la IA, és fruit d’algun “pecat original” de les tecnologies digitals, relacionat amb les xarxes com internet, i amb els sistemes operatius dels ordinadors personals i smartphones.

Ens va parlar del concepte d’ètica com a principi filosòfic per delimitar allò que està bé d’allò que no ho està.

Va iniciar el seu discurs recordant la recent encíclica del Pontífex del darrer 25 de maig sobre la doctrina social de l’església i el principi del bé comú a on en el capítol tercer estableix un principi bàsic que caldria que les comunitats poguessin participar a priori en les decisions sense haver de recórrer a negociacions posteriors (principi de subsidiarietat).

Va donar lloc a un debat interessant que posteriorment amb la participació d’assistents del món de la sanitat es va recordar com en aquest àmbit els comitès de bioètica inserits en tots els àmbits sanitaris i a diferents nivells ja intenten seguir aquesta pauta. Malauradament en el món de les tecnologies digitals això si més no, no existeix res semblant als principis de bioètica.

Ens va transmetre que certament hi ha preocupació i necessitat de diàleg. En aquest sentit, va fer referència a la Dra. Adela Cortina, filòsofa espanyola de la qual ens va recomanar el seu llibre “Ètica o ideologia de la intel·ligència artificial”. També va comentar la iniciativa a les Nacions Unides amb el seu IA Advisory Board.

En contraposició a aquests pensaments de prudència i moderació hi ha una realitat avassalladora duta a terme per personatges i empreses que tenen molta pressa arrossegada per un pensament d’imposar una determinada manera de pensar cap a un futur basat en uns valors únics que casualment coincideixen amb els seus.

Cal dir per endavant que tot i que de manera generalista parlem d’IA, el problema que tenim plantejat al seu entendre no és només sobre la IA, sinó sobre les tecnologies digitals i el software.

Estem davant d’un problema de governança i cal que es faci d’una manera democràtica i consensuada tal com recull la mateixa encíclica papal, a través de participació en els nivells més baixos de la societat. Però ens trobem davant dos conflictes:

Com s’ha de fer? Quines han de ser les organitzacions que dialoguin?

Si trobem aquestes institucions prou representatives: com obliguem les empreses a seguir les seves indicacions?

Hi ha acord pel que fa a la necessitat de dur a terme un seguiment de la governança, però cal veure com les empreses i els governs poden ser restringits a seguir les indicacions. Avui el lideratge correspon bàsicament unes quantes empreses americanes i xineses, però fins i tot aquestes empreses i els seus grups empresarials estan més temptades a condicionar el futur a través dels governs que no pas a deixar que la governança fixi l’àmbit de la seva actuació i fins a tot a alguns governs ja els va bé.

En Xavier Castillo ens va fer una referència a l’experiència nuclear i els debats que va donar lloc les conseqüències del projecte Manhattan. A les Nacions Unides el debat va donar lloc a la creació de l’“Organisme Internacional de l’Energia Atòmica” per tal de promocionar els bons usos de la tecnologia atòmica. En aquest sentit, ens cal un “AI Advisory Board”? doncs podem preveure una ràpida evolució tecnològica i en aquest cas seria bo actuar preventivament abans que els danys siguin irreparables.

Iniciatives civils com Nausika també poden aportar coneixement i en general hi ha predisposició a elaborar recomanacions i poder establir un organisme internacional independent al respecte.

Europa pel seu compte ha establert un marc d’actuació respecte a la situació actual, especialment respecte a xarxes socials, continguts o difusió, especialment per col·lectius més vulnerables. L’actual Llei de la IA de la UE està enfocada a gestionar el risc de la IA com la coneixem avui, no a marcar directrius de futur.

Hi ha interessos en contra, que advoquen per una llibertat màxima, el que en Xavier anomenava al principi de les nostres xerrades com “llibertaris tecnològics”. Ens deia que molts problemes actuals relacionats amb la delinqüència digital, tenen el seu origen en com es va concebre la xarxa internet.

Una voluntat explicita i militant per mantenir l’anonimat en tot allò que passa dins la xarxa, una voluntat compartida tant per aquells que volien la xarxa per compartir irresponsablement bajanades (grups i associacions antisistema), com aquells que deliberadament van veure la xarxa com una oportunitat per exercir un control i un seguiment (per part fins i tot de determinats estaments governamentals com l’agència nacional de seguretat) per poder actuar sense desvetllar certes autories.

Hi ha dos debilitats bàsiques en el disseny original de la xarxa:
• Tot el text circulava en obert, sense encriptar (actualment corregit amb les connexions segures).
• No hi ha cap verificació d’identitat sobre els que envien missatges (persones o màquines)

Ens podem preguntar que s’hauria d’haver fet fa quaranta anys perquè l’evolució de les xarxes actuals no haguessin permès el que tenim avui? 10,5 bilions (europeus) de dòlars d’activitat criminal?

Un assistent va referir-se a la “Unió Internacional de Telecomunicacions”, actualment un organisme dins de les Nacions Unides, com un element de referència per tal de posar criteri en una tecnologia com va ser per exemple en el seu moment el control de l’espectre radioelèctric o els recursos d’òrbita pels satèl·lits.

Ens explicava com en aquest cas es tractava de compartir un recurs escàs, però dir alguna cosa sobre el desenvolupament futur d’una idea o una tecnologia en la qual les empreses que hi estan implicades o són o tenen l’aspiració de ser més fortes que els governs pot resultar més difícil.

Europa hi està treballant, però la vocació de les empreses és la de ser més fortes que els estats i aquí el que està en joc és tenir una preponderància de pensament.

Palantir, per exemple no és una empresa de IA és una empresa de software, dona servei als exèrcits i als serveis de seguretat de molts països del món (fins i tot confrontats!). El control del programari i dels algoritmes està en mans de les empreses que fent servir informació dels governs, defensen que no poden estar encotillades ni per normes ni per ètica perquè es basen en l’objectiu final i al final acaben decidint quines actuacions s’han de dur a terme d’acord amb uns algoritmes que ningú coneix. Fins i tot els hi diuen als governs a on han de bombardejar!

El conflicte sorgeix quan tot plegat és una visió contraposada al concepte que ha imperat al món occidental i que recull el pontífex a la seva encíclica demanant un control democràtic i ètic.

Aquí en el discurs i en el debat posterior, va sorgir un moment de gran intensitat cultural quan vàrem iniciar un discurs sobre la modernitat i la postmodernitat, com l’evolució del pensament humà d’Aristòtil passant per Kant o Friedrich Nietzsche i Karl Marx en cerca de la veritat absoluta ens va portar a determinats maximalistes autoritaris buscant cascú “la seva veritat absoluta” també a qualsevol preu com va ser una guerra mundial. La resposta va ser un cert relativisme cultural del qual ens en va parlar més endavant i va obrir la porta a la postmodernitat. Se’ns n’ha anat la mà de tant de relativisme? Ho veurem.

Fent un incís sobre els plantejaments culturals en el món occidental, quan occident reflexionava partint de la seva tradició filosòfica, els principis filosòfics d’orient tenien altres orientacions: Lao Tzu, Confuci, Buda dels quals a occident en tenim un gran desconeixement. D’aquesta asimetria el nostre convidat també ens en va parlar més endavant.

A occident, escarmentats de veritats absolutes, el final de la Segona Guerra Mundial ens va portar a un cert relativisme en la postmodernitat fins a un relativisme extrem. El que estan impulsant tots aquests pensadors que demanen ara mà lliure per reconduir la situació cap a més control de la societat i del pensament, es basa en la voluntat d’imposar el seu control i el seu pensament de la mà d’uns pocs organismes o empreses que ho poden fer amb el control de les tecnologies digitals i en especial de la IA, la IA actual o més preocupant encara la IA del futur. Quan la IA generi IA o el programari generi nou programari fet amb IA amb total absència humana.

La voluntat de construir un nou marc sense restriccions ètiques i regulatòries en contraposició de plantejaments democràtics neix de la voluntat de fer front a aquest relativisme que a alguns els pot semblar extrem. Surt l’argument de recuperar la identitat nacional (“national identity”, “MAGA”). Darrere hi ha la voluntat d’imposar un sistema de governança basat en l’opinió de pocs que ells s’autodefineixen que si saben el que cal fer i poder fer-ho sense restriccions ètiques ni regulatòries.

Tornant a l’àmbit tecnològic, en Xavier Castillo ens recordava com avui la IA depèn dels EUA i de la Xina i aquest fet posa en relleu que a Europa o fins i tot als EUA podem debatre el que vulguem, però no podem fer-ho al marge de la Xina, que a més, planteja un enfocament cultural i social molt diferent de l’occidental i un volum de població extraordinari. No n’hi ha prou amb buscar un consens occidental, cal incorporar els principis, valors i cultura xinesa al debat.

En escriure sobre aquest tema m’ha vingut al cap articles recents, alguns publicats a La Vanguardia sobre aquest coneixement asimètric que hi ha entre la Xina i occident i permeteu-me fer aquest incís, no habitual a les meves cròniques, però que trobo rellevant davant el fet que es va tractar.

Durant anys, molts estudiants i investigadors xinesos es van formar als Estats Units i a Europa. En l’última dècada, un nombre creixent ha tornat a la Xina, atrets per salaris competitius, grans inversions en recerca, millors oportunitats professionals i un entorn tecnològic molt dinàmic.

Per aquest motiu, els dirigents, empresaris i investigadors xinesos acostumen a conèixer molt bé els països occidentals: idiomes, universitats, empreses, sistemes polítics i cultura.

En canvi, a Europa i als Estats Units hi ha relativament pocs experts que coneguin en profunditat la llengua, la història, la cultura i el funcionament intern de la Xina.
Aquesta asimetria proporciona a la Xina un avantatge a l’hora de negociar, competir tecnològicament i entendre les decisions occidentals.

Reprenent el fil amb el tema de la governança, un assistent va fer referència al món farmacèutic i de la salut i els dilemes ètics que planteja constantment i com els comitès ètics estan presents. Així i tot, també es plantegen que l’esperit empresarial fa que els esforços d’inversió es polaritzin cap a patologies més rendibles. Vàrem poder debatre casos concrets com la malària versus altres malalties potser més minoritàries que afecten entorns econòmics més atractius.

Com Nordisk, una farmacèutica amb una cotització en borsa enorme més gran fins i tot que el PIB de Dinamarca com ha gestionat per a bé o per a mal un producte per l’obesitat. La discussió ètica sobre el bé i el mal fins i tot en aquest cas pot donar molt de si. Les empreses orienten el seu R+D a la rendibilitat. Però, tenim entre nosaltres un consens que en el món de la medicina hi ha unes guies a seguir i uns àmbits de debat a tots els nivells si més no en la línia que el pontífex reclama en la seva encíclica, cosa que en la IA, o en les tecnologies digitals en general (sobre tot el software, com el de Palantir) no s’hi veu.

Va estar molt interessant quan el debat va orientar-se sobre la voluntat de defensar interessos i ens qüestionàvem els interessos de qui? Veiem sobretot als EUA acalorades defenses de la “National Identity”

Quan es parla d’identitat es pensa en la pròpia. Si alguns volen debilitar aquest individualisme extrem per enfortir un sentiment col·lectiu no és per enfortit qualsevol projecte, és per enfortir el “seu” projecte. Les paraules no són neutres.

Quan es parla d’ètica i IA són conceptes a nivells molt diferents i d’això se’n va encarregar de posar-ho de manifest un dels comensals invitat, més enllà de la morfologia i la sintaxi, en Xavier ens deia que efectivament era una manera de parlar, de transmetre una idea, però la IA és un sistema, és un mitjà.

En quant l’ètica és un principi filosòfic. L’Ètica estableix un lligam entre l’activitat i la responsabilitat. Però en la IA aquesta relació no existeix. Fins i tot el nom és fraudulent en fer servir la paraula intel·ligència, amb analogia a la humana, quan en realitat ens trobem davant una tecnologia de programari basat en algoritmes, en xarxes neuronals i gran velocitat de processat a on no hi ha correspondència amb el concepte d’intel·ligència quan pensem en els humans.

Quan el programari d’un proveïdor d’IA (per no citar noms) decideix atacar un col·legi de nenes segons unes dades que ha proporcionat ves a saber qui, aleshores no hi ha vinculació amb els que fan servir aquestes eines i els diferents proveïdors. La IA també permet eludir responsabilitats, uns no pregunten i els altres no responen la rendició de comptes i la responsabilitat dels que fan els algoritmes és inexistent. Quan és la IA amb els algoritmes es generen altres algoritmes el tema es va complicant i difuminant. Pot ser el que va funcionar a Veneçuela no va funcionar a l’Iran.

Certament, el debat és viu, fins i tot dins el món limitat de les poques empreses que controlen el tema hi ha controvèrsia. El diferent criteri de Anthropic o Palantir o Open AI sobre el nivell d’autonomia que ha de tenir la IA per prendre decisions que afecten directament la vida d’éssers humans és un tema de debat en els tribunals als EUA. Uns reclamen mà lliure per un fi que justifica tot i altres sustentant uns principis bàsics que queden recollits en el codi ètic de l’empresa”

En Xavier ens va recomanar el llibre “La república tecnológica, poder duro pensamiento débil y el futuro de occidente”, com un dels llibres que millor retraten el moment que vivim.

Va ser un col·loqui dels més llargs, començant a les dues de la tarda es va allargar quasi fins a les cinc, però el tema donava per mes i ben segur el tornarem a tractar. Sense poder allargar més, no per falta de ganes, el nostre president va agrair la presència d’en Xavier Castillo i es va donar per finalitzat.

Galeria de fotos: