Introducció: IA urbana ètica a la pràctica
Autores: Tanya Álvarez, investigadora, Observatori del Mobile World Capital Foundation ; Marta Galceran-Vercher, investigadora sènior, Programa de Ciutats Globals, CIDOB i Alexandra Vidal D’oleo, investigadora i gestora de projectes, Programa de Ciutats Globals, CIDOB
La intel·ligència artificial (IA) és una de les tecnologies més revolucionàries del nostre temps i que promet transformar completament la societat. Aquesta transformació es produeix en diferents nivells i àmbits, i l’espai urbà no n’és una excepció. Des de que es concebés el paradigma de la «ciutat intel·ligent», empreses tecnològiques y actors municipals recorren cada cop més als avenços tecnològics per resoldre els reptes urbans més apressants als quals s’enfronten les nostres societats. En aquest procés, el desplegament de sistemes algorítmics per part dels governs locals es va generalitzant, fet que va configurant el procés de «fer ciutat» tal com l’entenem.
En aquest context, la «IA urbana» es pot definir com la relació entre els sistemes d’IA i el medi urbà. Aquests sistemes, juntament amb altres tecnologies, es van incrustant a tot tipus d’emplaçaments urbans, com ara habitatges, llocs de feina, espais públics i infraestructures. Així mateix, la digitalització d’aquestes experiències urbanes crea un entorn híbrid en el qual les tecnologies digitals tenen un paper a l’hora d’influir i augmentar l’experiència urbana (Aurigi i De Cindio, 2008). Els residents de les ciutats, tot just comencen a percebre com la IA, com a element immers als entorns urbans, té un efecte profund en la vivència urbana i en el propi procés de «fer ciutat».
Pel que fa als sistemes d’IA i l’automatització, les ciutats són un banc de proves ideal per desplegar aquestes tecnologies. El desenvolupament i la implementació de la IA requereixen un ventall de recursos que es poden trobar fàcilment en escenaris urbans: 1) un entorn físic sobre el qual actuar, 2) accés a activitats diverses, 3) dades abundants i d’alta qualitat i 4) infraestructures i instal·lacions (Cugurullo et al., 2023). A la darrera dècada, ha sorgit una ingent quantitat de tecnologies basades en dades que aborden reptes urbans tals com el manteniment de la infraestructura, els serveis públics personalitzats, la salut, la millora del transport, l’urbanisme i l’ús eficient dels recursos, entre altres (Galceran-Vercher i Vidal, 2024).
Cada cop hi ha més governs municipals que són conscients dels beneficis que la IA aporta a l’administració i a la prestació de serveis. Els sistemes d’IA s’adopten amb l’esperança que alleugin les càrregues rutinàries, automatitzant les tasques burocràtiques, cosa que permet als governs locals funcionar de manera més eficient. També pretenen ser més rendibles al prendre decisions més intel·ligents basades en dades per així deixar més temps als governs locals per respondre millor a les necessitats de la ciutadania.
No obstant això, a mesura que les tecnologies algorítmiques es van generalitzant, urgeix que les administracions locals vetllin per un ús responsable i ètic d’aquests sistemes. Cal destacar que la rellevància cada cop més gran que els governs locals van adquirint en l’escenari polític global, juntament amb el seu potencial impacte sobre la vida de milions de persones, requereix que la governança de la IA tingui en compte l’impacte sobre les persones, les comunitats i el medi ambient.
Amb l’aparició de la regulació sobre la IA, la governança de la IA a les ciutats ha esdevingut una preocupació especial per als defensors dels drets humans, les organitzacions de la societat civil i les minories urbanes, que han estat testimonis dels potencials perills del desplegament dels sistemes d’IA. Per exemple, tot i que la vigilància mitjançant la IA proporciona a les ciutats solucions en matèria de seguretat i protecció, gestió del trànsit o monitoratge de factors mediambientals, s’ha demostrat que poden ser solucions invasives i discriminatòries amb determinats sectors de la població. Aquest exemple en concret, entre altres, ha fet saltar les alarmes sobre el fet que la millora en eficiència gràcies a l’automatització pot implicar grans costos i, per tant, les administracions municipals han de ser conscients de les implicacions ètiques dels sistemes d’IA que pretenen implementar.
El repte de posar en pràctica principis ètics en la IA urbana
Tot i que les ciutats poder estar preocupades pels beneficis tècnics i operatius que promet la IA, els experts sostenen que, com a sistemes sociotecnològics, l’impacte de la IA va més enllà de la mateixa precisió tècnica dels sistemes. Per tant, els administradors i els responsables polítics locals que només se centren en la precisió tècnica o en l’equitat d’un sistema no aborden les implicacions més generals que aquests sistemes poden tenir a l’hora de garantir que es despleguen de manera responsable i ètica. Implementar la IA responsable va més enllà del desplegament de sistemes que produeixin uns resultats adequats o fiables. La IA ètica i responsable emfasitza la importància de l’ètica al llarg de tot el cicle de vida dels sistemes i assegura que les eines algorítmiques estan en consonància amb els valors democràtics i la protecció dels drets digitals de les persones.
És lloable que moltes ciutats ja hagin començat a implementar i desenvolupar mecanismes polítics d’IA responsable. La ciutat de Nova York, per exemple, ha implantat auditories obligatòries per a les eines de contractació de personal. A Finlàndia, tres ciutats s’han unit per fomentar la transparència de la IA a través de registres d’algoritmes, que posen la informació a disposició dels residents. Un altre exemple és la Policia de Toronto, que ha establert una política de compra per a les tecnologies d’IA. Així mateix, una investigació recent portada a terme per l’Observatori Global de la IA Urbana (GOUAI, per les sigles en anglès) conclou que les ciutats d’arreu del món habitualment fomenten altres mecanismes polítics per incentivar els sistemes d’IA responsable, com ara el desenvolupament de directrius i principis concrets, prohibicions o moratòries de determinats sistemes algorítmics d’alt risc (per exemple, sistemes de reconeixement facial en temps real), registres públics d’algoritmes, auditories i avaluacions d’impacte, creació d’organismes supervisors independents i externs o clàusules d’adquisició pública que garanteixin el respecte pels drets humans. Aquestes experiències poden servir com a full de ruta a altres agents del sector públic per entendre quin tipus de mecanismes polítics funcionen a l’hora de desenvolupar sistemes d’IA responsable.
No obstant això, tot i que hi ha algunes ciutats que van donant els primers passos per desenvolupar pràctiques d’IA responsable, cada vegada és més necessari que els administradors de les ciutats i els responsables polítics municipals entenguin com es va desenvolupant la IA urbana i quines bones pràctiques s’han posat en marxa. L’esmentat GOUAI atén aquesta necessitat. Aquest projecte conjunt està liderat pel CIDOB, amb el suport de les ciutats de Barcelona, Amsterdam i Londres, i la Coalició de Ciutats pels Drets Digitals i ONU-Habitat. Amb aquest objectiu, l’Atles del GOUAI recopila exemples globals d’IA urbana que estan en concordança amb els sis principis ètics següents: transparència i obertura, protecció de la privacitat, equitat i no-discriminació, seguretat i ciberseguretat, rendició de comptes i sostenibilitat. Una publicació recent basada en una anàlisi de l’Atles (Galceran-Vercher i Vidal, 2024) va revelar que en la tendència cada cop major a l’ús de la IA urbana hi ha disparitats entre les ciutats que han adoptat eines algorítmiques i les que han establert polítiques o estratègies que garanteixen que la IA està en consonància amb els principis ètics.
En aquest context, aquesta monografia del CIDOB aprofundeix en els marcs de governança existents i en els mecanismes polítics específics per posar en pràctica principis ètics concrets i fomentar una IA urbana responsable sobre el terreny. L’objectiu és crear un document útil que pugui inspirar a l’acció i que serveixi com a full de ruta per a altres actors del servei públic.
Estructura de la publicació
La primera part d’aquesta publicació, que consta de quatre capítols, analitza com els principis ètics clau –és a dir, 1) la rendició de comptes i la transparència, 2) la privacitat i la governança de dades, 3) l’equitat i la no-discriminació, com també 4) la sostenibilitat– poden aplicar-se a la pràctica en entorns urbans a través de mecanismes polítics específics. Al respecte, Shazade Jameson argumenta que els governs locals no tenen orientacions clares per fomentar la IA urbana ètica en la seva jurisdicció, i presenta dues definicions pràctiques de rendició de comptes i transparència que inclouen tant el punt de vista tècnic com la perspectiva sociopolítica més general. L’autora afirma que, per tal de potenciar la rendició de comptes i la transparència en la implementació de la IA urbana, hi ha dues preguntes aparentment senzilles però alhora fonamentals que haurien de guiar la fase de disseny: «Cal usar la IA?» i «Com s’ha d’usar la IA?».
En el segon capítol, Leandry Junior Jieutsa analitza els factors que contribueixen a la IA equitativa i no-discriminatòria. L’autor identifica dos factors principals que generen discriminació en els sistemes d’IA: els biaixos algorítmics i l’ús de tecnologies d’IA. Per això, aporta recomanacions polítiques amb l’objectiu de crear ciutats més equitatives impulsades amb IA i emfasitza la necessitat que els governs locals s’adaptin a les seves diverses funcions com a desenvolupadors, implantadors i reguladors. Sosté que les ciutats han de recórrer als processos participatius, els enfocaments locals, la innovació sociotecnològica i la col·laboració intersectorial per garantir un desplegament responsable i equitatiu de la IA.
A continuació, Josuan Eguiluz Castañeira i Carlos Fernández Hernández revisen els mecanismes per a la privacitat i la gestió robustes de les dades en el desplegament de la IA. Analitzen els marcs jurídics i ètics que regeixen el tractament de dades personals per part dels sistemes d’IA i se centren en la Llei d’IA de la UE. Els autors resumeixen els mecanismes clau per aplicar el principi de privacitat als entorns urbans, analitzen els reptes relacionats amb aquestes pràctiques de tractament de dades i ofereixen un seguit de recomanacions factibles. També destaquen que la governança de dades ha d’estar al centre de les estratègies de la IA urbana, prioritzant la qualitat, la rellevància i la protecció dels conjunts de dades usats en els sistemes d’IA, cosa que inclou dur a terme avaluacions d’impacte per protegir tant les dades personals com els drets fonamentals i així garantir que la privacitat i la seguretat dels ciutadans no es veuen compromeses.
Per acabar, el capítol de María Pérez-Ortiz analitza el potencial que té la IA per contribuir al desenvolupament de les ciutats sostenibles, per a la qual cosa aborda les dimensions social, mediambiental i econòmica de la sostenibilitat. L’autora sosté que, tot i que la IA és força prometedora, el seu desplegament també planteja problemes d’equitat, impacte mediambiental i pertorbacions econòmiques. En aquest context, el marc de la IA sostenible constitueix una valuosa eina per concordar el desenvolupament i l’aplicació de la IA amb els objectius de sostenibilitat, la qual cosa garanteix que la IA operi dins els límits ecològics, potenciï la inclusió i fomenti el creixement econòmic equitatiu i circular.
La segona part de la publicació presenta sis estudis de cas com a exemples de marcs de governança de la IA local establerts per ciutats d’arreu del món que han adoptat mecanismes polítics concrets per aplicar la IA urbana ètica a la pràctica. En concret, en aquest apartat, Alexandra Vidal D’oleo avalua la governança d’IA de les ciutats de Barcelona, Amsterdam, Nova York, San José, Singapur i Dubai.
El volum es tanca amb un capítol final en el qual Marta Galceran-Vercher i Alexandra Vidal D’oleo presenten unes conclusions on categoritzen els mecanismes polítics derivats dels capítols, els estudis de cas i la literatura que s’han revisat. Aquesta anàlisi explora els mecanismes polítics més generalitzats i examina com concorden amb els diferents principis ètics. Les autores també identifiquen les tendències comunes i els reptes als quals s’enfronten les ciutats quan intenten aplicar aquests principis ètics a la pràctica i ofereixen un conjunt de recomanacions generals per abordar-los.
Referències bibliogràfiques
Aurigi, A. i De Cindio, F. «Augmented Urban Spaces: Articulating the Physical and Electronic City». Farnham: Ashgate Publishing, 2008
Cugurullo F. et al. «Artificial Intelligence and the City. Urbanistic perspectives on AI». Londres: Routledge, 2023
Galceran-Vercher, M. i Vidal, A. «Mapatge de la intel·ligència artificial urbana: primer informe de l’Atles de la Intel·ligència Artificial Urbana del GOUAI». CIDOB Briefings, n.º 56, 2024