Introducción. IA urbana ética en la práctica
Autoras: Tanya Álvarez, investigadora, Observatorio de la Fundación Mobile World Capital ; Marta Galceran-Vercher, investigadora sénior, Programa de Ciudades Globales, CIDOB e Alexandra Vidal D’oleo, investigadora y gestora de proyecto, Programa de Ciudades Globales, CIDOB
La inteligencia artificial (IA) es una de las tecnologías más revolucionarias de la actualidad y promete transformar por completo la sociedad. Esta transformación se produce en distintos niveles y ámbitos, y el espacio urbano no es una excepción. Desde que se concibiera el paradigma de la «ciudad inteligente», urbanistas, empresas tecnológicas y actores municipales recurren cada vez más a los avances tecnológicos para resolver los desafíos urbanos más apremiantes que afrontan nuestras sociedades. En este proceso, el uso de sistemas algorítmicos por parte de los gobiernos locales está muy extendida y da forma al proceso de “hacer ciudad” tal y como lo entendemos.
En este marco, la «IA urbana» es entendida como la relación entre los sistemas de IA y el medio urbano. Tales sistemas, junto con otras tecnologías, se integran en todo tipo de contextos urbanos, como los hogares, los lugares de trabajo, los espacios públicos o las infraestructuras. La digitalización de estas experiencias urbanas crea, además, un entorno híbrido en el que las tecnologías digitales desempeñan un papel de mediación y mejora de la experiencia urbana (Aurigi y De Cindio, 2008). Quienes viven en las ciudades apenas están empezando a percibir el profundo efecto que la IA, como elemento integrado en los entornos urbanos, tiene en la vivencia urbana y en el propio hacer ciudad.
En términos de IA y automatización, las ciudades son un terreno de experimentación idóneo para implementar estas tecnologías. El desarrollo y uso de la IA precisa distintos recursos que se encuentran con facilidad en las urbes: 1) un entorno físico sobre el que actuar, 2) acceso a actividades diversas, 3) abundancia de datos de calidad, y 4) infraestructuras e instalaciones (Cugurullo et al., 2023). En la última década se ha producido un aumento repentino de tecnologías basadas en datos que abordan desafíos urbanos como el mantenimiento de las infraestructuras, la personalización de servicios públicos, la salud, la mejora del transporte, la planificación urbana y el uso eficiente de los recursos, entre otros (Galceran Vercher y Vidal, 2024).
Cada vez es mayor el número de gobiernos municipales conscientes de las ventajas que la IA aporta a la labor de administración y la prestación de servicios. Los sistemas de IA se adoptan con la esperanza de que reduzcan el trabajo rutinario, automatizando las tareas burocráticas y permitiendo así que los gobiernos locales funcionen con mayor eficiencia. Otro objetivo es que resulten más eficaces al tomar decisiones más acertadas basándose en datos y permitir que los gobiernos locales dispongan de más tiempo para atender mejor a las necesidades de la ciudadanía.
Sin embargo, conforme las tecnologías algorítmicas se generalizan, existe una necesidad imperiosa de que las administraciones locales velen por el uso ético y responsable de estos sistemas. Cabe destacar que la creciente relevancia que los gobiernos locales tienen en el terreno de la política mundial, así como su influencia en millones de vidas, requiere que la gobernanza de la IA local tome en cuenta el impacto en las personas, las comunidades y el medioambiente.
Con la llegada de la regulación de la IA, la gobernanza de estas tecnologías en las ciudades se ha convertido en un motivo especial de preocupación para las personas defensoras de los derechos humanos, las organizaciones de la sociedad civil y las minorías urbanas, que vienen siendo testigos de los posibles peligros que conlleva la implementación de estos sistemas tecnológicos. Por ejemplo, aunque la vigilancia mediante IA ofrece a las ciudades soluciones en relación con la seguridad, la gestión del tráfico o la monitorización de factores ambientales, se ha demostrado que estas medidas resultan invasivas y discriminatorias para determinados sectores de la población. Este ejemplo concreto, entre otros, alerta sobre cómo el aumento de eficacia derivado de la automatización puede tener un gran costo y, por tanto, como los gobiernos municipales deben conocer las implicaciones éticas de los sistemas de IA que pretenden establecer.
El desafío de operacionalizar principios éticos en la IA urbana
Aunque las ciudades puedan estar focalizadas en los beneficios técnicos y operativos que promete la IA, los especialistas sostienen que, al ser sistemas sociotécnicos, las repercusiones de estas tecnologías van más allá de su precisión técnica. En consecuencia, los responsables políticos y administradores locales que sólo se centran en dicha precisión técnica o imparcialidad del sistema no abordan plenamente las implicaciones más amplias que estos sistemas pueden tener a la hora de asegurar una implementación responsable y ética. Aplicar una IA responsable es algo más que desarrollar sistemas cuyos resultados sean correctos o fiables. La IA ética y responsable hace hincapié en la importancia de la moralidad durante todo el ciclo de vida de los sistemas, y garantiza que las herramientas algorítmicas se ajusten a los valores democráticos y protejan los derechos digitales de las personas.
El hecho de que muchas ciudades ya hayan empezado a aplicar y desarrollar mecanismos de política en materia de IA responsable es encomiable. Nueva York, por ejemplo, ha establecido la obligatoriedad de auditar herramientas de contratación de personal que usen IA. En Finlandia, tres ciudades se han reunido para impulsar transparencia mediante los registros de algoritmos, que posibilitan el acceso de la ciudadanía a información pertinente. En otro caso, la policía de Toronto ha adoptado una política de adquisición pública para sistemas de IA. Además,
una investigación reciente del Observatorio Global de la Inteligencia Artificial Urbana (GOUAI, por sus siglas en inglés) muestra que, en todo el mundo, las ciudades están impulsando sistemáticamente mecanismos de política para incentivar sistemas de IA responsable, como la elaboración de principios y directrices específicos, las prohibiciones o moratorias de determinados sistemas algorítmicos de alto riesgo (por ejemplo, los sistemas de reconocimiento facial en tiempo real), los registros públicos de algoritmos, las auditorias y evaluaciones del impacto, el establecimiento de órganos de supervisión externos e independientes o las cláusulas de contratación pública que garantizan el cumplimiento de los derechos humanos. Estas experiencias pueden servir de hoja de ruta para que otros actores del sector público conozcan qué tipo de mecanismos funcionan para desarrollar sistemas de IA responsable.
No obstante, si bien hay ciudades que están dando los primeros pasos para establecer prácticas de IA responsables, existe una creciente necesidad de que los responsables municipales conozcan cómo se está desarrollando la IA urbana y qué buenas prácticas adoptar. El Observatorio Global de la Inteligencia Artificial Urbana antes mencionado es un proyecto colectivo dirigido por CIDOB —con el apoyo las ciudades de Barcelona, Ámsterdam y Londres, la Coalición de Ciudades por los Derechos Digitales y ONU-Hábitat— que responde a esta necesidad. El resultado es el Atlas del GOUAI, en el que se recopilan casos de IA urbana de todo el mundo que se ajustan a seis principios éticos: transparencia y apertura, protección de la privacidad, equidad y no discriminación, seguridad y ciberseguridad, rendición de cuentas, y sostenibilidad. Una publicación reciente basada en el análisis del Atlas (Galceran Vercher y Vidal, 2024) puso de manifiesto que la creciente expansión de IA urbana va acompañada de un desequilibrio entre ciudades que han adoptado herramientas algorítmicas y las que han establecido políticas o estrategias para garantizar que estas tecnologías se alineen con principios éticos.
En este contexto, la presente monografía CIDOB profundiza en marcos de gobernanza existentes y mecanismos de política específicos para operacionalizar principios éticos concretos y así impulsar una IA urbana responsable en la práctica. El objetivo es generar un documento útil que pueda inspirar la acción de otros actores del sector público y servirles de hoja de ruta.
Estructura de la publicación
La primera parte de esta publicación consta de cuatro capítulos que examinan la aplicación práctica de principios éticos clave —concretamente 1) rendición de cuentas y transparencia, 2) privacidad y gobernanza de datos, 3) equidad y no discriminación, y 4) sostenibilidad— en entornos urbanos mediante mecanismos de política específicos. Shazade Jameson sostiene que los gobiernos locales carecen de directrices claras para promover una IA urbana ética en el marco de sus competencias y presenta dos definiciones prácticas de “rendición de cuentas” y “transparencia” que incorporan puntos de vista tanto técnicos como sociopolíticos. Jameson afirma que, para favorecer estos principios, la fase de concepción de la IA debe guiarse por dos preguntas aparentemente sencillas pero indispensables: «¿Debe utilizarse la IA?» y, en caso afirmativo, «¿Cómo debe utilizarse la IA?».
En el capítulo siguiente, Leandry Junior Jieutsa examina los factores que contribuyen a una IA equitativa y no discriminatoria. En concreto, identifica dos factores principales de discriminación en los sistemas de IA: los sesgos algorítmicos y el uso de estas tecnologías. Jieutsa ofrece recomendaciones políticas dirigidas a que las ciudades que usan IA sean más justas, y hace hincapié en que los gobiernos locales deben adaptarse a los distintos roles que desempeñan como desarrolladores, implementadores y reguladores. El autor sostiene que las ciudades deben servirse de procesos participativos, enfoques contextualizados, innovación sociotécnica y colaboración intersectorial para garantizar que la IA se implanta de forma responsable y equitativa.
A continuación, Josuan Eguiluz Castañeira y Carlos Fernández Hernández revisan los mecanismos que permiten una gestión robusta de la privacidad y de los datos en el despliegue de la IA. Eguiluz y Fernández analizan los marcos éticos y jurídicos que rigen el procesamiento de datos personales por parte de los sistemas de IA, centrándose en particular en la Ley de IA de la UE. Además, esbozan los mecanismos clave para aplicar implementar el principio de privacidad en entornos urbanos y exploran los desafíos relacionados con estas prácticas de tratamiento de datos, ofreciendo un conjunto de recomendaciones prácticas. Los autores subrayan que la gobernanza de los datos debe constituir la base de las estrategias de IA urbana, primando la calidad, la pertinencia y la protección de los conjuntos de datos utilizados en estos sistemas. Esto incluye realizar evaluaciones del impacto para salvaguardar tanto los datos personales como los derechos fundamentales, garantizando que la privacidad y la seguridad de la ciudadanía no se vean comprometidas.
Por último, en el capítulo de María Pérez Ortiz se explora el potencial que tiene la IA para propiciar el desarrollo de ciudades sostenibles, y se abordan las dimensiones social, ambiental y económica de la sostenibilidad. La autora defiende que, si bien es una tecnología muy prometedora, su implantación suscita inquietud en cuanto a equidad social, impactos medioambientales y disrupciones económicas. En este contexto, el marco de la IA sostenible constituye una valiosa herramienta para alinear el desarrollo y aplicación de esta tecnología con los objetivos de sostenibilidad. A su vez, también garantiza que la IA funcione dentro de los límites ecológicos, fomente la inclusión y favorezca un crecimiento económico circular y justo.
En la segunda parte de la publicación se presentan seis casos prácticos que brindan ejemplos de marcos de gobernanza de IA locales que han establecido ciudades de todo el mundo, mediante la adopción de mecanismos de política concretos, para llevar a la práctica una IA urbana ética. En concreto, Alexandra Vidal D’oleo analiza la gobernanza de la IA de las ciudades de Barcelona, Ámsterdam, Nueva York, San José, Singapur y Dubái.
Esta monografía CIDOB concluye con un capítulo final en el que Marta Galceran-Vercher y Alexandra Vidal D’oleo exponen una clasificación de los mecanismos de política extraídos de los capítulos, los casos prácticos y la revisión bibliográfica. En el análisis se examinan los mecanismos de política más utilizados y se estudia su alineamiento con los distintos principios éticos. Las autoras también identifican tendencias y desafíos comunes que presentan las ciudades a la hora de llevar tales principios éticos a la práctica, y recogen un conjunto de recomendaciones generales para abordarlos.
Referencias bibliográficas
Aurigi, A. y De Cindio, F. «Augmented Urban Spaces: Articulating the Physical and Electronic City». Farnham: Ashgate Publishing, 2008
Cugurullo F. et al. «Artificial Intelligence and the City. Urbanistic perspectives on AI». Londres: Routledge, 2023
Galceran-Vercher, M. y Vidal, A. «Mapeo de la Inteligencia Artificial urbana: primer informe del Atlas de la Inteligencia Urbana del GOUAI». CIDOB Briefings, n.º 56, 2024