Reseña de libros | Datificación, gobernanza y poder algorítmico: impensar las IA desde América Latina
Danesi, Cecilia. El imperio de los algoritmos: IA inclusiva, ética y al servicio de la humanidad. Editorial Galerna, 2022, 278 págs.
En El imperio de los algoritmos: IA inclusiva, ética y al servicio de la humanidad, Cecilia Danesi nos guía por un análisis amplio y accesible del papel de las inteligencias artificiales (IA), los algoritmos y la datificación en la configuración de las sociedades actuales. Con un estilo amigable y divulgativo, la autora explora con afán propedéutico los conceptos esenciales que ayudan a introducir a un público no especializado los debates actuales en torno los (mal)usos de la automatización en múltiples campos, como la salud, la justicia, y las políticas públicas. Al mismo tiempo, trazando una genealogía desde su origen, hasta su evolución, aplicaciones y consecuencias, este libro ofrece una perspectiva interdisciplinaria que trasciende las disciplinas del derecho y la computación, introduciendo debates éticos y sociales que rodean al actual desarrollo de sistemas de aprendizaje automático.
La obra está estructurada en capítulos temáticos, cada uno centrado en aspectos críticos de la datificación y su influencia en la actualidad. Así, el primer capítulo establece una base conceptual al explicar qué son los algoritmos, y otros desarrollos afines como el machine learning y el deep learning. En el segundo se desmitifican algunos conceptos comunes sobre los algoritmos y se describen las diferencias entre lo que llama las IA «visibles» (como las armas autónomas) y las IA «invisibles» (sistemas de decisión automática en plataformas). En este apartado, Danesi introduce problemáticas como la «autonomía paternalista» y el determinismo tecnológico, explorando cómo la automatización puede impactar en las vidas de las personas. Su enfoque en derechos humanos se enriquece con su amplio conocimiento en el campo de la regulación y las referencias a convenciones internacionales.
De manera posterior, el análisis pasa a identificar los impactos medioambientales de las IA, especialmente en el consumo energético y de recursos que implica el entrenamiento de modelos de aprendizaje automático (machine learning). No obstante, la autora está lejos de plantear una lectura apocalíptica o tecnopesimista, ya que a lo largo de todo el libro plantea constantemente la necesidad de poner en la palestra el discurso optimista de la innovación frente a los dilemas éticos y perniciosos de los sistemas algorítmicos. Por eso habla de los enfoques de «algoritmos verdes» y del movimiento de IA «green by design», resaltando la importancia de la sostenibilidad en el desarrollo de nuevas tecnologías, sin dejar de lado las contradicciones inherentes a la industria tecnológica.
El cuarto capítulo aborda los sesgos algorítmicos y sus tipos, usando una clasificación intuitiva que denomina «Fórmula P.E.A.» (Programador, Entrenamiento, Aprendizaje). Esta propuesta didáctica, aunada al énfasis que la autora hace en torno a la necesidad de desarrollar algoritmos explicables y la transparencia en las aplicaciones de IA que influyen en la vida pública, constituyen los puntos destacados del libro. Asimismo, en su afán en aterrizar la presentación de las discusiones, ofrece ejemplos de casos implementados en las administraciones de varios países de América Latina y otras partes del mundo.
Entrando en el tema de las redes sociales, la autora también repasa algunos hitos conocidos como los experimentos electorales realizados por Facebook en la década anterior, como el caso Cambridge Analytica o el papel político de Twitter en campañas electorales. Su análisis expone cómo el poder de las plataformas privadas afecta el discurso público y algunos derechos como la libertad de expresión o la no discriminación. En este sentido, Danesi es clara en afirmar que no todo puede automatizarse, especialmente cuando esto afecta derechos fundamentales, resaltando la necesidad actual del desarrollo cada vez más estandarizado de auditorías algorítmicas y la naturalización de los enfoques éticos en varias etapas del desarrollo de sistemas de IA.
El sexto capítulo examina la relación entre las IA y la vigilancia, discutiendo tecnologías desde el reconocimiento facial hasta los modelos de créditos sociales. Aquí también la autora ofrece un análisis crítico del uso de estas tecnologías en América Latina, donde la falta de transparencia, el poder de las compañías Big Tech y la falta de regulación agravan los problemas de privacidad y derechos en la región.
Finalmente, la obra cierra con una nota optimista: existen alternativas para mitigar los sesgos algorítmicos y promover una mayor diversidad en el diseño de las IA, el control humano, y la implementación de leyes específicas. Su enfoque humanista apunta a una fórmula que podríamos resumir como: Control humano + derecho de información = derecho a decisiones informadas. Como adenda, el apéndice del libro ofrece una excelente introducción al estado de la regulación de las IA en el ámbito iberoamericano, convirtiéndose en un recurso útil para quienes desean profundizar de forma comparada en la legislación, o bien, en los debates y enfoques regulatorios que se discuten actualmente en la región.
Con todo, la autora deja sendas abiertas para seguir profundizando sobre las temáticas planteadas. Por ejemplo, sobre cómo las personas, especialmente en contextos latinoamericanos, resisten y resignifican estas tecnologías. Esto va en línea con investigaciones empíricas actuales en ciencias sociales que indagan en prácticas particulares como las «resistencias algorítmicas» (véanse los trabajos recientes de Emiliano Treré y Tiziano Bonini), o las «domesticación mutua» entre usuarios de plataformas y algoritmos (véanse los trabajos de Ignacio Siles y Edgar Gómez-Cruz).
Asimismo, se anima a profundizar en el papel de los estados latinoamericanos como intermediarios entre las grandes corporaciones tecnológicas y los ciudadanos. Esta es una línea que autores como Paola Ricaurte, Ignacio Siles y Edgar Gómez-Cruz han problematizado desde el concepto de «gubernamentalidad algorítmica», proponiendo estudiar la manera en que los imaginarios sociotécnicos, el ethos de Silicon Valley y las dinámicas neocoloniales y de dependencia tecnológica impactan en la implementación de sistemas de IA en la región. Esta es una preocupación relevante en torno a los debates recientes sobre el «Estado exponencial» en América Latina (véanse los trabajos de Óscar Oszlak): ¿cómo los gobiernos, en su afán de modernización, también pueden contribuir a la expansión del poder algorítmico y la vigilancia ejercidos por las corporaciones tecnológicas, incluso a expensas de los derechos de su ciudadanía? En este sentido, el libro de divulgación de Cecilia Danesi cumple su función al realizar una invitación urgente a cuestionar quién tiene el control, cómo se ejerce ese poder y las formar de mitigar su alcance.
Estos apuntes ayudan a conformar una agenda latinoamericana de investigación crítica, en dónde la tarea de «impensar las inteligencias artificiales» conlleva sopesar miradas alternativas, novedosas e interdisciplinarias en torno a la apropiación tecnológica, al tiempo que incentiva la investigación empírica regional en torno a los beneficios, daños, aportes o limitaciones de la expansión de la automatización sobre los bienes públicos y los derechos humanos.
Revista CIDOB d’Afers Internacionals, nº 138
Cuatrimestral (octubre-diciembre 2024)
ISSN:1133-6595 | E-ISSN:2013-035X