Defensa y crítica de la gobernanza algorítmica

Daniel Innerarity, catedrático de Filosofía Política, investigador Ikerbasque, Universidad del País Vasco; titular de la cátedra de Inteligencia Artificial y Democracia, Instituto Europeo de Florencia. dinner@ikerbasque.org. ORCID: https://orcid.org/0000-0003-4307-8468 

El problema de la relación entre gobernanza algorítmica y democracia representa una continuidad y, al mismo tiempo, una ruptura con las clásicas formas de administración burocrática. Para entender su compatibilidad con los valores democráticos, hay que examinar el alcance de las expectativas que suscita, básicamente en cuanto a proporcionar más objetividad a las decisiones políticas y adoptarlas con una mayor consideración de nuestra subjetividad como ciudadanos destinatarios de tales decisiones. Los límites de estas promesas nos obligan a concluir en la inevitabilidad de la decisión humana, de la política en cualquier entorno tecnológico, incluido el configurado por las nuevas formas de gobernanza algorítmica.

De la burocracia a la gobernanza algorítmica

En cuanto una comunidad política alcanza un cierto nivel de complejidad aparece la necesidad de objetivar y automatizar las decisiones colectivas. A partir del momento en el que el número de actores y factores que intervienen sobrepasa las capacidades individuales y centralizadas, las decisiones se vuelven más procedimentales y menos carismáticas. Muchos de los interrogantes que se plantean acerca de la justicia y democraticidad de las decisiones adoptadas mediante sistemas algorítmicos ya surgieron con ocasión de las decisiones burocráticas o mediante el recurso al saber experto. La burocracia nació en buena medida como respuesta a la incapacidad de gestionar la creciente complejidad del mundo en entornos desconocidos, pero también desde la promesa de superar la subjetividad, arbitrariedad e inconsistencia de las decisiones humanas. 

Cuando se plantea una incompatibilidad entre decisiones estandarizadas del tipo que sea y consideraciones humanistas, no hay que olvidar que estos procedimientos se inventaron precisamente para minimizar la intervención humana en la toma de decisiones. Porter (1995) denominó «culto a la impersonalidad» a aquella cultura de la cuantificación en la que se aspira a reducir el elemento humano todo cuanto sea posible: principios formalizables frente a la interpretación subjetiva, estándares unitarios en lugar de caos metodológico y dominio del derecho en vez de poder humano. En este nuevo continente de la objetividad, reinarían una «objetividad mecánica» y una ciencia desinteresada que dejarían fuera todo lo que fuese personal, indiosincrático o perspectivista; ya no se confía en la integridad de los que dicen la verdad o en el prestigio de instituciones ejemplares, sino en procedimientos fuertemente estandarizados (ibídem). La fórmula más radical para expresarlo podría ser esta: «en vez de libertad de la voluntad, las máquinas ofrecerían liberarse de la voluntad» (Daston y Galison, 2010: 49). Esa esperanza hacia los datos y la objetividad aumenta en una cultura política y social caracterizada por la desconfianza, las crisis y la incertidumbre; el recurso a una cierta objetividad beneficia tanto a gobernantes como a gobernados, protege a quienes toman decisiones y genera confianza en quienes son afectados por ellas.

La era digital ha acentuado esta vieja tendencia. Gobernar es ya en gran medida –y lo será aún más– un acto algorítmico; una buena parte de las decisiones de gobierno son adoptadas por sistemas automatizados. Esta manera de gobernar ha sido definida de diversas maneras: «el poder está cada vez más en el algoritmo» (Lash, 2007: 71); «la autoridad se expresa cada vez más mediante algoritmos» (Pasquale, 2015: 1). Este sistema en el que se utilizan algoritmos para recoger, cotejar y organizar los datos a partir de los cuales se toman las decisiones ha sido denominado «algocracy» (Aneesh, 2009; Danaher, 2016), «algorithmic governmentality» (Rouvroy, 2013), «algorithmic management» (Lee et al., 2015), «algorithmic regulation» (Yeung, 2017) o «governance by algorithms» (Just y Latzer, 2017). La era digital añade, ahora, una nueva promesa a la acción político-administrativa: mientras que las burocracias estatales se basan en las estadísticas y la información cuantificada, las nuevas técnicas analíticas ofrecen una mejora de los métodos anteriores; si los análisis de datos tenían un alto coste de tiempo y dinero, los actuales son rápidos y baratos; donde antes había muestras de la sociedad, hoy se dispone de datos de la grupos sociales enteros; anteriormente se necesitaban teorías y, en la actualidad, las cantidades de datos hablan por sí mismas; donde se medía con criterios humanos, ahora disponemos de la objetividad de algoritmos agnósticos.

El recurso a algoritmos y decisiones automatizadas responde a la necesidad de hacer frente a diversas formas de complejidad, como la identificación de las distintas perspectivas e intereses de una sociedad cada vez más plural, o la eficiente provisión de servicios públicos. La gobernanza algorítmica potencia enormemente las capacidades de gestión a través de grandes cantidades de datos y en relación con problemas complejos. De este modo, no solo el mundo parece habérsenos hecho más legible, sino que se han abierto nuevas posibilidades de intervención política, una mayor eficiencia, una más inteligente regulación y una más temprana anticipación de determinados problemas. Se promete así una acción de gobierno que reduciría la complejidad de los fenómenos sociales a una medida aceptable.

El incremento de sistemas de decisión conducidos por algoritmos y datos significa que las máquinas no solo apoyan a los humanos en sus decisiones, sino que, en algunos casos, incluso los sustituyen, ya sea en parte o completamente. La cuestión que todo esto plantea es hasta qué punto y de qué modo la utilización de sistemas de decisión automatizada (ADS, por sus siglas en inglés) es compatible con lo que consideramos un sistema político de toma de decisiones. ¿Qué significa realmente la introducción masiva de procedimientos de decisión automatizada para la acción de gobierno? ¿Es acorde este tipo de gobernanza con la democracia? De la democracia se espera que responda a la expectativa de ser un verdadero autogobierno del pueblo y, al mismo tiempo, que el sistema político resuelva eficazmente los problemas de la sociedad. La integración de este doble objetivo de la sociedad –democracia y eficacia– no parece algo evidente, sino en tensión. ¿Hasta qué punto cumple esta doble promesa la gobernanza algorítmica? ¿Cómo compatibilizar la heterogeneidad de preferencias, valores e intereses con la operatividad del sistema político? Para responder a esta cuestión es necesario distinguir las diversas funciones o momentos de la política y examinar la aptitud de estos procedimientos para realizar esas tareas sin dañar los principios democráticos.

Las expectativas democráticas de la gobernanza algorítmica

Los algoritmos realizan una doble promesa de objetividad y subjetividad, es decir, de neutralidad ideológica y, al mismo tiempo, de respeto absoluto a nuestros deseos. Se trata de dos promesas que tienen unos efectos muy beneficiosos sobre la política democrática, pues permiten una valoración más objetiva de las políticas públicas y un mejor conocimiento de las preferencias sociales; sin embargo, también tienen sus límites e inconvenientes.

La promesa de objetividad

Resulta muy seductora la promesa de la decisión algorítmica: no se trata solo de ahorrar tiempo y dinero, sino de promover la objetividad. Ya en 1976, Joseph Weizenbaum (1976: 108), uno de los pioneros de la investigación en inteligencia artificial (IA), defendía este valor asegurando que una computadora no podía ser seducida por la mera elocuencia. Al minimizar la presencia humana, los algoritmos hacen que las decisiones sean menos vulnerables a nuestros sesgos y sentimientos (Sandvig, 2015; Zarsky, 2016).Los algoritmos suelen percibirse como objetivos y sus evaluaciones como justas, precisas y libres de subjetividad, errores y pretensiones de poder; es más, su «objetividad» es lo que les proporciona legitimación como mediadores de conocimiento relevante; no son solo instrumentos para decidir, sino también estabilizadores de la confianza; aseguran que «las valoraciones son precisas y justas, sin fallos, subjetividad o distorsiones» (Gillespie, 2014: 79; Mager, 2012). 

Si, como afirmaba Lindblom (1965), la esencia de la cultura democrática es el incrementalismo y la comparación, el ensayo y error, los gobiernos cuentan ahora con instrumentos sofisticados para medir la efectividad de sus políticas públicas, asegurar su implementación y valorar sus resultados. En vez de la planificación centralizada, dominada por expertos y burócratas, la tecnología nos permite introducir criterios de valoración más dispersos y competitivos, menos ideologizados. La puesta en marcha de ADS se justifica porque con su ayuda las decisiones no son solo más eficientes, sino también menos partidistas y más justas. Se abre paso así la idea de que los sistemas que deciden sin influencias humanas pueden ser mas neutros y objetivos (Martini y Nink, 2017). Así, los científicos de datos remplazarían a los expertos (Chen et al., 2014: 205). Tendríamos unos instrumentos que parecen satisfacer la esperanza de proporcionar una mayor racionalidad a los procesos de decisión y contrarrestar la subjetividad y los prejuicios ideológicos o de cualquier tipo que suelen motivar muchas de las decisiones humanas. «La calculadora ideal es un ordenador, ampliamente venerado en parte porque es incapaz de subjetividad» (Porter, 1995: 47). De este modo, seríamos capaces de dejar atrás los pronunciamientos ideológicos sin transformaciones efectivas de la realidad social.

Esta pretensión no es del todo nueva, al igual que tampoco lo es su crítica. La idea de autoridad burocrática de Max Weber ya había ensalzado los valores de eficiencia y objetividad, aunque también había advertido de sus límites, así como de que otro tipo de autoridades podían surgir precisamente en virtud del ideal de objetividad. En principio, todas las tendencias patológicas de las clásicas burocracias se aplican también a las decisiones automatizadas (Peeters y Widlak, 2018). Baste con advertir que la gente tiende a aceptar con demasiada facilidad que los procesos automatizados son verdaderos y precisos (Citron, 2007). El hecho de que una decisión sea el resultado de un proceso automatizado parece conferirle una legitimidad que sería el resultado de su neutralidad, debilitando así la exigencia de justificación (Gillespie, 2016: 27). De este modo, podríamos caer en la «falacia de la neutralidad», consistente en pensar que el machine learning proverá un tratamiento más igualitario y objetivo de los individuos (Sandvig, 2015). Desde que se formularon las pretensiones de objetividad –en el entorno burocrático y en la era digital–, no ha dejado de advertirse que tales procedimientos no cumplen con esa promesa, ya que que generan otro tipo de distorsiones y no están exentas de arbitrariedad; los algoritmos, a menudo, reflejan e incluso potencian los prejuicios que están profundamente asentados en una sociedad.

La promesa de subjetividad

El segundo vector de democratización vendría del conocimiento de la voluntad real de la gente a la que un Gobierno democrático debe servir; reforzándose la cadena de legitimación en la medida en que permitiría tomar como punto de partida las decisiones reales de las personas, únicamente a partir de las cuales se puede configurar la voluntad popular. En un mundo lleno de sensores, algoritmos, datos y objetos inteligentes se configura una suerte de sensorium social que permite personalizar los servicios de salud, transporte y energía. Gracias a la ingeniería de los datos, nos estamos moviendo hacia una comprensión cada vez más granular de las interacciones individuales y unos sistemas más capaces de responder a las necesidades individuales. En virtud de la microsegmentación y granularidad, podemos disponer de una sociedad «algorithmically attuned», de manera que los deseos que la ciudadanía expresa de hecho en su comportamiento cotidiano pueden ser conocidos con un altísimo grado de exactitud. De esta forma, a la objetividad de los métodos de gobernanza algorítmica le correspondería una mayor subjetividad en sus destinatarios, quienes verían mejor reconocida, respetada y satisfecha su particularidad.

Los sistemas algorítmicos sirven para categorizar a los individuos y prever sus preferencias a partir de una gran cantidad de datos acerca de ellos. El modelo de negocio de muchas empresas digitales se apoya en el hecho de que conocen a los usuarios mejor incluso que ellos mismos y, en virtud de la previsión de su comportamiento, les ofrecen lo más adecuado en el momento oportuno. De este modo, recibiríamos lo que supuestamente queremos, algo que corrige el hecho de que tantas veces no sepamos propiamente qué es aquello que queremos. Y lo que así se ofrece, no parece que limite o contravenga nuestra autodeterminación. El cómodo paternalismo de las sociedades algorítmicas consiste en que da a las personas lo que estas quieren, gobierna con incentivos proporcionados y se adelanta, invita y sugiere. Trasladar este modelo a la política no tendría mayores problemas si no fuera porque el precio de estas prestaciones suele ser el sacrificio de alguna esfera de libertad personal. Teniendo en cuenta que hay una discrepancia en la autodeterminación que supuestamente exigimos y la que de hecho estamos dispuestos a ejercer cuando hay comodidades y prestaciones de por medio, el resultado es que la satisfacción de necesidades se hace con frecuencia a cambio de espacios de libertad. Estudios empíricos demuestran que los humanos infravaloramos los peligros que los ADS representan para nuestra libertad y derechos personales (Wouters et al., 2019). Aunque es cierto que así se satisfacen muchos de nuestros deseos, ello es a cambio de una cierta renuncia a reflexionar sobre ellos; lo que queremos se sitúa por encima de lo que queremos querer, y la voluntad mínima e implícita del consumidor sustituye a la voluntad política explícita. Detrás de la gobernanza algorítmica hay una concepción de la vida social como si en ella no hubiera fallos ni crisis, de manera que tampoco pudiera ponerse a prueba sus prestaciones ni realizarse cuestionamientos de las normas establecidas.

Las limitaciones democráticas de la gobernanza algorítmica

La idea de Alain Turing del ordenador como una «máquina universal» no significa que esta valga para resolver cualquier problema; es un error creer que las tecnologías digitales pueden encargarse de todos los problemas políticos y sociales. La gobernanza algorítmica es muy adecuada para mejorar ciertos aspectos del proceso político, pero resulta de escasa utilidad para otros; puede corregir deficiencias y sesgos humanos, sirve para identificar determinadas preferencias, para medir los impactos, pero es inadecuada para aquellas dimensiones del proceso político que no son susceptibles de computación y optimización, áreas que no tienen una fácil cuantificación y medida, o sea, para el momento genuinamente democrático en el que se deciden los criterios y objetivos que posteriormente la tecnología puede optimizar. De acuerdo con la taxonomía elaborada por Misuraca y Van Noordt (2020), la IA podría considerarse muy útil para seis tipos de desafíos de gobierno: asignación de recursos, análisis de grandes conjuntos de datos, superación de la carencia de expertos, predicción de escenarios, gestión de tareas procedimentales y repetitivas, así como agregación y resumen de datos diversos (Duberry, 2022).

La razón de que los algoritmos sean políticamente limitados reside en su carácter instrumental. Los algoritmos sirven para conseguir objetivos predeterminados, pero ayudan poco a determinar esos objetivos, tarea propia de la voluntad política, de la reflexión y deliberación democrática. La función de la política es decidir el diseño de las estrategias de optimización algorítmica y mantener siempre la posibilidad de alterarlas, especialmente en entornos cambiantes. En una democracia todo debe estar abierto a momentos de repolitización, es decir, a la posibilidad de cuestionar los objetivos establecidos, las prioridades y los medios. Para esto es para lo que sirve la política y para lo que no sirven los algoritmos. El gobierno algorítmicamente optimizado no tiene capacidad para resolver los conflictos propiamente políticos o la dimensión política de esos conflictos, es decir, cuando están en cuestión los marcos, fines o valores. Como decía Lucy Suchman (2007) en otro contexto, los robots actúan muy bien cuando el mundo ha sido dispuesto (arranged) del modo en que debía ser dispuesto.

Puede ilustrar esta dualidad de fines y medios, de objetivos políticos y estrategias de optimización algorítmica, el sistema de distribución de los alumnos que se puso en marcha para las escuelas de la ciudad de Nueva York y el debate correspondiente acerca de qué valores priorizar en esa distribución (Krüger y Lischka, 2018). El sistema puede priorizar la satisfacción al máximo de las preferencias individuales o una mezcla social equilibrada en las escuelas. Ambos objetivos cuentan con buenas razones a su favor; una opción favorece los deseos individuales y la otra la cohesión social. Pero también es discutible, si se quiere respetar al mismo tiempo los dos valores, qué grado de compromiso o equilibrio entre ellos parece más deseable y realizable. Para decidirlo, hace falta un debate político acerca de valores e implicar principalmente a los afectados, un debate del que no puede exonerarnos un algoritmo. En este y otros casos, no se trata solo de la implementación o la transparencia de los algoritmos utilizados, sino de juicios de valor sobre las posibilidades alternativas y definir los objetivos de la educación, que son diversos y en parte concurrentes, como corresponde a una sociedad pluralista. Los procesos de negociación política tienen prioridad sobre las soluciones técnicas, y estas no pueden sustituir a aquellos. Estamos, por tanto, ante ese tipo de asuntos que denominamos cuestiones políticas. 

En sentido estricto, cuestiones políticas son aquellas que solo se pueden resolver con juicios de valor; las otras son cuestiones técnicas en las que se decide la implementación técnica de los objetivos pretendidos y sobre la base del saber disponible. En ocasiones, también es algo políticamente controvertido qué clase de optimización es la satisfactoria y qué saber consideramos relevante. Podría incluso afirmarse que, si la optimación como principio es algo deseable, la ideología de la optimización (pensar que la implementación eficaz de ciertos objetivos puede hacer innecesaria la discusión política acerca de tales objetivos) puede ser una estrategia de despolitización. Así entendida, la optimización es exactamente lo contrario de la política, que es más bien imaginación, anticipación, trascender el actual estado de hechos (Rouvroy, 2020).

La gobernanza algorítmica se orienta a realizar objetivos que no han sido discutidos y que ella misma no establece ni pone en cuestión. Ahora bien, la política democrática no es un mero procesamiento de información, sino su interpretación en un contexto de pluralismo garantizado; no se trata de cómo realizar mejor ciertos objetivos, sino de cómo decidirlos. La resolución de problemas de carácter administrativo es muy distinta de la política entendida como el conflicto de interpretaciones acerca de la realidad, donde no se trata tanto de optimizar resultados como de establecerlos. A este respecto, podemos advertir que hay una gran diferencia entre cómo aprenden los sistemas algorítmicos y cómo se toman las decisiones democráticas (Hildebrandt, 2016).  Los ADS procesan información para realizar lo mejor posible ciertos objetivos, mientras que la política democrática, en contraste, no trata de optimizar objetivos predefinidos sino sobre todo de averiguar cuáles deberían ser esos objetivos. El aprendizaje de los sistemas algorítmicos no puede remplazar al tipo de aprendizaje que tiene lugar en la política democrática. Lo político empieza allí donde se ha de debatir acerca de qué deben satisfacer los algoritmos, qué valores deben cumplir, a qué concepción de lo justo han de servir. Los sistemas algorítmicos de aprendizaje se diferencian de los procesos políticos democráticos en que estos últimos se caracterizan por una discusión abierta y continua que lleva a renegociar una y otra vez los objetivos y las decisiones, mientras que la gobernanza algorítmica los presupone y trata de alcanzarlos de una manera optimal y agregativa, sin cuestionarlos. Podría formularse esta idea recordando aquella afirmación de John von Neumann (1966: 51): podemos construir un instrumento capaz de hacer todo lo que puede ser hecho, pero no se puede construir un instrumento que nos diga si algo es factible. Dicho de otra manera: la decisión acerca de qué es computerizable no se puede a su vez computerizar.

Es lógico que una tecnología tan poderosa como la IA haya despertado expectativas similares a las que formularon los viejos positivismos, la tecnocracia o el proclamado final de las ideologías. Todos ellos declinaron de diversas maneras aquella seduccion de «un mundo administrado» (Adorno y Horkheimer, 1988), y que ahora puede acogerse bajo el denominador de «la ideología cibernética», impulsada por la creencia de que es posible gobernar la realidad con plena eficacia, exactitud y previsibilidad (Nunes, 2011: 3). Esa manera de concebir la tecnología nos plantea el desafío de pensar hasta qué punto es posible entenderla como políticamente configurable. Antes de debatir acerca de la deseable regulación digital, deberíamos preguntarnos si es posible politizar este nuevo entorno, lo cual nos obliga, frente al neutralismo tecnológico, a identificar y hacer explícitas las valoraciones implícitas que subyacen en cualquier procedimiento de decisión que pretende una objetividad incontestable.

La ideología tecnocrática ha sido formulada de manera enfática, pero también es operativa de un modo más bien banal y de apariencia inofensiva. Me refiero a ese lugar común según el cual no debería importarnos quién gobierna, si es de derechas o de izquierdas, sino que gestione bien, como si esa gestión pudiera valorarse sin recurrir a estimaciones ideológicas. Este tópico resulta plausible solo en la medida en que, efectivamente, derecha e izquierda ya no son lo que eran y como categorías rígidas cada vez explican menos. Pero muchas veces quien lo sostiene no suele estar deseando una política desideologizada sino una política despolitizada.

Como ocurre en la política en general, también cuando hablamos de gobernanza algorítmica la idea de producir mejores decisiones con la ayuda de máquinas requiere que haya previamente un criterio acerca de qué es una buena decisión (König y Wenzelburger, 2021). Los artefactos que se encargan de optimizar las decisiones no hacen innecesaria la discusión acerca de qué es una buena decisión. Es cierto que la IA sirve para informar decisiones y optimizar resultados, pero, aunque algunos economistas hayan intentado cuantificar y medir el bienestar agregado, no hay una noción predefinida e incontestable de qué es un resultado satisfactorio en política. La democracia es un sistema político que parte de la ignorancia acerca de qué pueda ser una buena decisión, que recela de que alguien pretenda saberlo y pone en marcha procedimientos de aprendizaje colectivo para superar esa perplejidad.

Es evidente que el análisis de datos y la gobernanza algorítmica proporcionan a los actores políticos un conocimiento y una capacidad de intervención muy valiosa. Lo que permanece abierto es el modo concreto en el que se lleva a cabo y al servicio de qué valores se pone. Buena parte de la función de la técnica es además multiplicar las alternativas posibles y ponerlas a nuestra disposición. La política está precisamente para decidir cuál de esas alternativas resulta más adecuada a la luz de lo que resulta socialmente preferible. También cuando se trata de algoritmos hay alternativas; no son soluciones funcionales indiscutibles. La gran promesa de la gobernanza algorítmica es que unos resultados óptimos nos hagan olvidar los procedimientos deseables. Es un tipo de gobernanza que parece preferir la efectividad, aunque sea al precio de ser excluidos de la toma de decisiones o reducidos a una presencia mínima, implícita e individual, bajo la forma de requerimientos y preferencias presentes en nuestras huellas digitales. Pero si la ciudadanía no puede supervisar ni controlar de algún modo las decisiones algorítmicas, no podemos llamar a eso autogobierno del pueblo.

Siendo muy importante los resultados del gobierno, lo definitorio de la democracia es más el procedimiento que el resultado. El gobierno democrático no consiste en proporcionar ciertos outputs, sino en garantizar determinados inputs, concretamente aquellos que aseguran la igual libertad de todos los ciudadanos para tomar parte en el proceso de formación de la voluntad política y en los procesos de decisión (Urbinati, 2014). Aunque la gobernanza algorítmica sea muy responsive, presupone una legitimidad input que ella misma no puede proporcionar (König, 2018: 289). A este tipo de gobernanza le falta una autorización colectiva, aunque disponga de una gran cantidad de información sobre las preferencias individuales. La gobernanza algorítmica únicamente puede ser democrática cuando sus objetivos y procedimientos han sido expresamente autorizados por el pueblo en un acto de naturaleza política

En cualquier caso, el trabajo analítico de distinguir los diferentes momentos del proceso de decisión político no debería llevarnos a pensarlos como completamente separados y sin ninguna relación entre sí. Del mismo modo que el momento deliberativo favorece la calidad de los resultados, la medición de los impactos reales permite valorar también la calidad de los procedimientos deliberativos. Que fines y medios sean diferentes no significa que no se condicionen mutuamente de alguna manera. El respeto de la complejidad política nos obliga a pensar de qué modo interactúan los momentos que, precisamente a causa de ese respeto, habíamos tenido que distinguir.

Conclusión: la inevitabilidad de decidir

El gran desafío que nos plantea la era digital es el de resistir a los encantos de la despolitización de nuestras sociedades y superar la inercia de los modos de gobierno tradicionales, no dejarse seducir por el discurso falsamente apolítico o posideológico, pero, al mismo tiempo, evitar insistir en unas prácticas que no se corresponden en absoluto con las nuevas realidades sociales. Estamos ante un intento de concebir la sociedad de un modo despolitizado. Tim O’Reilly (2011), uno de los oráculos de Silicon Valley, inventor de los conceptos de «web 2.0» y «open source», plantea pensar el gobierno como una plataforma, o sea, extender el modelo de las aplicaciones comerciales a la administración de las cosas comunes. En nombre de una lucha contra los déficits democráticos y el exceso de burocracia, propone reducir el papel del Estado al de suministrador de acceso y plataforma, sobre la cual la ciudadanía podría definir por sí misma y con toda libertad sus prioridades políticas. Si en un principio han sido los poderes públicos los que han impulsado el desarrollo tecnológico, ahora el movimiento sería el inverso: se invita a que el Estado se inspire en las plataformas, esto es, a no servir más que de infraestructura supuestamente neutra para las transacciones entre los individuos. En cualquier caso, entre la seducción de un mundo despolitizado y la inercia a mantener nuestras instituciones con la vieja cultura política, hay un amplio espacio para pensar el lugar que debe ocupar la política en estas nuevas realidades.

En este punto, el lugar que ocupe la decisión humana es crucial. He estudiado las razones de la democracia epistémica (Innerarity, 2020) y, estando de acuerdo en que las sociedades contemporáneas necesitan una enorme movilización cognitiva para hacer frente a los problemas que deben resolver, mi conclusión es que el argumento último a favor de la democracia no es epistémico sino decisional. Hay que hacer todo lo posible para que las sociedades tomen las mejores decisiones, pero la legitimidad final no procede de la corrección de sus decisiones, sino del poder de decisión que tiene la ciudadanía con independencia del buen o mal uso que haga de este poder. Una democracia produce mejores decisiones que sus modelos alternativos, pero no debe su legitimidad última a la bondad de sus decisiones, sino a la autorización popular que está detrás de esas decisiones. La inevitabilidad de decidir es la justificación definitiva de que la democracia sea una forma de gobierno donde los legos tienen la última palabra sobre los expertos. No parece que haya hoy por hoy un dispositivo tecnológico que nos libere completamente de esta necesidad de decidir.

Los procedimientos de la IA no pueden exonerarnos de esa decisión. Hay política allí donde, pese a toda la sofisticación de los cálculos, nos vemos finalmente obligados a tomar una decisión que no está precedida por razones abrumadoras ni conducida por unas tecnologías infalibles. Todos los procesos de tecnificación tienden a modelizar o automatizar de manera que el «factor humano» sea menos relevante. Los humanos no hemos dejado de soñar en «la perfecta tecnología de la justicia» (Lessing, 1999), pero tampoco hemos dejado de experimentar el peso de que sean nuestras decisiones las que carguen con la última responsabilidad de hacer que la sociedad sea justa. Un mundo humano tiene que ser un mundo negociable. 

Referencias bibliográficas

Adorno, Theodor W. y Horkheimer, Max. Dialektik der Aufklärung, Berlin: Fischer, 1988.

Aneesh, Aneesh. «Global Labor: Algocratic Modes of Organization». Sociological Theory, vol. 27, n.º 4 (2009), p. 347-370.

Chen, Min; Mao, Shiwen y Liu, Yunhao. «Big Data. A Survey». Mobile Networks and Applications, vol. 19, (2014), p. 171-209.

Citron, Danielle Keats. «Technological Due Process». Washington University Law Review, vol. 85, n.º 6 (2007), p. 1.249-1.313.

Danaher, John. «The threat of algocracy: Reality, resistance and accommodation». Philosophy & Technology, vol. 29, (2016), 245-268.

Daston, Lorraine y Galison, Peter. Objectivity. Nueva Jersey: Princeton University Press, 2010.

Duberry, Jérôme. Artificial Intelligence and Democracy. Risks and Promises of AI-Mediated Citizen–Government. Cheltenham: Elgar, 2022.

Gillespie, Tarleton. «The Relevance of Algorithms», en: Gillespie, Tarleton; Boczkowski, Pablo J. y Foot, Kirsten A. (eds.) Media Technologies: Essays on Communication, Materiality, and Society. Cambridge, MA.: The MIT Press, 2014, p. 167-193.

Gillespie, Tarleton. «Algorithm», en: Peters, Benjamin (ed.) Digital Keywords: A Vocabulary of Information Society and Culture. Nueva Jersey: Princeton University Press, 2016, p. 18-30.

Hildebrandt, Mireille. «Law as Information in the Era of Data-Driven Agency: Law as Information». The Modern Law Review, vol. 79 , n.º 1 (2016), p. 1-30.

Innerarity, Daniel.Una teoría de la democracia compleja. Gobernar en el siglo XXI, Galaxia-Gutenberg: Barcelona, 2020.

Just, Natascha y Latzer, Michael. «Governance by Algorithms: Reality Construction by Algorithmic Selection on the Internet». Media, Culture & Society, vol. 39, n.º 2 (2017), p. 238-258.

König, Pascal. «Algorithmen und die Verwaltung sozialer Komplexität. Zur Neukonfigurierung der Idee der Selbstregierung des Volkes». Zeitschrift für Politikwissenschaft, vol. 28, (2018), p. 289-312.

König, Pascal y Wenzelburger, Georg. «Between technochauvinism and human-centrism: Can algorithms improve decision-making in democratic politics?». European Political Science, vol. 21, (2021), p. 132-149.

Krüger, Julia y Lischka, Konrad. «Was zu tun ist, damit Maschinen den Menschen dienen», en: Mohabbat Kar, Resa; Thapa, Basanta y Parycek, Peter (eds.) (Un)berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft. Berlin: Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS, 2018, p. 440-470.

Lash, Scott. «Power after hegemony». Theory, Culture & Society, vol. 24, n.º 3 (2007), p. 55-78.

Lee, Min Kyung; Kusbit, Daniel; Metsky, Evan y Dabbish, Laura. «Working with Machines: The Impact of Algorithmic and Data-Driven Management on Human Workers», en: Begole, Bo y Kim, Jinwoo (eds.) Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. Nueva York: ACM, 2015, p. 1.603-1.612.

Lessing, Lawrence. Code and other Laws of Cyberspace. Nueva York: Basic Books, 1999.

Lindblom, Charles. The Intelligence of Democracy: Decision Making Through Mutual Adjustment. Nueva York: The Free Press, 1965.

Mager, Astrid. «Algorithmic Ideology: How Capitalist Society Shapes Search Engines». Information, Communication & Society, vol. 15, n.º 5 (2012), p. 769-787.

Martini, Mario y Nink, David. «Wenn Maschinen entscheiden». Neue Zeitschrift für Verwaltungsrecht, n.º 10 (2017), 1-14.

Misuraca, Gianluca y Van Noordt, Colin. «AI Watch – artificial intelligence in public services: Overview of the use and impact of AI in public services in the EU». Publications Office of the European Union, JRC Working Papers (JRC120399) (2 de julio de 2020) (en línea) https://publications.jrc.ec.europa.eu/repository/handle/JRC120399

Neumann, John von. Theory of Self-Reproducing Automata. Urbana: University of Illinois Press, 1966.

Nunes, Mark. Error: Glitch, Noise, and Jam in New Media Culture. Nueva York: Continuum, 2011.

O’Reilly, Tim. «Government as a Platform». Innovations: Technology, Governance, Globalization, vol. 6, n.º 1 (2011), p. 13-40.

Pasquale, Frank. The Black Box Society: The Secret Algorithms that Control Money and Information. Cambridge, MA: Harvard University Press, 2015.

Peeters, Rik y Widlak, Arjan. «The digital cage: Administrative exclusion through information architecture – The case of the Dutch civil registry’s master data management». Government Information Quarterly, vol. 35, n.º 2 (2018), 175-183.

Porter, Theodore. Trust in numbers: The pursuit of objectivity in science and public life. Nueva Jersey: Princeton University Press, 1995.

Rouvroy, Antoinette. «The end(s) of critique: data-behaviourism vs. due process», en: Hildebrandt, Mireille y de Vries, Katja (eds.) Privacy, Due Process and the Computational Turn. Philosophers of Law Meet Philosophers of Technology. Nueva York: Routledge, 2013, p. 143-167.

Rouvroy, Antoinette. «Algorithmic Governmentality and the Death of Politics». Society, Media and Culture, (20 de marzo de 2020) (en línea) https://www.greeneuropeanjournal.eu/algorithmic-governmentality-and-the-death-of-politics/

Sandvig, Christian. «Seeing the sort: The aesthetic and industrial defense of ‘the algorithm’». Journal of the New Media Caucus, vol. 10, n.º 3 (2015), p. 1-21.

Suchman, Lucy. Human-Machine Reconfigurations: Plans and Situated Actions. Cambridge: Cambridge University Press, 2007.

Urbinati, Nadia. Democracy disfigured: opinion, truth, and the people. Cambridge, MA.: Harvard University Press, 2014.

Weizenbaum, Joseph. Computer Power and Human Reason. San Francisco: Freeman, 1976.

Wouters, Niels; Kelly, Ryan; Velloso, Eduardo; Wolf, Katrin; Shahid Ferdous, Hasan; Newn, Joshua; Joukhadar, Zaher y Vetere, Frank. «Biometric Mirror: Exploring Values and Attitudes towards Facial Analysis and Automated Decision-Making». Association for Computing Machinery, Proceedings of the 2019 Designing Interactive Systems Conference, Nueva York, (23-28 de junio de 2019), p. 447-461.

Yeung, Karen. «Algorithmic Regulation: A Critical Interrogation». Regulation & Governance, vol. 12, n.º 6 (2017), p. 1-19.

Zarsky, Tal. «The trouble with algorithmic decisions: An analytic road map to examine effciency and fairness in automated and opaque decision making». Science, Technology and Human Values, vol. 41, n.º 1 (2016), p. 118-132. 

Palabras clave: democracia, gobernanza algorítmica, inteligencia artificial (IA), (IA), decisión política, burocracia 

Cómo citar este artículo: Innerarity, Daniel. «Defensa y crítica de la gobernanza algorítmica». Revista CIDOB d’Afers Internacionals, n.º 138 (diciembre de 2024), p.11-25. DOI: doi.org/10.24241/rcai.2024.138.3.11

Revista CIDOB d’Afers Internacionals, nº 138, p.11-25
Cuatrimestral (septiembre-diciembre 2024)
ISSN:1133-6595 | E-ISSN:2013-035X
DOI: https://doi.org/10.24241/rcai.2024.138.3.11