El algoritmo paternalista: "Se está generando una narrativa de que lo mejor es que la IA tome las decisiones"

Primero fueron los algoritmos que recomendaban series o películas. Luego, los que proponían a la pareja sentimental más adecuada. Después llegaron las inteligencias artificiales que filtran currículums o deciden automáticamente si una persona puede recibir un préstamo o no. Poco a poco estos sistemas han ido introduciéndose en la vida diaria de las personas, llegando incluso a impactar en la protección policial que recibe una víctima de violencia de género o si un preso es apto para la libertad condicional. Pero, ¿quién controla a estas entidades matemáticas? ¿Cómo afectan a nuestras decisiones?

Ujué Agudo y Karlos G. Liberal exploran estas preguntas en El Algoritmo Paternalista. Cuando mande la inteligencia artificial (Editorial Katakrak). Expertos en sesgos (tanto los de las personas como los que pueden afectar a las máquinas), los investigadores analizan cómo la IA está pasando a ejercer de correa de transmisión del paternalismo libertario, la teoría que defiende que es legítimo influir en el comportamiento de las personas para que tomen mejores decisiones, siempre y cuando se les permita la libertad de rechazar esa influencia. En esta entrevista, describen cómo esta creciente automatización ha comenzado con los sectores más vulnerables de la población y avanza sin apenas debate.

¿Qué es el algoritmo paternalista?

Karlos G. Liberal: Un algoritmo es un sistema ordenado de entrada y salida que puede servir para múltiples propósitos y sistematizar procesos. Se convierte en paternalista cuando interviene en la toma de decisiones o el comportamiento de una persona.

Ujué Agudo: Nuestro enfoque se centra en ese punto paternalista. Nos cuentan que ese algoritmo va a tomar la decisión por nosotros, por nuestro propio bien. Va en la misma línea del paternalismo libertario. No está decidiendo por ti completamente, pero asume qué es lo mejor que podrías hacer.

El algoritmo paternalista no está decidiendo por ti completamente, pero asume qué es lo mejor que podrías hacer

Ujué Agudo

¿La teoría del paternalismo libertario se basa en guiar la decisión hacia un fin que le beneficia?

UA: Ese es su planteamiento fundamental. A Thaler y Sunstein [autores de la teoría en el libro Un pequeño empujón] les han criticado que “paternalismo libertario” podría ser un oxímoron, porque el paternalismo implica intervenir en tu decisión y eso hace que no sea totalmente libre. Ellos argumentan que es por nuestro propio bien. La base, que luego nosotros defendemos que se utiliza también en el mundo de la tecnología, es que las personas no tomamos bien las decisiones y por tanto es mejor que se tomen por nosotros, aunque seamos libres de rechazar esa propuesta o ese “empujón”.

KGL: Parten de una premisa que a mí personalmente me ha costado asumir, que siempre hay una arquitectura de la decisión. No hay proceso, especialmente político, que no parta de una arquitectura de decisión. Desde una perspectiva más anglosajona, entienden que están desafiando la visión liberal clásica al introducir el paternalismo. Escribiendo el libro he pasado de estar muy en contra a entender que, al haber siempre una arquitectura de la decisión, en algunos casos crear un modelo de paternalismo libertario permite al menos esa libertad de la que hablan Sunstein y Thaler. Creo que existe una ambigüedad. Aunque hay una ideología detrás de la guía de la decisión, siempre hay que tomar decisiones. Que la adopte el Estado o el individuo no te va a eximir de la toma de decisión. Ellos plantean un modelo que por lo menos sirva para el bien, dando la opción de decidir que no tomas esa decisión o te vas a dejar guiar.

¿La gente suele ser consciente cuando se le somete a este tipo de trucos o se le influye para que entren en juego sus sesgos?

UA: No, porque es muy difícil detectar el sesgo en uno mismo. Existe un metasesgo que se llama el prejuicio del punto ciego, por el cual somos capaces de ver el sesgo en los demás pero no los propios. Nos damos cuenta de la presencia de sesgos cuando alguien toma decisiones impulsado por la urgencia o influido por sus prejuicios, pero es muy difícil verlo en uno mismo. Por eso nos cuesta tanto darnos cuenta de que nos están influenciando utilizando mecanismos psicológicos.

KGL: Además, hay una conversación continua alrededor de los sesgos. La expresión “tienes muchos sesgos” o “eso está sesgado” es común, pero con el metasesgo te das cuenta de que no puedes modificar tan fácilmente tus propios sesgos. Tiene que haber una arquitectura específica de la decisión para que ciertos sesgos no salgan a la palestra.

No es tan fácil eliminar un sesgo porque se basa en un mecanismo que es muy útil

Ujué Agudo

UA: Una vez, dando una charla sobre este tema, alguien nos decía que estaba convencido de que formándose en esto podría eliminar los sesgos. Pero los sesgos no son tan sencillos de eliminar porque se basan en automatismos que tenemos a la hora de tomar decisiones, atajos que nos permiten funcionar en nuestro día a día. Nos han ayudado mucho evolutivamente. No es tan fácil eliminar un sesgo porque se basa en un mecanismo muy útil.

¿Quizás más que eliminar tus sesgos, es más útil ser más consciente de ellos?

UA: Exacto. Eliminarlos es casi imposible, pero si la arquitectura de decisión que planteas te ayuda a darte cuenta de que en ese momento puede que tomes una decisión sesgada, al menos esta podría ser más libre porque serías más consciente.

Es precisamente en este punto, con las ciencias del comportamiento en auge, cuando surgen estos nuevos algoritmos que se convierten en la máquina definitiva para guiar nuestras decisiones.

KGL: Sí, en el libro incluso hacemos distintas categorías. Pueden ser desde automatizaciones aparentemente triviales, como elegir una película, hasta otras no tanto como elegir pareja, llegando a cuestiones de calado social. En esas distintas ontologías también analizamos qué nivel de automatización tiene: si está filtrado, si es automático, si está supervisado. Conforme avanzamos (y ya no te digo con lo que nos va a llegar con todos los sistemas basados en inteligencia artificial), más elementos y aspectos de nuestras vidas van a formar parte de ese entramado de toma de decisión a través de algoritmos paternalistas.

Conforme avanzamos, más elementos y aspectos de nuestras vidas van a formar parte de ese entramado de toma de decisión a través de algoritmos paternalistas.

Karlos G. Liberal

UA: En el libro tratamos de mostrar que cada vez hay más automatización y por tanto más delegación de decisión. El summum del algoritmo paternalista es que ya ni siquiera te lleve hacia donde tienes que decidir, sino que directamente tome la decisión por ti. Lo que estamos viendo es que además se está generando la narrativa de que es lo más adecuado porque los humanos no somos buenos decidiendo y estamos poniendo algoritmos para decisiones de calado cada vez mayor, asumiendo que lo hacen bien.

¿Podrían explicar los ámbitos en los que estos algoritmos ya están tomando decisiones de calado social?

UA: Siempre ponemos los ejemplos de algoritmos usados en España porque es lo que vemos como más cercano. Por un lado, está el bono social de electricidad, que funciona a partir de un algoritmo que decide quién puede acogerse a él. Civio [una organización sin ánimo de lucro que promueve la transparencia, el acceso a la información y el periodismo de datos] ha pedido al Gobierno que abran el código del algoritmo porque ha habido denuncias de que a gente con derecho al bono no se le ha concedido.

Luego tenemos otros algoritmos como Riscanvi o VioGén que están prediciendo comportamientos futuros de personas. Riscanvi predice el riesgo de que un preso en las cárceles de Catalunya vuelva a reincidir. VioGén, la probabilidad de que una mujer que ha sufrido violencia de género vuelva a sufrirla. Son cuestiones de calado porque influyen en si alguien se queda en la cárcel, sus condiciones de libertad condicional o si una mujer necesita protección policial.

No decimos que no pueda ser interesante meter algoritmos en estos procesos. Lo que denunciamos es que ni siquiera lo hemos discutido como sociedad. Estos algoritmos ya están impuestos y llevan mucho tiempo funcionando.

KGL: En todas las charlas decimos que vamos a hacernos una camiseta que diga “nadie puede superar una predicción”. Es muy fuerte: nadie puede demostrar que una predicción del algoritmo era falsa hasta que sucede.

Cada vez que descubrimos un algoritmo que se está implementando en temas sociales, afecta a un sector desfavorecido. Es como si se estuviera utilizando como campo de pruebas

Ujué Agudo

UA: Una cosa que nos cabrea especialmente es que cada vez que descubrimos un algoritmo que se está implementando en temas sociales, afecta a un sector desfavorecido. Es como si se estuviera utilizando como campo de pruebas, sobre algo a lo que no se le va a prestar demasiada atención. Ya ha pasado en Estados Unidos: me gusta mucho un libro de Virginia Eubanks, La automatización de la desigualdad, que pone muchos ejemplos. Igual no nos hemos rebelado ante ello porque no afecta a una gran parte de la población.

En el libro mencionan que, curiosamente, los algoritmos ofrecen una sensación de libertad, y las personas suelen preferir su influencia a la de una persona.

UA: Aunque de momento es más una teoría que una constatación experimental, es una pregunta que me gustaría explorar. Se puede comparar con un truco de magia: sabes que el mago te va a engañar, que tu elección no es completamente libre, pero aun así sientes que estás eligiendo. Con los sistemas automatizados ocurre algo similar. Aunque no estén completamente automatizados y haya intervención humana, tienes la sensación de elegir porque formas parte de la decisión: validas, supervisas o seleccionas de un menú limitado. Esa acción genera una sensación de libertad, ya que la decisión final parece tuya.

El problema surge al no considerar el contexto en el que tomamos esas decisiones. Por ejemplo, si elijo un candidato en Tinder o una película en Netflix, lo hago entre opciones limitadas por el algoritmo. Aunque la elección parece libre, no lo es sobre el conjunto completo de posibilidades, sino solo dentro de lo que me han ofrecido. Esto nos lleva a cuestionar cuán libre es realmente esa decisión.

Con los algoritmos, a menudo parece que tratamos las decisiones como si estuvieran en un plano distinto, asumiendo que son más neutrales u objetivas. Pero, en realidad, no son tan diferentes de cómo nuestras decisiones han estado condicionadas en el pasado

Ujué Agudo

El debate sobre si somos realmente libres al decidir no es nuevo; lleva décadas planteándose. La cuestión no es solo si nuestras decisiones son libres, sino el hecho de que no siempre seamos conscientes de las limitaciones que influyen en ellas. Lo que me inquieta es que nos sintamos completamente libres sin reconocer dónde están esas restricciones. Con los algoritmos, a menudo parece que tratamos las decisiones como si estuvieran en un plano distinto, asumiendo que son más neutrales u objetivas. Pero, en realidad, no son tan diferentes de cómo nuestras decisiones han estado condicionadas en el pasado. Los algoritmos, como cualquier otra herramienta, tienen sus límites, igual que los condicionantes que siempre han existido en nuestra vida diaria.

¿Creen que estamos peor que antes? ¿Que la sociedad algorítmica ha reducido nuestra capacidad de decisión?

KGL: En nuestras charlas intentamos evitar visiones extremas, como las dicotomías de “Apocalipsis o Solucionismo”. Tras años investigando el tema, lo que tenemos claro es que vivimos en un sistema cada vez más complejo, con menos capacidad para entenderlo por completo.

En el contexto actual, marcado por los estertores del neoliberalismo, este proceso acelerado está empeorando el mundo en muchos aspectos, como el aumento de conflictos bélicos. La tecnología juega un papel clave en este escenario, y las conexiones entre el capitalismo financiero, bélico y tecnológico no son casuales. Aunque esta es más mi opinión personal que un punto del libro, creo que estos factores están profundamente relacionados.

La tecnología juega un papel clave en este escenario, y las conexiones entre el capitalismo financiero, bélico y tecnológico no son casuales

Karlos G. Liberal

UA: Siempre hay que recalcar que no nos gusta ponernos en los extremos. No estamos en contra de la tecnología ni proponemos volver a un mundo analógico. Pero lo cierto es que, a diferencia de influencias tradicionales como la publicidad o la propaganda, la tecnología actual puede escalar sus efectos de forma masiva. Si un algoritmo sesgado afecta decisiones importantes, como la protección de una mujer víctima de violencia o el acceso a un bono eléctrico, su impacto puede extenderse a nivel estatal o incluso global, amplificando los efectos negativos mucho más que en el pasado. Es algo de lo que debemos ser conscientes.

Libros como el suyo están ayudando a impulsar conversaciones sobre el impacto de los algoritmos y ahora son comunes los debates sobre la ética de la inteligencia artificial, por ejemplo. ¿Creen que la sociedad empieza a ser consciente de todo esto?

KGL: Sí, el debate sobre la ética en tecnología se está dando, pero a menudo se queda superficial, resolviéndose con notas al pie sin consecuencias reales. Aunque se discuten temas como neutralidad y sesgos, se esquiva la verdadera pregunta: ¿qué tecnología queremos y para qué? Es necesario ir más allá de la ética y abordar cuestiones políticas y sociales, tomando decisiones conscientes sobre los impactos de tecnologías como el reconocimiento facial.

UA: Estoy de acuerdo en que es cada vez más aceptado que los algoritmos pueden tener sesgos y no ser neutrales debido a los intereses tras ellos. Sin embargo, conceptos como transparencia y explicabilidad generan dudas. En algoritmos complejos, como los basados en redes neuronales, no puede haber una transparencia real y la explicabilidad resulta limitada. Incluso algoritmos simples y supuestamente explicables están siendo cuestionados en los tribunales, lo que evidencia lo complejo que es realmente entenderlos y evaluarlos.

¿Por qué no puede haber una transparencia real en ese tipo de algoritmos?

KGL: Simplificando mucho, cuando hablamos de los grandes modelos de lenguaje actuales, por ejemplo el último de Meta, son modelos de 8 billones de parámetros. Cuando introduces una frase, la despiezan en tokens y la procesan a través de billones de conexiones. Estamos hablando de una escala que no podemos entender desde nuestra capacidad humana. El resultado será correcto o no, pero abrir y mirar dentro de esa red neuronal, con todos esos millones de parámetros, y descubrir cómo ha tomado exactamente la decisión, es matemáticamente imposible. Es el conjunto lo que te da el resultado.

Estamos en un momento en el que todavía se puede levantar la mano, pausar el tema y discutir sobre ello antes de que haya más decisiones automatizadas

Ujué Agudo

Para terminar, ¿qué recomendarían a la gente que quiera tomar acción sobre este tema?

UA: Entendemos que en el día a día una persona no nota o siente que esto condicione su vida, y por tanto es algo que siempre se va a quedar relegado, salvo para ese sector vulnerable al que ya le está afectando directamente. El motivo de escribir el libro era precisamente hacer consciente a más gente de que esto está ahí. Estamos en un momento en que todavía se puede levantar la mano, pausar el tema y discutir sobre ello antes de que haya más decisiones automatizadas.

KGL: Una constante que hemos visto es que estos conceptos algorítmicos siempre tienen un punto de mira hacia el individuo, aunque luego tengan una potencia social. Una llamada a la acción sería imaginar qué tecnología queremos que no fuera individualista. Decisiones como elegir un seguro están pensadas para que las tome una persona, pero si las tuviéramos que tomar en conjunto, cambiaría bastante el tema. El antídoto podría ser que la pregunta no fuera “¿qué hago yo?” sino “¿qué hacemos con esto?”.