El riesgo de las herramientas algorítmicas de la Policía para predecir riesgos: "Favorece una legitimación del statu quo"
Un grupo multidisciplinar de investigadores de la Universitat de València y de la Universitat Politècnica de València ha evaluado tres herramientas algorítmicas empleadas por la administración española para realizar análisis predictivos en los ámbitos policial y penitenciario desde la perspectiva del respeto a los derechos fundamentales de los ciudadanos. Se trata de VeriPol, usada por la Policía Nacional con inteligencia artificial para detectar posibles denuncias falsas de robo; VioGén, utilizada para estimar los niveles de riesgo para las víctimas de violencia de género de cara a establecer niveles de protección policial, y RisCanvi, una herramienta de la administración autonómica catalana para la gestión de sus prisiones que estima tanto el riesgo de reincidencia como el de otras conductas peligrosas por parte de la población reclusa.
El estudio, en el que han participado los especialistas en Derecho, Matemáticas y Estadística Adrián Palma Ortigosa, Alba Soriano Arnanz, Andrea García Ortiz y Andrés Boix Palop, Francisco Montes, Álvaro Briz y Alfred Peris, alerta de los riesgos que el uso de estas tres herramientas podría generar para los derechos fundamentales de los ciudadanos, así como de posibles discriminaciones que podrían derivarse para colectivos vulnerables.
Lucía Martínez Garay, profesora titular del departamento de Derecho Penal de la Universitat de València que ha dirigido y coordinado el estudio, detalla en esta entrevista con elDiario.es los riesgos de la falta de transparencia de las tres herramientas analizadas con una perspectiva que combina métodos cuantitativos y cualitativos. “Estas herramientas tienden a presentar el problema de la delincuencia sólo como un problema de individuos delincuentes, cuya mayor o menor propensión a delinquir se puede medir para poder anticiparse al nuevo crimen y evitarlo, cosa que puede estar bien y tener un ámbito legítimo de relevancia, pero eso difumina y aleja el foco de toda la problemática estructural que también hay detrás de la delincuencia”, afirma.
¿Cree que una suerte de ‘coartada’ técnica o tecnológica puede esconder decisiones de naturaleza política?
Sí, puede ocurrir. Por ejemplo, en la literatura especializada se ha denunciado que las herramientas de estimación de riesgo perpetúan discriminaciones raciales o étnicas porque trabajan con datos (número de detenciones o de condenas previas o tiempo pasado en prisión) que a su vez incorporan sesgos, tales como la tendencia de la Policía a detener con más frecuencia o de los jueces a imponer penas más severas a miembros de minorías. El ejemplo más claro es la minoría afroamericana en Estados Unidos. Cuando para estos perfiles las herramientas de valoración del riesgo dan un nivel de riesgo más alto, hay tendencia a interpretarlo como un dato objetivo, resultado de un cálculo matemático aséptico y construido sobre evidencia empírica, cuando en realidad esa evidencia y esos datos objetivos pueden ser el resultado de décadas de discriminación sistémica. Discriminación que, a su vez, los algoritmos pueden contribuir a agravar, si hacen que a causa del riesgo alto estas personas sigan recibiendo un trato más duro (pena más severa, prisión provisional, no libertad condicional, etcétera), que a su vez funcionará como factor de riesgo en las siguientes evaluaciones…
Los algoritmos pueden contribuir a agravar la discriminación
¿Estas herramientas castigan a la población más pobre?
Muchos de los ítems con los que funcionan estas herramientas tienen que ver con situaciones socioeconómicas complicadas. Situaciones familiares difíciles unidas a entornos sociales con pocas oportunidades o muy violentos pueden ser, obviamente, factores que favorezcan la delincuencia (o la detención policial). Pero una cosa es que el individuo sea más agresivo o peligroso y otra que el entorno en que se ha movido le haya puesto las cosas difíciles. Ambas cosas son difíciles de deslindar, pero las herramientas estiman el riesgo sólo para los individuos. Dicen, por ejemplo: “Fulanito tiene un riesgo alto”, o incluso: “Fulanito tiene un riesgo alto que deriva de su adicción a las drogas, bajo nivel educativo y económico, escaso apoyo familiar y trastorno mental”. Pero no dicen: “La falta de suficientes recursos para atender a los niños con TDAH en el colegio equis debido a recortes en el gasto público, unido a que la Conselleria de turno no ofrecía recursos habitacionales para familias en situación de exclusión social, hicieron que Fulanito pasara la adolescencia sin la supervisión ni el apoyo que necesitaba, porque el padre estaba en prisión y la madre trabajaba todo el día para pagar el alquiler de una mísera habitación en un barrio repleto de traficantes de droga”.
Estas herramientas omiten el cuestionamiento de los factores estructurales que pueden estar en ocasiones (o en muchas ocasiones) detrás de esos riesgos individuales
¿Qué supone que herramientas estimen el riesgo sólo para los individuos?
Estas herramientas son individualizantes, en el sentido de que informan sobre el riesgo que presenta una persona y, además, lo presentan como un dato científico calculado con evidencias empíricas contrastadas en estudios rigurosos. Pero omiten el cuestionamiento de los factores estructurales que pueden estar en ocasiones (o en muchas ocasiones) detrás de esos riesgos individuales. Tienden a presentar el problema de la delincuencia sólo como un problema de individuos delincuentes, cuya mayor o menor propensión a delinquir se puede medir para poder anticiparse al nuevo crimen y evitarlo, cosa que puede estar bien y tener un ámbito legítimo de relevancia, pero eso difumina y aleja el foco de toda la problemática estructural que también hay detrás de la delincuencia. Y todo ello favorece, en definitiva, una legitimación del statu quo.
¿Se trata de una suerte de decisión premeditada?
Esto no significa, evidentemente, que estas herramientas se hayan diseñado deliberadamente para alcanzar ese fin, ni para disfrazar la realidad en ningún sentido. Pero usarlas para tomar decisiones en el sistema de justicia penal, aceptando que se construyan con este tipo de información, supone asumir, siquiera sea implícitamente, este enfoque. Por eso es necesario saber cómo funcionan (¡transparencia!), para al menos ser capaces de plantear el debate de manera abierta: ¿Es justo valorar en contra del preso o reo factores de riesgo respecto de los cuales él no es responsable, como antecedentes penales en su familia de origen, o incluso puede haber estado padeciendo, como por ejemplo haber sido víctima de maltrato infantil? ¿Deberían eliminarse estos factores de las herramientas? ¿O deberían algunos factores de riesgo como estos ser tenidos en cuenta sólo para decisiones de tratamiento —decidir qué programa o terapia es más recomendable—, pero no para decisiones de régimen? ¿Cuánto se gana realmente en prevención del delito a costa de evaluar el riesgo con estos factores? ¿Puede considerarse suficiente el beneficio que se obtiene para compensar estos costes en términos de posible discriminación o es excesivo el coste? Todas estas son cuestiones más políticas que técnicas, sobre las que sólo puede discutirse si se conoce con suficiente transparencia el funcionamiento de las herramientas, y que no deben escamotearse del debate con la excusa de que la evaluación del riesgo es un procedimiento técnico basado en evidencia empírica que no incluye valoraciones éticas.
En relación a VioGén, ¿por qué hay indicios de una menor protección (o menos eficiente) a mujeres nacidas fuera de España?
En el sistema VioGén el nivel de riesgo determina el nivel de protección policial que la mujer va a recibir: la protección es mayor cuanto más elevado es el riesgo, lógicamente. Según los datos de las macroencuestas que se han hecho en España sobre violencia contra la mujer (en 2015 y 2019) las mujeres nacidas fuera de España sufren violencia a manos de sus parejas o exparejas con mayor frecuencia, y de mayor gravedad, que las nacidas en España, y también denuncian más esa violencia. Si esto es así, sería lógico que en VioGén las mujeres nacidas fuera estuvieran sobrerrepresentadas en relación con el porcentaje que representan en la población. Y, de hecho, así ocurre. Lo que pasa es que esa sobrerrepresentación de las mujeres nacidas fuera no es uniforme a lo largo de los distintos niveles de riesgo que VioGén puede asignar: es mayor en los niveles más bajos de riesgo (riesgo no apreciado y riesgo bajo) y mucho menor en los niveles altos de riesgo (riesgo medio, alto y extremo). Es decir, que VioGen tiende a asignar niveles más bajos de riesgo de revictimización a las mujeres nacidas fuera de España.
¿Existe alguna explicación oficial de este fenómeno?
Tuvimos la oportunidad de comentar este dato con personal de la Secretaría de Estado de Seguridad y nos dijeron que se debe a que las mujeres nacidas fuera, si bien denuncian más, luego vuelven a ser agredidas menos veces. Es decir, consta menos reincidencia en su caso. Y que por ello es lógico que VioGen, que mide ese riesgo de revictimización, les asigne niveles de riesgo algo menores. Este extremo sólo lo hemos podido comprobar en nuestro informe con una muestra de datos enviada por el propio Ministerio [del Interior], en la que en efecto ocurre eso.
¿Qué le parece esa menor tasa de revictimización?
Nos parece sorprendente. Porque, si según las encuestas las mujeres nacidas fuera sufren más violencia de género y más grave, no se entiende bien cómo es que una vez puesta la primera denuncia vuelven a ser agredidas menos veces que las nacidas en el país. Y pensamos que quizá esta menor tasa de revictimización en las mujeres nacidas fuera puede que no responda a la situación real, sino que aparezca así en los datos oficiales de que dispone la Policía porque estas mujeres quizá sean más reticentes a volver a acudir a las autoridades tras la primera denuncia. Por varias razones: que, en general, están en una situación de vulnerabilidad mayor que las nacidas en España, que pueden haber sufrido mayores presiones de su entorno tras la primera denuncia, que pueden haber tenido mala experiencia en su contacto con las autoridades o que temen consecuencias más graves para su parejas o exparejas, y para ellas mismas, que las nacidas en el país (como la deportación).
Esta aparente menor revictimización de las mujeres nacidas fuera contrasta con los datos de mujeres asesinadas a manos de sus parejas o exparejas. ¿Por qué?
Aunque en números absolutos hay cada año más mujeres asesinadas nacidas en España que nacidas fuera, la cosa cambia si normalizamos las cifras en función del número de mujeres nacidas fuera del país y dentro de él residentes en España (porque el número de mujeres nacidas fuera de España que viven aquí es mucho menor). Y lo que vemos es que, entre 2015 y 2021, fueron asesinadas 1,79 mujeres nacidas en España por cada 100.000 mujeres nacidas en España residentes aquí, pero fueron asesinadas 6,46 mujeres nacidas fuera por cada 100.000 mujeres nacidas fuera residentes aquí (de media en los años de ese periodo).
Y, además, ocurre que entre las mujeres nacidas fuera que han sido asesinadas en esos años, el porcentaje que había denunciado previamente violencia de género es del 28,5%, mientras que para las mujeres asesinadas nacidas en España el porcentaje que tenía denuncias previas es menor, del 19,7%. Teniendo en cuenta el número de mujeres de uno y otro grupo residentes en España para los años analizados, esto da una ratio de 2,48 asesinatos con denuncia previa por cada 100.000 mujeres nacidas en España y 12,88 asesinatos con denuncia previa por cada 100.000 mujeres nacidas fuera. Es decir, más de cinco veces superior.
¿Qué suponen esos datos?
Esto significa que, al menos para el grupo de las mujeres que terminan siendo asesinadas, no parece que la revictimización sea menor que para las españolas, pues hay una proporción mayor de mujeres que ya habían acudido previamente a denunciar, y para las que el asesinato es una nueva agresión. Creemos que algo tiene que estar fallando en la protección de este grupo de mujeres, si bien obviamente ese fallo no tiene por qué ser (solo) de VioGén, habida cuenta de que en el sistema de protección intervienen más organismos y factores además de la policía, tales como las oficinas de asistencia a la víctima o los servicios sociales, y de que son los jueces los que dictan las medidas más restrictivas de derechos (órdenes de alejamiento, prisión provisional). Pero pensamos que estos datos deberían llevar a examinar con detenimiento cuál es o son los problemas que están llevando a que estas mujeres, al parecer, reciban una protección menos eficaz.
¿Cómo valora la eficacia de VioGén?
VioGén ha recibido críticas por no ser capaz de detectar bien este fenómeno, porque a veces mujeres que terminan asesinadas habían recibido valoraciones de riesgo bajo o no apreciado. Si bien esto es cierto, creemos que hay que ser cauto a la hora de valorar la eficacia de VioGén en este ámbito. Los asesinatos son el acto de violencia más difícil de predecir, porque es el menos frecuente. La Secretaría de Estado de Seguridad ha hecho además un esfuerzo en los últimos años diseñando una escala específica en VioGén para estimar precisamente la probabilidad de este evento. Como lleva aún poco tiempo en marcha, es prematuro evaluar. Pero, en todo caso, es muy poco realista pedirle a VioGén (ni a ningún otro algoritmo) que clasifique como de riesgo alto o extremo a todas las mujeres que realmente están en riesgo de muerte porque, al ser pocas en relación con la población de mujeres residentes en España, para ello el algoritmo tendría que etiquetar también así a muchas miles que en realidad no lo están (falsos positivos), con la consiguiente dificultad de asignar recursos para una protección eficaz.
El hecho de que exista VioGén no debería llevar a dar por sentado que la mejor protección para las mujeres tenga que pasar necesariamente por mejoras o ampliaciones del algoritmo
Además, hay una cifra muy difícil de estimar pero que es real, de mujeres que estando realmente en riesgo no habrán llegado a morir gracias a las medidas de protección que la Policía ha puesto en marcha precisamente por haberlas considerado como de riesgo alto. En definitiva, nos parece poco razonable esperar que VioGén consiga que el número de mujeres asesinadas por violencia de género baje a cero.
¿Cómo se podría mejorar entonces?
Tener expectativas poco razonables puede hacer que se critique al algoritmo por las razones equivocadas. Es más realista, creemos, tratar de mejorarlo en otros sentidos, como por ejemplo examinando si existen realmente o no sesgos como los que nosotros hemos creído detectar respecto de las mujeres nacidas fuera del país, u otros en que pueda pensarse, y estudiar a qué se deben y cómo podrían paliarse, en su caso. Y, desde luego, el hecho de que exista VioGén no debería llevar a dar por sentado que la mejor protección para las mujeres tenga que pasar necesariamente por mejoras o ampliaciones del algoritmo. Hay que seguir planteándose también hasta qué punto la lucha contra la violencia de género debe estar centrada en las medidas de protección policial o deberían destinarse más esfuerzos o medios a otro tipo de medidas.
¿Por qué la aplicación RisCanvi es más transparente en relación a las otras dos analizadas?
Es más transparente porque están publicados los factores de riesgo con los que opera (de VioGén también se conocen) y, también, la descripción detallada de en qué consisten y cómo se valoran esos factores. Aunque esto desde hace muy poco: que a nosotros nos conste, desde este mismo año 2024. Pero sobre todo porque ya en varias ocasiones la Generalitat de Catalunya ha publicado en abierto en la web hojas de Excel con los resultados (totalmente anonimizados, obviamente) de las valoraciones de riesgo hechas sobre centenares o, en el último estudio, incluso miles de presos, la codificación de todos los factores, y los datos de reincidencia asociados.
¿Qué supone que estén publicados los 'dataset' con los que opera RisCanvi?
Esto hace que cualquier investigador externo pueda comprobar por sí mismo las afirmaciones que hacen los gestores de RisCanvi (por ejemplo, si la capacidad predictiva que dicen que tiene realmente es esa), pero también cruzar los datos de otras formas y estudiar otras cosas que la Generalitat hasta ahora quizá no se ha planteado. Por ejemplo, si esa capacidad es la misma en distintos grupos de población. Nosotros creemos que esto es un muy buen ejemplo y demuestra que se puede compartir toda esta información sin generar riesgos ni para la privacidad de los presos (porque está todo completamente anonimizado) ni para la integridad del sistema (Ricanvi no funciona peor ni se puede 'hackear' más fácil porque se conozca todo esto).
¿Ese es el camino?
Pensamos que otras administraciones públicas deberían seguir este ejemplo. Además, la Generalitat encargó una auditoría externa sobre RisCanvi y ha publicado los resultados de esa auditoría en abierto, cosa que —con independencia de la opinión que puedan merecer el alcance y los resultados de la auditoría, que en el informe no entramos a analizar salvo por referencias muy fragmentarias— es también algo a destacar. Que nosotros sepamos, no se ha hecho nada similar con VioGén ni con Veripol.
¿Es transparente del todo la herramienta?
RisCanvi no es completamente transparente porque no se conoce la codificación de los algoritmos con los que funcionan las distintas escalas de riesgo. Nosotros hemos podido conocer más o menos el de la escala de riesgo de reincidencia violenta porque otros colegas, de la Universitat Pompeu Fabra (UPF), han hecho el favor de compartir con nosotros su reconstrucción pero no nos consta si sigue siendo éste o se ha modificado, ni que se hayan hecho públicos los de las demás escalas de riesgo.
RisCanvi no es completamente transparente porque no se conoce la codificación de los algoritmos con los que funcionan las distintas escalas de riesgo
Esa herramienta estima cinco tipos de riesgo (de reincidencia general, de reincidencia violenta, de violencia intrainstitucional, de violencia autodirigida y de quebrantamiento de permisos), pero nosotros solo hemos tenido datos cuantitativos sobre reincidencia violenta. Por tanto, en la parte del informe en la que hacemos el análisis cuantitativo de los posibles sesgos hay que subrayar que en relación con eso sólo nos referimos a la estimación de riesgo de reincidencia violenta. No tenemos datos para saber qué pasa en las demás escalas.
¿Por qué las personas con problemas de salud mental o de adicciones padecen sesgos en RisCanvi?
Gracias precisamente a que la Generalitat de Catalunya publica esas hojas Excel y a que colegas de la UPF que tenían datos sobre Riscanvi han hecho cálculos para nosotros, hemos podido comprobar que los internos que tienen trastorno mental o adicción a sustancias, o bien ambas cosas juntas, tienen un porcentaje de reincidencia violenta superior a quienes no padecen esos problemas, digamos que más o menos el doble (esto es una aproximación: el porcentaje difiere en cada uno de estos tres grupos).
Por otro lado, dentro del grupo de presos que tienen trastorno mental, adicciones, o ambas cosas, RisCanvi clasifica como de riesgo alto a un porcentaje mayor que en el grupo de presos sin estas condiciones, cosa que en principio parece lógica y correcta: si estos colectivos reinciden más, es lógico que la herramienta dé a más personas dentro de estos grupos un nivel de riesgo alto. Pero el problema es que el porcentaje de gente que RisCanvi clasifica como de riesgo alto dentro de estos grupos no es el doble que en el grupo de personas que no tienen trastorno ni dependencia, sino mucho mayor: se multiplica por cinco, por 10 o, en algunos casos, incluso por 20.
¿Qué supone eso?
El riesgo de reincidencia de quienes tienen trastorno mental, adicción, o ambas cosas, es (según los datos de reincidencia de que dispone la Generalitat) más o menos el doble que entre los presos sin estos problemas, pero RisCanvi no clasifica al doble de presos dentro de estos grupos como de riesgo alto, sino a muchísimos más que el doble.
Según los datos parece que en efecto la tasa de reincidencia violenta de los extranjeros no es más alta sino más baja que la de los nacionales
Y eso hace que, obviamente, en estos colectivos dentro del grupo clasificado como de riesgo alto el porcentaje de falsos positivos (personas a las que se considera con riesgo alto de reincidencia violenta pero que no cometen después un nuevo delito violento) sea mucho mayor que entre el grupo de personas que no tienen trastorno ni adicción. RisCanvi es, por tanto, mucho más 'severo' con estos grupos. Cosa que es importante, porque una clasificación de riesgo alto tiene consecuencias: el nivel de riesgo se tiene en cuenta en decisiones como la concesión de tercer grado o libertad condicional, por ejemplo. Y, obviamente, un nivel de riesgo alto es un dato que dificulta tomar esta decisión.
¿Sucede lo mismo con otros aspectos?
Pasa una cosa parecida con el nivel socioeconómico, aunque en este caso tenemos que pronunciarnos con más cautela porque en algunos grupos la muestra es demasiado pequeña como para poder extraer conclusiones. Sin embargo, no pasa con la nacionalidad: RisCanvi no asigna niveles de riesgo de reincidencia violenta más altos a los extranjeros que a los nacionales, cosa que está muy bien porque, según los datos, parece que en efecto la tasa de reincidencia violenta de los extranjeros no es más alta sino más baja que la de los nacionales. Que RisCanvi no tenga aquí un sesgo en contra de extranjeros es una virtud que conviene destacar.
¿Por qué hay tan poca información disponible sobre VeriPol?
Porque sólo se ha hecho pública su existencia en noticas de prensa y a través de un par de artículos científicos que describen su enfoque y creación, pero que no dan datos sobre sus efectos en la aplicación práctica diaria.
¿Cómo suplieron esa falta de información?
Para conseguir más información (si se aplica realmente o no, cuánto y en qué casos; si los agentes siguen las recomendaciones o no, y en qué casos; si los resultados demuestran su eficacia o no; si genera valoraciones diferentes en función de características de ciertos colectivos como por ejemplo desconocimiento del español) estuvimos insistiendo durante varios meses a la Dirección General de la Policía Nacional para que nos concedieran una entrevista y, finalmente, lo logramos. Aunque nos atendieron muy amablemente y creo que realmente hablamos con una persona que sí conocía la herramienta y su funcionamiento, nos dijeron que ellos mismos no están recogiendo datos de forma sistemática sobre nada de esto. Por otro lado, tras la entrevista nos facilitaron también algunos datos adicionales, pero son difíciles de contrastar y tampoco dan información directa sobre estas cuestiones. En definitiva, parece que respecto de Veripol no sólo es que se no haya hecho público ningún dato, sino que puede que la propia Policía ni siquiera los tenga, porque no los está recogiendo.
Respecto de Veripol no sólo es que se no haya hecho público ningún dato, sino que puede que la propia Policía ni siquiera los tenga, porque no los está recogiendo
¿Qué derechos fundamentales pueden verse afectados por estas aplicaciones?
El derecho de defensa y el derecho a la igualdad de trato y a la no discriminación. Además, se afectan los derechos relacionados con el tratamiento de datos personales, especialmente el derecho de acceso a los datos: en ninguna de las herramientas que hemos analizado está previsto expresamente que el interesado (el preso en RisCanvi, el hombre en VioGén, el denunciante en Veripol) tenga derecho a que se le facilite una copia de los datos que el sistema tiene almacenados sobre él o ella, y de los niveles de riesgo asignados. En VioGén sí está previsto un procedimiento para solicitar la supresión de los datos en determinados supuestos tasados, pero no parece que haya un derecho de acceso fuera de esos supuestos. En Riscanvi no hay prevista una vía para el acceso de los presos a la información que sobre ellos tiene el sistema, más allá de los derechos generales de información regulados en la legislación penitenciaria.
¿Qué afecciones a derechos fundamentales puede suponer la falta de transparencia de estas aplicaciones?
Por un lado el derecho de defensa: si uno va a presentar una denuncia por robo y la Policía en vez de ponerse a investigar ese suceso se pone a acusarte a ti de que la denuncia es falsa, es normal tener derecho a saber a partir de qué indicios o datos, o por qué razón, se ha generado esa sospecha, para poder defenderse de la acusación. Y si la única respuesta es que porque así lo ha dicho una inteligencia artificial, cuyo funcionamiento, calidad de las predicciones y posibles sesgos nadie conoce, es imposible defenderse. También entra en juego el derecho a la igualdad de trato y a la no discriminación. En un ejemplo imaginario (porque no tenemos ningún dato para afirmar que esto pase, pero tampoco para descartarlo) si Veripol señalara como falsas las denuncias de inmigrantes con mayor frecuencia que las de nacionales, podría estar produciéndose una discriminación a ese colectivo, si no hay datos reales que demuestren que en ese grupo realmente son más frecuentes en esa medida. Y lo mismo respecto de otros posibles grupos: jóvenes frente a adultos, hablantes de lenguas cooficiales frente al castellano o al revés, gente de determinado nivel socioeconómico, gitanos frente a payos, etcétera.
¿Qué consecuencias tiene la falta de transparencia de las aplicaciones algorítmicas analizadas en el informe?
Para la ciudadanía en general, dificulta el debate público sobre estas materias. En función de que el grado de opacidad sea mayor o menor, no es posible a veces conocer los criterios con los que se toman las decisiones, saber si los resultados son iguales para todos o dispares para ciertos colectivos, por qué se ha decidido incluir determinadas cosas como factor de riesgo y otras no, si hay evidencia sobre la eficacia de estas herramientas para obtener el fin que se supone que las justifica. Y el desconocimiento hace más difícil el control de la actividad de las administraciones públicas por parte de los ciudadanos, cosa que es muy necesaria en una sociedad democrática y en un Estado de Derecho. Y que, si bien es importante en todos los ámbitos, seguramente es especialmente relevante cuando hablamos de actividad policial o penitenciaria (y, en general, de la actividad relacionada con la potestad penal y sancionadora), porque aquí las decisiones muchas veces conducen a recortar de manera importante derechos fundamentales.
En función de que el grado de opacidad sea mayor o menor, no es posible a veces conocer los criterios con los que se toman las decisiones
¿Y para los investigadores?
La falta de transparencia hace difícil a la comunidad científica comprobar externamente hasta qué punto son ciertas las afirmaciones que hacen los creadores o gestores de las herramientas sobre su bondad o eficacia. Si no se publican suficientes datos sobre su funcionamiento, ni los detalles de los algoritmos o los programas con los que operan, no se pueden comprobar, para confirmar o refutar, esas afirmaciones. Tampoco se pueden analizar cosas que los gestores de las herramientas no quieran analizar. Y como esto hace muy difícil detectar fallos o problemas desde fuera, tampoco puede formularse una crítica rigurosa, ni aportarse propuestas de mejora. Hay que 'creerse' lo que nos dicen, sin poder comprobarlo.
¿Y para la sociedad civil?
Para las ONG o las asociaciones, especialmente las dedicadas a la defensa de derechos civiles o de otro tipo, se dificulta su labor. Por ejemplo, si Veripol sólo se pasara (es una mera suposición) a las personas de determinada etnia u origen nacional, sólo detectaría denuncias falsas en esos grupos. Y eso sería una discriminación. Pero al no haber datos sobre cómo se usa Veripol, pues no se puede, en su caso, detectar ni denunciar esa eventual discriminación. O si, por ejemplo, VioGén asignara (de nuevo: es una mera hipótesis) de manera sistemática un riesgo desproporcionadamente más bajo a las mujeres con discapacidad, o a las que están por encima o por debajo de determinada edad, sería también una discriminación, que no puede detectarse ni denunciarse si no se conocen los datos.
¿Cómo concierne la falta de transparencia a las personas afectadas?
Para las personas afectadas por las decisiones, la falta de transparencia puede vulnerar en primer lugar la legislación sobre protección de datos personales, si no se les reconocen los derechos correspondientes: acceso, rectificación, oposición o supresión. Ahora bien, también hay que decir que la legislación vigente es muy poco estricta en estos ámbitos y permite tratar datos a efectos de prevención de delitos con mucha generosidad, siendo suficiente la mera habilitación legal sin necesidad de consentimiento del interesado. Por eso, no puede decirse que estas herramientas incumplan flagrantemente la normativa vigente. Pero el problema es que la normativa vigente deja a los interesados, a veces, sin instrumentos efectivos para controlar o, al menos, conocer el tratamiento que se hace de todos estos datos en estas herramientas, de las que puede derivar la justificación para restringir de manera muy intensa sus derechos.
El problema es que la normativa vigente deja a los interesados, a veces, sin instrumentos efectivos para controlar o, al menos, conocer el tratamiento que se hace de todos estos datos en estas herramientas
¿Cómo puede afectar al derecho de defensa?
Si el nivel de riesgo resulta determinante en un procedimiento judicial (por ejemplo, en una vista para decretar prisión provisional a un varón acusado por violencia de género o en un proceso para revisar la denegación de una clasificación en tercer grado penitenciario), para que el acusado pueda defenderse de manera eficaz puede necesitar cuestionar ese nivel de riesgo, pero en la práctica es muy difícil que pueda hacerlo si no se le da acceso a los datos que el sistema tiene almacenados sobre él y a las razones por las cuales de esa combinación de datos ha derivado para él o ella ese determinado nivel de riesgo.
También pueden verse afectados negativamente si del funcionamiento de las herramientas derivan sesgos, porque pueden estar recibiendo un trato comparativamente más severo que otros grupos y, sin embargo, no poder cuestionarlo (¡quizá ni siquiera darse cuenta de que está pasando!) debido a esa falta de transparencia.