Cinco claves para entender la transparencia algorítmica en el sector público
Profesor de Derecho Administrativo y Director del Observatorio Sector Público e Inteligencia Artificial, Facultad de Derecho. Universidad de Cádiz
Debemos comenzar con una pregunta: ¿es necesario apostar por la transparencia algorítmica? La respuesta parece ser sencilla: sí. No se trata, naturalmente de una toma de posición sin fundamento, sino que es, en nuestra opinión, el corolario de un análisis más complejo. En este sentido, proponemos cinco ideas que esperamos permitan entender la importancia y el alcance que tiene la transparencia en el ámbito de los sistemas algorítmicos y de inteligencia artificial (IA). En este espacio nos dedicaremos al ámbito del sector público. Distinto podría ser el caso del sector privado. Vale la pena recordar que la Administración Pública debe velar y garantizar el interés público sometiéndose a las obligaciones que impone la Ley y desde luego la Constitución Española. Así, todo parece apuntar que a la Administración Pública se le requiere un plus de rigor y, naturalmente, como al sector privado, actuaciones que no vulneren los Derechos fundamentales de las personas.
- Algoritmo e inteligencia artificial.
Es necesario especificar las posibles diferencias entre un sistema algorítmico y uno basado en IA. A menudo, se suelen utilizar las dos expresiones como sinónimos, sin embargo, aunque evidentemente mantengan ciertas conexiones entre ellas, tienen peculiaridades técnicas y de funcionamiento que los hacen únicos. Adquiere cierta importancia esta caracterización ya que tendremos que verificar si apostamos por la transparencia de ambos sistemas o no. Todos y todas tenemos un teléfono móvil y muy probablemente en más de una ocasión utilizamos la calculadora para hacer alguna operación. Cuando hacemos esto, utilizamos un algoritmo es decir una secuencia finita y ordenada de operaciones básicas de cálculo que permiten resolver un determinado problema. Diferente es el caso de un sistema de IA, que es el ámbito de la ciencia computacional el cual, apoyándose sobre un conjunto de datos robustos, permite crear máquinas capaces de pensar, razonar y resolver problemas así como lo haría la inteligencia humana.
Ahora bien, encontramos naturalmente sistemas de IA que integran algoritmos con altas capacidades de cálculos que permiten transformar los inputs del sistema en un output, es decir, en un resultado que en el caso de la IA utiliza o puede utilizar una red neuronal artificial que permite replicar y en ocasiones “mejorar” las actuaciones humanas.
La transparencia algorítmica debería afectar a ambos sistemas, aunque, es en el caso de los sistemas algorítmicos de IA en donde la necesidad queda más patente. En todo caso se trata de apostar por la trasparencia algorítmica en relación con todos aquellos sistemas que pueden afectar directa o indirectamente a los derechos de los individuos.
- Definir la transparencia algorítmica.
La Estrategia Nacional de Inteligencia Artificial (ENIA), establece que debe ser garantizada “la trazabilidad de los sistemas de IA. Esto significa garantizar que las decisiones ejecutadas por sistemas algorítmicos puedan ser auditadas, evaluadas y explicadas por las personas responsables”.
Podemos parafrasear la definición de la ENIA y al mismo tiempo ir más allá.
En nuestra opinión, la transparencia algorítmica identifica el principio según el cual los factores que intervienen en las decisiones tomadas por los algoritmos tendrían que ser visibles, conocibles, auditables y explicables, a las personas que utilizan, regulan, y son afectadas por los sistemas que emplean estos algoritmos.
En este sentido señalamos cuatro patrones que si se cumplen harían, por lo menos en abstracto, que el sistema fuese transparente. Así es: para que la “máquina” sea transparente, ésta —y la entidad que la utiliza— deberá garantizar que el algoritmo (y quizá el código fuente), se encuentre en un lugar de fácil acceso para ser consultado por ejemplo en registros específicos (visible y conocible), que esté sometido a control de funcionamiento periódico, tanto interno como externo (auditable) y que, asimismo, se pueda explicar en un lenguaje más natural posible (explicable).
- La transparencia algorítmica y los sesgos
La transparencia algorítmica contribuye a reducir los sesgos. En nuestra opinión existen por lo menos dos clases de sesgos: directos e indirectos. Los primeros tienen que ver con la reproducción de determinados patrones de quienes programan los sistemas. Como individuos tenemos ideales sociales, políticos, relacionales que nos hacen construir nuestra forma de ver la sociedad y participar en ella. Esto es inevitable, sin embargo, sobre todo cuando esto podría afectar a los demás, debería quedarse en nuestro fuero interior. Cuando esto no ocurre, nos encontramos con posibles sesgos de género, de raza o de estatus social que alimentarán un sistema algorítmico que finalmente producirá resultados sesgados.
En segundo lugar, los sesgos indirectos, complementarios a los directos, se producen a causa de la opacidad de la máquina. Esto se hace más evidente en un sistema de IA avanzado en donde la máquina auto aprende y arroja resultados que ni sus creadores, en ocasiones, son capaces de explicar.
Aunque el “riesgo cero” no existe, es posible apreciar ciertas medidas que podrían paliar los problemas descritos. Una de ellas consiste en el autocontrol y en la supervisión externa. Los sistemas algorítmicos deben estar sometidos a continuos controles y a pruebas funcionales que permitan realizar las adaptaciones necesarias para que se cumpla el requisito básico de proporcionalidad, es decir utilizar una máquina que permita obtener el mejor resultado según los conocimientos de los que se dispone. Parece que la futura Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), podría colaborar en cumplir este objetivo.
- Transparencia algorítmica e igualdad
Si anteriormente tratamos los sesgos desde un punto de vista más técnico —y social—, ahora, debemos señalar que los sesgos mantienen relación con la (des)igualdad jurídica —y real—. No se trata de discriminaciones de poco impacto, todo lo contrario, hacemos referencia a las discriminaciones que la IA puede producir en los Derechos fundamentales que asimismo producen desigualdad. En un reciente trabajo, Presno Linera ahonda precisamente en los “Derechos fundamentales y la Inteligencia artificial” (2022). Así, la transparencia de los sistemas instrumentales que colaboran en tomar decisiones que afectan a los Derechos fundamentales, se hace preponderante a la hora de garantizar el estado constitucional de derecho. En nuestra opinión, a mayor transparencia le corresponde mayor igualdad y viceversa. Esto es fácilmente visible en el caso holandés donde tuvimos conocimiento de que miles de familias fueron víctimas de la extrema dureza de un sistema algorítmico en materia de subvenciones. Fue demostrado que el sistema perjudicaba especialmente a las familias migrantes produciendo un sesgo reconducible a una manifiesta desigualdad de trato de determinados colectivos. El Gobierno de ese entonces tuvo que dimitir en bloque. Así, el principal problema fue y es, garantizar la imparcialidad de los sistemas utilizados. Es bien sabido que a la parcialidad le corresponde desigualdad. Por eso, la transparencia contribuye a preservar la imparcialidad y por ende la igualdad.
- ¿Qué nos depara el futuro?
¿Qué dirían Alan Turing o Isaac Asimov del actual ChatGPT? Probablemente que nos avisaron de esta gran transición digital.
Ahora bien, mientras la Administración Pública sigue en proceso de transformación —de la administración analógica a la electrónica—, ya estamos hablando y estudiando la administración 4.0 basada en IA. Lo que sí está claro es que este proceso de transformación es imparable. Esto significa que en la actualidad podemos hacer una “fotografía” de la realidad y vislumbrar algunos escenarios futuros. En este sentido, señalamos lo siguiente:
- Normativas marco. Conocemos la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial que, por ser de directa aplicación en los Estados miembros, representará la primera norma jurídica específica en el ámbito europeo. Esto se traducirá en la introducción de una regulación que en principio debe ser entendida en pro de los derechos de los ciudadanos europeos.
- Es de esperar que con el tiempo se produzcan normas nacionales. En la actualidad ya existen estrategias y documentos de interés a través de los cuales se intenta establecer una especie de red de soft law que permita engendrar normas vinculantes y con sus propios regímenes sancionadores. Así mismo, no debe descartarse la producción de normas sectoriales sobre IA. Esto se debe a las exigencias específicas de la materia. Debemos considerar que la IA tiene múltiples campos de aplicación: sanitario, la automatización de la actividad administrativa, la prevención del fraude, el cambio climático, en el ámbito de los robots terapéuticos y en la esfera de los cuidados solo por citar algunos relacionados con el sector público. Estas disciplinas necesitan de una adaptación normativa. Esto no puede confundirse con la autorregulación que en caso de realizarse se convertiría en un mero código de conducta que además conllevaría cierta dispersión regulatoria en una materia que en cambio penetra transversalmente en distintas disciplinas y ámbitos.
- Tras instaurar el marco legislativo, es de esperar que se creen nuevas figuras directamente relacionadas con la tecnología disruptiva. No nos referimos solo a nuevos puestos de trabajo que deberán cubrir los que muy probablemente se perderán debido a la introducción de la IA de las máquinas, sino también a puestos de supervisión. Nos referimos, por ejemplo, a la creación, del Delegado/a de Protección Algorítmica (DPA) así como al Defensor/a Algorítmico (DA). En otras palabras, se trata de figuras que además de hacer cumplir la futura legislación vigente podrán asesorar a la entidad en la que se crean, así como brindar protección a quienes se vean afectados por la intervención del sistema de IA.
- Parece necesario proceder con la profesionalización de determinadas categorías profesionales. En primis, los empleados públicos que deberán formarse para poderse “reciclar” en un ámbito tan disruptivo. Asimismo, si miramos por ejemplo al ámbito judicial, es de esperar que en el próximo futuro se empiecen a crear Fiscalías específicas que se ocupen de todo lo relacionado con la IA, el Blockchain, el metaverso, la responsabilidad extracontractual de las decisiones automatizadas o los problemas que puede producir el deep learning y las cajas negras de los sistemas (black box).
- Existe cierta propensión, aunque todavía demasiado escasa, a apostar por los registros algorítmicos. El artículo 16.1l. de la Ley 1/2022, de 13 de abril, de Transparencia y Buen Gobierno de la Comunitat Valenciana, establece por ejemplo que: “Las administraciones públicas deben publicar (…): La relación de sistemas algorítmicos o de inteligencia artificial que tengan impacto en los procedimientos administrativos o la prestación de los servicios públicos con la descripción de manera comprensible de su diseño y funcionamiento, el nivel de riesgo que implican y el punto de contacto al que poder dirigirse en cada caso, de acuerdo con los principios de transparencia y explicabilidad”. Esta tendrá que ser la senda a seguir.
Con todo, disponemos de una cierta ventaja. En nuestra opinión, las predicciones anteriores siendo bastante probables y realistas nos permiten prepararnos desde ya para afrontar en condiciones estos nuevos escenarios de futuro, que serán lo queramos o no, de omnipresencia de la IA en la actividad humana.
Bibliografía
ESTRATEGIA NACIONAL DE LA INTELIGENCIA ARTIFICIAL (2020). En: https://portal.mineco.gob.es/RecursosArticulo/mineco/ministerio/ficheros/201202_ENIA_V1_0.pdf (15 de marzo de 2023)
PRESNO LINERA M.Á. (2022). Derecho fundamentales e inteligencia artificial. Marcial Pons, p. 64 y ss.
Muy buena perspectiva. Esencial en el marco de la auditoría algorítmica del Sector público. Propongo contacto proceso investigador
Me ha parecido muy interesante y sobre todo que muestra opciones y caminos a seguir por parte de las instituciones públicas. Es cierto que éstas no están paradas y que quieren hacer cosas pero la realidad se nos adelanta y si no la descubrimos a través del derecho, habrá inseguridad jurídica e incertidumbre real.
[…] Blog Nova Icària Gabriele Vestri: https://idpbarcelona.net/cinco-claves-para-entender-la-transparencia-algoritmica-en-el-sector-public… […]
Me parece muy interesante y de mucha ayuda
[…] la efectividad se mide no solo en términos de precisión o eficiencia, sino también en la capacidad de los modelos para ser comprendidos y cuestionados. Será fundamental para poder cumplir, de manera adecuada y más fácilmente, con las diferentes […]