Inteligencia artificial explicable, ¿necesidad u obligación?

El progreso de los sistemas de inteligencia artificial se sustenta en los datos, ya que constituyen el elemento esencial que permite su operatividad y correcto desempeño. Sin embargo, ¿qué ocurre cuando esos datos son personales? ¿Está la normativa preparada para protegernos frente a sistemas que aprenden, predicen e infieren?

En este sentido, debemos ser conscientes de qué datos y en qué momento de su desarrollo la IA los utiliza. Hoy en día, cualquier sistema de IA necesita grandes volúmenes de datos para entrenarse y operar. El uso de esta información de carácter personal exige garantizar su tratamiento conforme a principios del Reglamento General de Protección de Datos (RGPD) de entre los que resultan destacables la transparencia, la minimización, el consentimiento informado y la protección frente a decisiones automatizadas.

El problema radica en que, el RGPD fue aprobado en 2016, en un momento en que la inteligencia artificial apenas comenzaba a despuntar. ¿El resultado? El RGPD no fue diseñado pensando en la IA. Por otro lado, el nuevo Reglamento de Inteligencia Artificial (RIA), que se centra en regular los usos de alto riesgo de esta tecnología, tampoco cubre íntegramente el tratamiento de datos personales.

En este contexto, ante la falta de conexión normativa que impide una respuesta cohesiva frente a los retos que plantea el uso de datos personales en sistemas de IA, los tribunales deberán interpretar ambas normativas conectándolas entre sí llegando a una interpretación conjunta. 

¿Qué ocurre con las administraciones públicas? Las administraciones públicas están incorporando IA en sus procesos para «clasificar» ciudadanos clasificar a la ciudadanía según un posible nivel de vulnerabilidad, detectar fraudes, gestionar ayudas, o incluso predecir comportamientos tributarios. Esto puede aportar gran eficiencia a la gestión administrativa diaria, pero también plantea una serie de riesgos muy reales.

A modo de ejemplo, en una concesión de ayudas sociales, durante la fase de diseño o entrenamiento de un sistema de IA (que precede a la fase de despliegue), el algoritmo aprendió que quienes no habían solicitado ayudas previamente «no las necesitaban». El resultado: personas en situación de vulnerabilidad, pero sin «historial» de peticiones, fueron excluidas. Ante esta situación es posible plantearse ¿dónde está el error? La clave se encuentra en la inferencia. Y ahí nace el sesgo. ¿Qué implicaciones tienen las inferencias sobre los derechos de los ciudadanos?

La inferencia es el resultado o conclusión a la que llega el sistema de IA; el sesgo, la distorsión que la desvirtúa

Inferencias vs. Sesgos

Una inferencia es una conclusión que genera el sistema: por ejemplo, «esta persona no necesita intervención urgente».

Un sesgo, en cambio, es cuando esa inferencia está afectada injustamente por datos incompletos, erróneos o discriminatorios. Como cuando se asume que una persona joven sin hijos no puede estar en riesgo social, ignorando que quizá duerme en la calle. La IA no es neutral: aprende lo que le enseñamos. Y muchas veces, le enseñamos nuestros propios prejuicios.

Dos fases, dos niveles de riesgo … En este sentido, el tratamiento de datos personales en sistemas de IA puede dividirse en dos momentos clave:

• Fase de diseño, es decir, cuando el modelo se entrena. En esta fase se generan patrones, reglas, … a partir de datos. Es donde más peligroso puede ser el sesgo puesto que es cuando se «moldea» el comportamiento del sistema.
• Fase de implementación, donde el sistema ya opera con datos reales. En este caso, las inferencias afectan directamente a las personas y, en consecuencia, las consecuencias son inmediatas: se deniega una ayuda, se intensifica un control, ...

En ambos casos, el uso de datos personales debe cumplir estrictamente con el RGPD que implica obligaciones tales como el deber de informar, la necesidad de consentimiento, la evaluación de impacto, y sobre todo, la intervención humana en decisiones importantes.

¿Y si no se cumplen estas obligaciones? Ahí entra en juego el artículo 22 del RGPD regulando el riesgo de automatización sin control. Este precepto reconoce que cualquier persona tiene derecho a no ser objeto de decisiones basadas únicamente en el tratamiento automatizado de datos, incluida la elaboración de perfiles, que produzcan efectos jurídicos o le afecten significativamente.

¿Hacia un nuevo derecho digital?

En este contexto que venimos analizando, el marco normativo viene del legislador europeo (RIA y RGPD) y, a pesar de que ambos textos legislativos operan en planos distintos, la observancia en conjunto de ambos reglamentos resulta esencial en el diseño de cualquier entorno de IA y más, si cabe, en su despliegue y desarrollo futuro.

En los últimos meses hemos ido observando como el Tribunal de Justicia de la Unión Europea (TJUE) se ha ido pronunciando en diferentes casos, encargándose, así, de interpretar y conectar la normativa de IA con la de protección de datos. 

Se empieza a vislumbrar, por tanto, un incipiente nuevo derecho a entender cómo y por qué se toman las decisiones automatizadas que afectan a nuestra vida. Un derecho derivado del artículo 15 del RGPD (derecho de acceso), pero con un enfoque más ambicioso: garantizar que podamos ejercer el resto de nuestros derechos porque entendemos cómo funciona el sistema.

En este sentido, el derecho de acceso en materia de protección de datos (artículo 15 del RGPD) es una garantía para las personas siendo ejercitado con frecuencia tanto ante las autoridades de control como ante los tribunales y siendo, además, una obligación de los responsables del tratamiento de datos personales. Resulta de especial interés la reciente Sentencia del Tribunal de Justicia de la Unión Europea de 27 de febrero de 2025 (Rec. c-203/22) donde el TJUE interpreta el citado artículo 15.1.h) en el sentido de que, cuando una persona sea objeto de una decisión automatizada —como la elaboración de perfiles según el artículo 22.1 del RGPD—, tiene derecho a recibir del responsable del tratamiento una explicación clara, accesible y comprensible sobre el procedimiento y los principios aplicados en ese tratamiento automatizado de sus datos personales.

Esta aplicación del derecho a la explicación en materia de protección de datos se centra en la obligación del responsable del tratamiento de dar información concisa e inteligible al interesado garantizando así la posibilidad de este a ejercer otros derechos. Su aplicación a los sistemas y tecnologías de IA nos permite asistir a un refuerzo de la transparencia y a la rendición de cuentas en estos casos de automatización o uso de algoritmos.

Estos algoritmos son la base de la tecnología de IA y resulta fundamental fortalecer la transparencia de su uso. Sin embargo, debido a la propia naturaleza de esta tecnología, en muchas ocasiones resulta difícil mostrar a los usuarios la manera en la que se ha llegado a tomar una determinada decisión. Con frecuencia, estos sistemas operan como «cajas negras», cuya lógica interna es difícil de interpretar. No obstante, es importante poder identificar el proceso que ha llevado a una decisión, especialmente cuando este afecta a los derechos de las personas.

La transparencia es un principio clave, lograrla ante decisiones tomadas por sistemas de IA representa un gran desafío

Puede ampliar la información sobre este tema, accediendo a la Sección de Administración Electrónica de la Plataforma Corporativa de esPublico: un espacio de contenido especializado dedicado a facilitar la adaptación de las entidades locales a su actuación por medios electrónicos, así como a apoyar el proceso de transformación digital.

La Sección ofrece numerosos recursos explicativos, entre otros, guías didácticas, infografías interactivas, videotutoriales, diccionario de terminología digital, etc.

Puede acceder a la Sección de Administración Electrónica de esPublico, pulsando aquí.