La Agencia Española de Supervisión de Inteligencia Artificial (AESIA) publicó en diciembre 16 guías destinadas a facilitar a las organizaciones el cumplimiento de las obligaciones recogidas en el Reglamento Europeo de Inteligencia Artificial (RIA). Si bien las guías de la AESIA no tienen carácter vinculante ni sustituyen ni desarrollan la normativa aplicable, proporciona recomendaciones prácticas para garantizar el uso seguro, responsable y conforme al Reglamento aplicable.
Para más información en relación con las guías publicadas haz click aquí.
Dentro de este conjunto, la Guía 5 relativa al Sistema de gestión de riesgos, constituye uno de los documentos más relevantes. Esta Guía se focaliza en las medidas técnicas y organizativas que serán útiles a proveedores y responsables del despliegue para dar cumplimiento al sistema de gestión de riesgos que deberá incorporar todo sistema de IA de alto riesgo y algunos sistemas de IA de propósito general.
Guía 5: Sistema de gestión de riesgos
El artículo 9 del RIA establece que los sistemas de IA deberán someterse a un proceso continuo e iterativo de identificación, análisis, evaluación y mitigación de riesgos a lo largo de todo su ciclo de vida, debiendo prestar especial atención a los riesgos que puedan afectar a la salud, la seguridad y a los derechos fundamentales de las personas. El objetivo principal de este sistema de gestión de riesgos es identificar, analizar, evaluar y mitigar los riesgos potenciales tanto en el uso previsto como en usos razonablemente previsibles de sistemas de IA, a través de la implementación de una serie de procesos por parte de las organizaciones.
La Guía recuerda que la evaluación de los riesgos es un ejercicio cualitativo y subjetivo, que debe basarse en el profundo conocimiento de los elementos del entorno y en metodologías reproducibles.
A continuación, presentamos un resumen de las etapas para llevar a cabo una gestión de riesgos eficaz recogidas por la Guía del Sistema de gestión de riesgos:
1.Definición del apetito al riesgo
La Guía define el apetito al riesgo como el nivel de riesgo que una organización está dispuesta a aceptar en relación con los riesgos que un sistema de IA puede suponer para la salud, la seguridad y los derechos fundamentales de las personas. Este apetito debe establecerse de forma cuantitativa, utilizando una escala que permita valorar numéricamente el riesgo y fijar el umbral a partir del cual será necesario aplicar medidas de tratamiento.
2. Contexto del sistema de IA
La determinación del contexto implica examinar el entorno interno y externo en el que el sistema de IA se diseña, desarrolla y utiliza. La Guía señala que deben identificarse e inventariarse aquellos elementos del contexto que puedan impactar en el análisis de riesgos, poniendo especial atención a los factores relacionados con los derechos fundamentales, la salud y la seguridad. La correcta evaluación del contexto es esencial, puesto que una valoración incompleta puede derivar en una identificación deficiente de los riesgos, afectando a la adecuada protección de las personas.
Por ejemplo, en sistemas como los utilizados para la promoción de empleados, resulta imprescindible considerar derechos como la no discriminación y la protección de datos personales, que servirán de base para la posterior detección de amenazas.
3. Identificación de riesgos
La identificación de riesgos consiste en descubrir, reconocer y documentar los riesgos que pueden afectar al sistema de IA. La Guía establece que esta fase debe articularse mediante la elaboración de un inventario que recoja, al menos, tres elementos:
- Los componentes del sistema de IA, que deben identificarse de forma exhaustiva (según el Anexo B de la Guía), incluyendo aspectos como datos utilizados, arquitecturas, procesos de entrenamiento, infraestructuras y cualquier elemento relevante para su funcionamiento.
- Las amenazas asociadas a cada uno de estos componentes, tanto internas como externas, que puedan desencadenar fallos, sesgos, daños o resultados no previstos.
- Los riesgos resultantes, entendidos como la materialización potencial de esas amenazas sobre la salud, la seguridad o los derechos fundamentales.
La Guía subraya que esta identificación debe poner especial atención a los riesgos que puedan incidir en los derechos fundamentales, dada la relevancia que el RIA otorga a su protección. Esta fase es decisiva, pues únicamente los riesgos identificados podrán ser evaluados y tratados posteriormente.
4. Análisis y evaluación de riesgos
El análisis y evaluación de riesgos requiere determinar, para cada riesgo identificado, la probabilidad de que la amenaza se materialice y el impacto que tendría sobre el sistema y sobre las personas afectadas. Una vez calculado el nivel final de riesgo, este debe compararse con el apetito al riesgo establecido inicialmente, lo que permitirá definir si el riesgo es aceptable o si debe tratarse mediante medidas adicionales.
La Guía recuerda que la evaluación del riesgo es un ejercicio cualitativo y subjetivo, cuyo objetivo es determinar si el riesgo identificado se encuentra dentro del nivel aceptado por la organización o si requiere la aplicación de medidas adicionales de tratamiento. También aclara que esta evaluación debe contemplar tanto el uso previsto como los usos razonablemente previsibles del sistema de IA.
5. Respuesta al riesgo
La respuesta al riesgo consiste en seleccionar e implementar las medidas destinadas a abordar los riesgos previamente identificados, analizados y evaluados, seleccionando una de las siguientes opciones:
- Implementar medidas de control para mitigar el riesgo
- Asumir el riesgo, aceptando sus consecuencias
- Evitar el riesgo mediante la decisión de no comenzar o parar la actividad que genera dicho riesgo
- Transferir el riesgo, por ejemplo, mediante acuerdos contractuales
La Guía especifica que estas decisiones deben documentarse y debe planificarse su implementación. También señala que esta fase incluye identificar los riesgos residuales que permanecen tras aplicar las medidas seleccionadas.
6. Documentación y comunicación
La Guía establece que todas las fases del sistema de gestión de riesgos deben quedar reflejadas en la documentación técnica del sistema. Asimismo, señala que debe existir comunicación interna entre los actores involucrados en el diseño, desarrollo y uso del sistema de IA, con el fin de garantizar la comprensión del sistema de gestión de riesgos y su actualización continua.
7. Seguimiento y mejora continua
El seguimiento y la mejora continua del sistema de gestión de riesgos tienen por finalidad garantizar y reforzar su calidad y eficacia. Para ello, resulta indispensable establecer periodos de revisión y actualización, en los que se deberá examinar el inventario de riesgos e incorporar aquellos nuevos que se identifiquen, así como revisar el análisis y la evaluación tanto de los riesgos añadidos como de los ya existentes. Asimismo, las medidas de mitigación deberán ser objeto de actualización conforme a las necesidades detectadas. La Guía recuerda que el proceso debe mantenerse durante todas las etapas del ciclo de vida del sistema de IA.
Otros elementos a considerar
Tras la definición de las fases del sistema de gestión de riesgos, la Guía incorpora una serie de elementos adicionales que deben considerarse en la implantación de un sistema de gestión de riesgos, complementando los pasos iniciales.
1. Procedimientos de prueba
La Guía establece que los sistemas de IA deben someterse a pruebas destinadas a comprobar que cumplen con su finalidad prevista y con los requisitos exigidos para los sistemas de alto riesgo. Estas pruebas deben definirse utilizando parámetros, métricas y umbrales coherentes con la finalidad prevista del sistema, y están destinadas a comprobar que:
- Funcionan conforme a su finalidad prevista, utilizando medidas y métricas recogidas en las guías de precisión y solidez.
- Cumplen los requisitos establecidos, pudiendo utilizarse indicadores de efectividad.
- Pueden incluir pruebas en condiciones reales, siempre antes de su comercialización o puesta en servicio, respetando las condiciones previstas por el RIA.
- Se realizan en el momento adecuado, pudiéndose ejecutar en cualquier fase del desarrollo, pero siempre antes de la comercialización o puesta en servicio, planificándose desde el diseño y ejecutándose durante la implementación.
2. Evaluación de riesgos relacionados con el sistema de vigilancia poscomercialización
El sistema de gestión de riesgos debe integrar también los riesgos que puedan surgir a partir de los datos recogidos en el sistema de vigilancia poscomercialización. Para ello se deben aplicar las mismas fases de identificación, análisis y tratamiento de riesgos, incorporando aquellos riesgos que aparezcan durante la fase de uso real del sistema. La AESIA en la Guia 13 para la elaboración de un sistema de vigilancia poscomercialización profundiza más en este proceso.
3. Acceso e impacto del sistema sobre menores de 18 años
La Guía establece que debe analizarse si es probable que menores de 18 años accedan al sistema o se vean afectados por él. En ese caso, deben identificarse los riesgos específicos asociados a menores, analizarse y evaluarse dichos riesgos conforme a las fases descritas y considerarse la adopción de medidas de control adicionales.
4. Entidades sujetas a legislación sectorial
Las organizaciones sometidas a requisitos sectoriales de gestión de riesgos pueden integrar las medidas descritas en la Guía dentro de los procedimientos ya previstos en la legislación sectorial correspondiente.
Checklist de gestión de riesgos
Adicionalmente a la Guía 5 de gestión de riesgos, la AESIA publica, en el contexto de su Guía 16 del Manual de checklist de guías de requisitos un checklist de gestión de riesgos, que podrá servir a las organizaciones como base para llevar a cabo la gestión de los riesgos que puedan afectar a la salud, la seguridad y a los derechos fundamentales de las personas en el contexto del uso de sistemas de IA y en el marco del cumplimiento de la obligación de gestionar el riesgo recogida por el RIA.
En consecuencia, tanto la Guía 5 como el checklist constituyen herramientas prácticas cuyo propósito es acompañar a las organizaciones en la implantación de un sistema de gestión de riesgos sólido, estructurado y alineado con las exigencias del RIA. La Guía aporta el marco metodológico y los elementos que deben implementarse, mientras que el checklist recoge de forma estructurada una propuesta de elementos que podrán considerarse en la gestión de riesgos, facilitando la comprobación interna por parte de las organizaciones. En definitiva, proporcionan una base clara y operativa para que proveedores y responsables del despliegue puedan preparar sus sistemas de IA y sus procesos internos para una aplicación efectiva y segura del Reglamento de IA.
Si quieres conocer más sobre inteligencia artificial pincha aquí y aquí.
