Un abogado español protagoniza el primer caso judicial en el que se analiza el uso indebido en el ejercicio profesional de sistemas de inteligencia artificial generativa, concretamente ChatGPT. Así ha llegado la inteligencia artificial a los Juzgados, mediante una querella basada en unos datos erróneos generados por Inteligencia Artificial (en adelante, IA).
En un momento en el que cada vez son más entidades, así como individuos, los que integran y utilizan estas tecnologías inteligentes, debemos concienciarnos de que, si bien estamos ante unas herramientas altamente beneficiosas, un uso indebido o no responsable de las mismas nos traerá más problemas que soluciones.
En esta línea, desde PRODAT aprovechamos para analizar esta resolución del Tribunal Superior de Justicia de Navarra (en adelante, TSJ de Navarra o Tribunal), abordando sobre todo las cuestiones que guardan una mayor relación con la protección de datos y abriendo un debate sobre el límite ético y jurídico del uso de tecnologías como ChatGPT.
CONTEXTO DEL CASO
Un abogado español presentó una querella en la que citaba el art. 454. b) del Código Penal (en adelante, CP) sobre un delito de destrucción, ocultamiento o alteración de pruebas. Sin embargo, el TSJ de Navarra se percató de que el precepto no correspondía con el CP español, sino con el ordenamiento jurídico de Colombia, lo cual “no puede pasar desapercibido a ningún profesional del Derecho” según el TSJ de Navarra.
Así, el 17 de junio de 2024 el TSJ de Navarra inadmitió una querella en el rollo penal n.º 17/2024 y dispuso abrir pieza separada en aras de examinar si había existido un abuso de derecho o mala fe procesal a los efectos del art. 247.3 y 4 de la Ley de Enjuiciamiento Civil [AP1] (en adelante, LEC).
Tras esto, el letrado reconoció haber utilizado parcialmente el ChatGPT-3 para la redacción de la querella presentando un escrito al Tribunal en el que reconocía el fallo calificándolo como un “error material grosero e involuntario” y ofreciendo a su vez sus “más sinceras excusas”. El Auto TSJN nº. 2/2024, de fecha 4 de septiembre de 2024 (Rec. Núm. 17/2024) revela el error del letrado en la redacción de una querella que, mientras unos consideran (la mayoría) que se debe al uso de la IA, otros sostienen que, no es tanto debido al uso de una plataforma de IA como ChatGPT-3, sino que el fallo se debe a la falta de verificación por parte del abogado del contenido generado por este sistema de IA.
CUESTIONES MÁS RELEVANTES DEL CASO
En este caso, el TSJ de Navarra entra a valorar si el letrado ha vulnerado o no el art. 247 LEC el cual exige el respeto a las reglas de la buena fe procesal con apercibimiento de sanción o multa en caso de su incumplimiento, entrando a valorar en el Fundamento Jurídico 3º la problemática del uso de estas tecnologías en el ámbito jurídico:
“El uso de las tecnologías emergentes y de los materiales generados por inteligencia artificial en los procedimientos judiciales no está exento de importantes consideraciones éticas y legales para garantizar un uso responsable. Lo que impone una verificación adicional, puesto que la revisión y validación de los documentos legales seguirá siendo responsabilidad de los abogados para garantizar la precisión y el cumplimiento normativo.
(…)
Los riesgos de usar ChatGPT y otras herramientas similares con fines legales se cuantificaron recientemente en un estudio de enero de 2024: Matthew Dahl et. al., «Large Legal Fictions: Elaboración de perfiles de alucinaciones jurídicas en modelos lingüísticos de gran tamaño» (2024). El estudio encontró que las alucinaciones legales son alarmantemente prevalentes, ocurriendo entre el 69% del tiempo con ChatGPT 3.5 y el 88% con Llama 2. Además, constató que los modelos lingüísticos de gran tamaño a menudo no corrigen las suposiciones jurídicas incorrectas de un usuario en una configuración de preguntas contrafactuales, y que los modelos de lenguaje de gran tamaño (LLM) no siempre pueden predecir, o no siempre saben, cuándo están produciendo alucinaciones legales.
No nos cabe duda que, el uso descuidado de estas tecnologías en los procedimientos judiciales plantea importantes implicaciones deontológicas y, desde luego, es susceptible de integrar un claro ejemplo de mala fe procesal y de abuso del proceso”.
Es curioso ver como el Auto señala que las herramientas de inteligencia artificial pueden generar “alucinaciones legales”, esto es, errores factuales que derivan en confusiones, sosteniendo que, según el estudio citado, estas “alucinaciones” suceden en un 69% de los casos con modelos como ChatGPT-3.5. Junto a esto, hace referencias a precedentes internacionales como el caso Avianca en Estados Unidos con una sanción de 5.000 dólares por un error similar al presente.
Finalmente, el TSJ de Navarra acordó archivar esta pieza separada sin sanción pecuniaria al letrado por dos motivos, el primero, por estar ante una materia altamente novedosa y, en segundo lugar, porque el letrado reaccionó inmediatamente excusándose de su error. Sin embargo, determina que el presente caso servirá de “advertencia de las implicaciones legales, deontológicas y éticas que puede plantear el uso descuidado de las nuevas tecnologías”.Y, junto a esto, destaca que garantizar la precisión y cumplimiento normativo es responsabilidad de los abogados revisar y validar los documentos legales.
¿QUÉ HA OCURRIDO CON LOS DATOS PERSONALES?
Esta resolución del TSJ de Navarra contiene la responsabilidad de quienes implementan estas herramientas en su actividad profesional y, aunque no aborda directamente la protección de datos, es inevitable no plantearse cuestiones bajo la aplicación del Reglamento General de Protección de Datos (en adelante, RGPD) y el Reglamento de Inteligencia Artificial (en adelante, RIA) como las siguientes:
- Posible tratamiento de datos personales.
- Ausencia de medidas de seguridad técnicas y organizativas adecuadas.
- Falta de evaluación de impacto de protección de datos (EIPD) según RGPD o evaluación de impacto de los derechos fundamentales (RIA).
- Principios del RGPD implicados como minimización de datos, limitación de la finalidad y responsabilidad proactiva.
- Posible vulneración del deber de confidencialidad (RGPD) y del secreto profesional.
- Posibles transferencias internacionales de datos.
En definitiva, es una situación sobre el que pueden valorarse varias controversias, no únicamente el posible abuso de derecho o mala fe procesal.
El uso de IA generativa en diversos sectores, entre los que se encuentra el jurídico, está creciendo y es inevitable, pero esta tecnología no distingue entre datos personales identificativos, sensibles o confidenciales, simplemente todo aquello que se introduce lo almacena, analiza e incluso utiliza para mejorar y desarrollar “su mejor versión”, más si se hace uso de versiones gratuitas, como el presente caso, y no de versiones específicas para entidades en las que se hayan establecido ciertas garantías contractuales.
En este contexto, en la elaboración de la querella, cabe plantearse si el abogado para detallar la información que ponía a disposición de ChatGPT-3 incluyó nombres, apellidos o algún dato de circunstancias personales de su cliente o del contrario. Es decir, si el letrado cedió datos a un tercero (OpenAI) sin consentimiento del interesado (cliente o contrario) y, por ende, habría realizado un tratamiento de datos personales sin una base de legitimación reguladas en los Considerandos 39 al 56 y artículo 6.1 del RGPD.
Junto a esto, ChatGPT opera con servidores ubicados fuera del Espacio Económico Europeo, por lo que se habría realizado una transferencia internacional de datos y conforme al art. 44 y ss. RGPD no es lícita ya que ni se informó ni se solicitó autorización para una posible transferencia internacional de datos.
Todo esto y trayendo a colación el artículo 35 del RGPD y el artículo 6 del RIA debería haberse valorado si correspondía o no realizar una evaluación de impacto de derechos fundamentales, no eximiendo esta de hacer la evaluación de impacto de protección de datos, cuestión que tampoco fue abordada por el TSJ de Navarra y que, como las anteriores, podrías ser objeto de investigación si se hubiese denunciado ante la AEPD.
Aunque no se hubiesen tratado datos personales en sentido estricto, haber compartido información protegida por el deber de secreto profesional con una IA como ChatGPT-3, podría calificarse como una vulneración del deber de confidencialidad recogido tanto en el Estatuto de Abogacía (secreto de profesionalidad) como en el RGPD (art. 5.1.f). Por ende, es conveniente dejar constancia de los riesgos que implican el uso no responsable de estas nuevas tecnologías o herramientas y desde PRODAT, indicamos las siguientes pautas a seguir en el uso de sistemas de inteligencia artificial generativa:
- No introducir datos personales en plataformas de IA no auditadas.
- Establecer políticas internas sobre el uso de IA.
- Realizar formaciones al personal sobre el uso ético y responsable de estas nuevas tecnologías.
- Realizar evaluaciones de impacto de protección de datos (art. 35 RGPD) al hacer uso de sistemas IA, y/o evaluaciones de impacto de derechos fundamentales si estamos ante los supuestos obligados por el art. 6 RIA.
- Verificación rigurosa y aplicación del criterio humano en los resultados dados por las plataformas y/o herramientas de sistemas de IA.
Este ha sido el primer aviso que, aunque terminó sin sanción, ha marcado un antes y un después como precedente clave en España al dejar constancia de los desafíos jurídicos y éticos que deben abordarse y no ignorar. La IA ofrece grandes oportunidades, pero, hay un alto riesgo es realizar automatizaciones sin control, aún más si tratamos datos personales. Por ello, es altamente recomendable la supervisión humana efectiva en el uso de estas herramientas y la implementación de medidas de seguridad técnicas y organizativas óptimas para garantizar un uso responsable de las mismas.
En definitiva, para aprovechar las oportunidades que ofrece la inteligencia artificial debe abordarse una mayor concienciación sobre los individuos y entidades para utilizar la IA de forma responsable, transparente y bajo los principios del RGPD y RIA.
