Participantes (por orden alfabético)
María Barcenilla Torres, Directora de KPMG
Cristina Muñoz-Aycuens, Directora de Grant Thorton
Ángel Niño, Concejal de Innovación y Emprendimiento del Ayuntamiento de Madrid
Alfonso Trallero Masó, Socio Director de Trallero Boutique Penal
Introducción
Alfonso Trallero, tras agradecer a los invitados su presencia, les presenta la dinámica del Think Lab, consistente en turnos individuales de intervención, cuya duración aproximada será entre 5 y 10 minutos, en los que los ponentes expondrán sus principales ideas acerca de la situación actual de la Inteligencia Artificial, así como los retos que la misma plantea.
Exposiciones (por orden de intervención)
Cristina Muñoz-Aycuens
Cristina Muñoz-Aycuens, en su intervención inicial, señala que, en esta materia, a la vista del avance imparable de la tecnología, a veces es difícil determinar las prioridades. Y recuerda que en la primera sesión del Think Lab Penal abordamos el metaverso como algo más inminente de lo que finalmente ha resultado.
Señala que, en el ámbito de la IA, y ya desde 2021, con la propuesta de la Unión Europea hay un intento de regular la revolución que supondrá esta tecnología en el futuro más próximo. Cristina entiende que la ley europea será pionera, ya que regulará los riesgos y las partes más positivas de la IA, con un gran énfasis en los derechos de los ciudadanos y los deepfakes, que, como advierte, están ya de actualidad y generan, de media, que 1 de cada 4 personas sea víctima de ciberdelincuencia.
Advierte que la Inteligencia Artificial va a tener un crecimiento exponencial y que hay un intento por parte de las empresas tecnológicas más importantes de frenar un desarrollo no controlado; es decir, desde estos sectores se procede con cautela ante los riesgos que esta tecnología entraña, muchos de ellos desconocidos. Cristina Muñoz-Aycuens entiende que, al fin y al cabo, queda por delante un difícil trabajo de análisis de los riesgos inherentes a la inteligencia artificial.
Por otro lado, señala que durante el año 2022 se creó un grupo dentro del Consejo General del Poder Judicial con el objeto de analizar cómo se podrían implementar los sistemas de Inteligencia Artificial en la Administración de Justicia. Cristina Muñoz-Aycuens considera que será necesario un examen exhaustivo del día a día del funcionamiento de esta administración, que se necesita ir paso a paso y es necesario desarrollar unas bases de datos normalizadas y potentes para, sobre esta base, incluir elementos más complejos. Actualmente se requiere, por tanto, una base previa para que la Inteligencia Artificial pueda resultar eficaz al servicio de empresas y administraciones.
Ángel Niño
El Concejal de Innovación y Emprendimiento del Ayuntamiento de Madrid comienza su turno de intervención describiendo el contexto actual y algunos antecedentes de la Inteligencia Artificial: en 1943 se publica el primer paper de la Inteligencia Artificial, en 2006 funda una startup dedicada al lenguaje de la Inteligencia Artificial y en marzo de 2023 se democratiza la Inteligencia Artificial, encarnada en el ChatGPT.
Actualmente el concepto de la Inteligencia Artificial se aleja de figuras, algunas tradicionales, como los algoritmos, y otras que se han quedado estancadas, como el metaverso, y se concibe como una herramienta que aprende, responde, e improvisa.
Hoy en día el uso de la Inteligencia Artificial, en mayor o menor medida, se ha extendido, sobre todo, a las empresas, pues son quienes, sobre todo, incorporan esta tecnología para agilizar sus procesos de producción. Esto, evidentemente, va a suponer un cambio en la forma de organizar los medios de producción, pero sin que ello vaya a implicar la sustitución completa de los humanos por máquinas, pues siempre se necesitará a una persona para comprobar, corregir, o personalizar; pone, como ejemplo de lo anterior, el nacimiento y desarrollo de los ordenadores.
El siguiente tema sobre el cual centra su exposición es el futuro Reglamento de Inteligencia Artificial de la Unión Europea, empezando por aclarar que él no está a favor de tal Reglamento. Desde su punto de vista, el Reglamento va a frenar la innovación, puesto que establece unas exigencias de supervisión y autorización a las que no estarán dispuestas a someterse todas las empresas, sobre todo las startups. Según él, no deberíamos desaprovechar las oportunidades económicas que genera la Inteligencia Artificial, pues, en todo caso, esta herramienta ha llegado para quedarse y no va sino a seguir expandiéndose a mayores ámbitos en los próximos años.
Siguiendo esta línea, aporta una pequeña perspectiva comparada, señalando cómo Europa se está centrando, dentro de la incidencia de la Inteligencia Artificial, en los derechos fundamentales, mientras que en Estados Unidos no había esa preocupación, y es ahora cuando comienza a surgir, y, desde luego, donde no existe ni por asomo es en China, a quien no debemos perder de vista (pone como ejemplo TikTok, cuyo uso se ha propagado a la velocidad de la luz, sobre todo entre los más jóvenes).
Para terminar su exposición, se centra en hablar sobre la aplicación de la Inteligencia Artificial al mundo jurídico. Según su criterio, los principales usos que se van a dar a la Inteligencia Artificia en el corto plazo, y de hecho ya está sucediendo, es, por una parte, la del procesamiento de datos, siendo especialmente útil en los escenarios en los que hay mucha información que procesar, como en las macro causas, demandas colectivas, etc; y, por otra, la redacción de demandas o escritos sencillos.
A sensu contrario, rechaza que la Inteligencia Artificial pueda sustituir a los letrados en sala, como tampoco lo hará con los jueces.
María Barcenilla Torres
María, por su parte, apunta la relevancia que tiene el hecho de que la Inteligencia Artificial esté programada para ser una herramienta conversacional, pero, al menos de momento, no veraz; es decir, funciona en base a parámetros de probabilidad lingüística.
Recalca la importancia de contar con una definición exhaustiva y acertada de lo que entendemos por Inteligencia Artificial, ya que considera que hay muchas cosas que no deberían de entrar dentro del concepto. La importancia de una buena definición reside en que esta constituirá la base de toda la regulación posterior.
La ponente se muestra escéptica respecto a la nueva regulación europea, ya que entiende que esta quedará obsoleta en el momento mismo de su publicación; todo apunta a que la IA se moverá con inusitada rapidez y es un reto de la legislación el tratar de seguir el ritmo a estos avances.
Así mismo, María coincide en la importancia de unas bases de datos de calidad como el andamiaje necesario para construir una Inteligencia eficaz. Señala que ahora mismo las empresas tienen un problema con el procesamiento y el adecuado gobierno de datos y esto dificulta enormemente la tarea de la Inteligencia Artificial.
Alfonso Trallero
Alfonso Trallero resalta el interés de los temas tratados y hace referencia al uso por parte de los juristas de los primeros sistemas y programas informáticos que salieron al mercado. Los instrumentos que existían antes de la implantación de los medios informáticos en el sector legal muchas veces no permitían que un abogado pudiera atender más asuntos por una cuestión de tiempo. Entiende que, a priori, la Inteligencia Artificial parece una herramienta útil para el ahorro de tiempo y recursos, pero debemos tener en cuenta situaciones que ya han llegado a ocurrir en Estados Unidos, donde un abogado incluyó sentencias inexistentes que le fueron facilitadas por la Inteligencia Artificial en uno de sus escritos, lo que lleva a plantearnos si la Inteligencia Artificial es capaz de mentir para satisfacer una demanda de información por parte de un usuario.
Por otro lado, y a raíz de la intervención de María Barcenilla, Alfonso Trallero señala que, en el caso de informes periciales de evidencia digital, siempre existe el problema de la extracción de datos. La protección de la intimidad y la privacidad prohíbe la entrada en cuentas de correo sin un consentimiento. Alfonso Trallero explica que actualmente existe un sistema denominado “palabras clave” que es capaz de buscar dentro de un volumen inmenso de datos, aquellos resultados que guarden relación con los parámetros elegidos. Para estos casos, entiende que la Inteligencia Artificial puede facilitar esta tarea de extracción de datos a la vez que se garantiza el derecho a la intimidad, al no producirse un acceso humano a datos sensibles que pueda provocar que la investigación haya sido lesiva para el derecho a la intimidad del investigado.
Debate
Al margen de la anterior reflexión, Alfonso Trallero empieza el debate recalcando la necesidad de una nueva propuesta de regulación, a fin de delimitar la responsabilidad penal que podría generarse por actuaciones dañinas de la Inteligencia Artificial. En este sentido, señala que, aunque existen iniciativas para la regulación de la responsabilidad penal, aun se siguen suscitando muchas dudas en ciertos casos ya que, aunque sea capaz de tomar decisiones que pueden generar daños y vulneraciones, una Inteligencia Artificial no tiene hoy por hoy consciencia.
El mayor óbice con el que nos encontramos es la ausencia de personalidad jurídica de la Inteligencia Artificial. Este debate puede parecer prematuro, pero debe tenerse en cuenta que, si finalmente consideramos que la Inteligencia Artificial no puede tener en ningún caso personalidad jurídica, muchos o parte de los ataques de una Inteligencia Artificial que puedan ser constitutivos de delito podrían quedar impunes.
Así, en los casos en que sea propiamente la Inteligencia Artificial quien acometa la acción, no podría en principio aplicarse la figura de la autoría medial, mediante la cual se castiga a quien se vale de otra persona para cometer un delito, puesto que esta tipología de autoría solo está pensada para instrumentos que sean personas físicas, no para la Inteligencia Artificial.
María Barcenilla ve muy difícil identificar quién está detrás, tesis apoyada, igualmente, por el resto de ponentes. A este respecto, Alfonso Trallero señala que la propuesta de Reglamento trata de obligar a constatar la trazabilidad de los procesos seguidos por la Inteligencia Artificial para llegar a un resultado, si bien Cristina Muñoz-Aycuens apunta que dicha obligación de trazabilidad es útil para las empresas, pero no para los delincuentes, que van a carecer de protocolos o de cualquier mecanismo que permita esta trazabilidad.
En relación con esto, Alfonso Trallero pregunta si se puede obligar, por ejemplo, a todas las entidades de crédito, en base al alto volumen de información que manejan, a establecer férreos sistemas de trazabilidad de los sistemas informáticos que emplean en su actividad, denegando por ejemplo el acceso a quienes pretendan conectarse a ellos sin certificar esa trazabilidad.
Cristina Muñoz-Aycuens responde que sí, que todas las entidades bancarias tienen programas para registrar y analizar quién y cómo se conecta a sus servidores, pero falta hacer análisis y estudios más profundos para poder diseñar herramientas de defensa basadas en la Inteligencia Artificial.
Ángel Niño apoya esta tesis, e incide en la idea de que los delincuentes hackers no están formados por aficionados, sino por profesionales, cuyo modus operandi suele ser sofisticado, utilizando múltiples servidores espejo, y que, si bien se ubican de manera más frecuente en Rusia, China, Suramérica, también los hay en España. Y, ante este fenómeno, recalca el gran esfuerzo que queda por hacer en materia de defensa, tanto en el entorno público como privado.
Efectivamente, tal y como apunta María Barcenilla, el problema es que los ataques ilícitos que se llevan a cabo con la Inteligencia Artificial son poliédricos, siendo muy difícil de captar, salvo que sean muy burdos. Como ejemplo, narra el caso en el que un empleado de una empresa fue víctima de una estafa a través de un deepfake de videollamada con su supuesto CFO. Es de máxima importancia, por tanto, establecer controles internos dentro de las empresas y fortalecer estos entornos de control.
Cristina Muñoz-Aycuens está absolutamente de acuerdo, apostando, en el ámbito empresarial, por el análisis de los potenciales riesgos para la consecuente adopción de las medidas que sean más idóneas. Así, en múltiples ocasiones, son los empleados quienes generan esos riesgos por falta de control de los empleadores.
Y para el supuesto de los particulares, todos apuestan por la educación y concienciación; Cristina Muñoz-Aycuens considera que el Phishing y Smishing tienen un componente directamente relacionado con la víctima, su propia personalidad, falta de concienciación y formación en la materia, de ahí la importancia de este trabajo previo. Todo ello teniendo en cuenta, además, que va a ver casos en los que se cometan imprudencias por parte de los empleados, a pesar de las formaciones recibidas (a continuación, pone ejemplos concretos derivados de los cursos de formación por ella impartidos).
Esto es apoyado por Ángel Niño, quien pone de relieve que en el día a día tenemos barreras de protección que funcionan sin que siquiera nos enteremos -por ejemplo, la criba de correo no deseado que hace cualquier cuenta de Hotmail o Gmail diariamente, o los bloqueos de páginas webs que hacen automáticamente los navegadores si entienden que la página a la que queremos acceder es fraudulenta-, pero, en algunas ocasiones esas barreras no saltan y es necesario que los individuos tengan más concienciación para burlar aquellos engaños que no sean tan evidentes. A este respecto, Cristina Muñoz-Aycuens cuenta que llevó un caso hace años en el que una empresa de mensajería sufrió un ciberataque, y, como consecuencia, a través del acceso a la aplicación de los clientes, los atacantes sabían quiénes de los clientes recibirían un paquete, cuándo y dónde, y gracias a ello se aprovecharon de los datos y enviaron mensajes para que estos clientes pagasen un sobrecoste. Cree que en este tipo de casos la concienciación social es vital, estar formados en este tipo de fraudes y tener herramientas para identificarlos, acudir a las páginas oficiales y acudir a otras vías alternativas en caso de duda.
Ahondando en la implantación de una normativa de prevención de las posibles actuaciones dañinas de la Inteligencia Artificial, Alfonso Trallero pregunta a los ponentes si piensan que la implantación de una regulación de la Inteligencia Artificial puede generar el riesgo de ahuyentar del mercado español a los desarrolladores de la Inteligencia Artificial.
María Barcenilla entiende que la legislación puede funcionar como un obstáculo al desarrollo de la Inteligencia Artificial, pero lo concibe como un “mal necesario” para la protección de los derechos fundamentales. Pone de ejemplo el sistema de inteligencia artificial de acceso a créditos, que pasará necesariamente por establecer una serie de cánones que impidan el trato discriminatorio y la inclusión de ciertos sesgos.
A este respecto, Cristina Muñoz-Aycuens señala su preocupación por el contraste entre la increíble rapidez en el desarrollo de la IA y la lentitud legislativa, que hace que las normas se queden rápidamente obsoletas.
Alfonso Trallero comenta que el Reglamento establece unos presupuestos para armonizar la regulación de la Inteligencia Artificial, pero sigue sin descender al problema bajo su punto de vista, y, a continuación, pregunta a los ponentes si conocen alguna de las iniciativas que en España se están intentado implementar, como Sandbox, y qué opinión les merecen. A este respecto, María Barcenilla considera que el hecho de que hayamos creado una oficina de supervisión de la Inteligencia Artificial denota el rol pionero que nuestro país quiere asumir. Encuentra al Sandbox una herramienta muy útil, generando un entorno seguro y aislado para realizar pruebas y favorecer el desarrollo.
Alfonso Trallero pregunta a María Barcenilla y Cristina Muñoz-Aycuens si es posible analizar completamente un sistema de Inteligencia Artificial con el acceso a su algoritmo y a su trazabilidad. Ello es contestado afirmativamente por ambas ponentes, quienes aseveran que si se saben los patrones e instrucciones de los algoritmos que componen la Inteligencia Artificial, se puede llevar a cabo un buen informe forense, destripando las variables que influyen en el algoritmo de la Inteligencia Artificial que se esté examinando, así como el patrón bajo el cual operan y la información que contienen.
Ello es completado con la intervención de Cristina Muñoz-Aycuens, quien señala la importancia de establecer una coordinación eficaz entre los Estados europeos con el fin de que el intercambio de información sea ágil ante procedimientos penales y comisiones rogatorias. Apunta a la increíble capacidad de aprendizaje de la Inteligencia Artificial, que podría de alguna manera equipararse con la de un niño en crecimiento que cada día retiene más información y la usa en su desarrollo.
A continuación, Alfonso Trallero requiere la opinión de los ponentes sobre la posibilidad de que en un futuro la Inteligencia Artificial pueda tomar consciencia de sí misma; es decir, si una Inteligencia Artificial que va entrenándose y aprendiendo, puede acabar preguntándose a sí misma quién es y qué hace aquí, tal y como ocurre con los seres humanos.
A Cristina Muñoz-Aycuens ello no le parece, para nada, un escenario imposible, dado que la Inteligencia Artificial va aprendiendo de tus datos, preferencias, o patrones; María Barcenilla está completamente de acuerdo.
En ese escenario, Alfonso Trallero entiende que la Inteligencia Artificial podría acabar teniendo responsabilidad jurídica, pudiendo responder penalmente de sus acciones.
Por último, Alfonso Trallero termina el debate exponiendo una posible solución, desde una perspectiva jurídico-penal, para la actual regulación de cualesquiera delitos cometidos por o a través de Inteligencia Artificial y que supere las actuales limitaciones derivadas de la ausencia de personalidad jurídica de la IA –lo que impide a su vez, como ya se ha dicho, el empleo de la autoría mediata- y de la falta de establecimiento en los actuales tipos delictivos (salvo algunas excepciones) de previsiones que permitan sancionar adecuadamente estas conductas.
A este respecto, se plantea si podría pensarse en establecer un sistema de control o cumplimiento similar al que se establece para las personas jurídicas, el cual supuso en su momento un completo cambio de paradigma.
Recuerda que con la entrada del sistema de responsabilidad de las personas jurídicas hubo que reconsiderar la dogmática penal y entender que, salvo que quisiéramos abrogar la prohibición de sanción por el hecho ajeno, debíamos encontrar el hecho propio por el que cabía penar a la persona jurídica, siendo hoy ya pacífico que este se refiere a la desatención al deber de respeto de la misma norma penal. Y de ahí que la persona jurídica responda por un hecho propio, que se corresponde con el incumplimiento del deber igualmente propio de minimizar el riesgo de que se cometan delitos a su través.
Lo que se plantearía, así, es si, al margen de que pueda establecerse que el ataque de la Inteligencia Artificial al bien jurídico protegido por la norma penal haya sido buscado por el programador, usuario, etc, pueda en todo caso hacerse responder a la persona física o jurídica detrás del funcionamiento anómalo de la AI, por el incumplimiento de su deber de evitar que la misma, al operar por sí misma, atente contra los bienes jurídicos protegidos por la norma penal.
Para concluir, Alfonso Trallero dice que la cuestión no puede quedar en el aire, pues en un nivel de riesgo tan probable y tan inminente, las medidas tardías pueden tener consecuencias muy graves.
CONCLUSIONES
1ª La Inteligencia Artificial es una herramienta cada vez más presente en nuestra sociedad, cuyas aplicaciones serán cada vez más diversas y abarcarán mayores ámbitos con el paso del tiempo.
2ª Este crecimiento exponencial demanda la creación de un marco jurídico claro y previsible, en aras a la protección de los derechos fundamentales, si bien su diseño no está exento de retos, puesto que si se opta por una regulación demasiado concreta se puede correr el riesgo de desincentivación de la innovación, por un lado, y de obsolescencia incluso antes de su nacimiento, que es la principal crítica del futuro Reglamento Europeo de Inteligencia Artificial.
3ª De igual modo, se ha de llevar a cabo un esfuerzo mayor en la implementación de medidas de seguridad adecuadas, tanto en el ámbito público, como en el privado. De igual modo, para aumentar la protección frente al posible uso delictivo de la Inteligencia Artificial, se han de incrementar las labores de sensibilización, educación y concienciación de la población, tanto por parte de los poderes públicos, como de las empresas.
4ª Asimismo, dado que la Inteligencia Artificial es ya una realidad, desde la perspectiva del derecho penal se debe trabajar en la creación de un régimen que permita sancionar los ilícitos que se cometan mediante esta tecnología, superando los problemas derivados de la falta de personalidad jurídica de la propia AI. Una posible alternativa podría ser la implementación de un sistema de responsabilidad análogo al de las personas jurídicas consagrado en el artículo 31 bis y siguientes del Código Penal, si bien con las necesarias adaptaciones.
5ª Todo ello, sobre la premisa de que, en el estado actual de la tecnología, si bien la Inteligencia Artificial es un instrumento que aprende y evoluciona, no se concibe como un ente autónomo ni con consciencia propia, de modo que siempre requerirá la intervención humana, aunque sea para llevar a cabo labores de supervisión.