INTELIGENCIA ARTIFICIAL Y SECTOR PÚBLICO
Retos, límites y medios
COMITÉ CIENTÍFICO DE LA EDITORIAL TIRANT LO BLANCH
María José Añón Roig
Catedrática de Filosofía del Derecho de la Universidad de Valencia
Ana Cañizares Laso
Catedrática de Derecho Civil de la Universidad de Málaga
Jorge A. Cerdio Herrán
Catedrático de Teoría y Filosofía de Derecho. Instituto Tecnológico Autónomo de México
José Ramón Cossío Díaz
Ministro en retiro de la Suprema
Corte de Justicia de la Nación y miembro de El Colegio Nacional
María Luisa Cuerda Arnau
Catedrática de Derecho Penal de la Universidad Jaume I de Castellón
Carmen Domínguez Hidalgo
Catedrática de Derecho Civil de la Pontificia Universidad Católica de Chile
Eduardo
Ferrer Mac-Gregor Poisot
Juez de la Corte Interamericana de Derechos Humanos
Investigador del Instituto de Investigaciones Jurídicas de la UNAM
Owen Fiss
Catedrático emérito de Teoría del Derecho de la Universidad de Yale (EEUU)
José Antonio García-Cruces González
Catedrático de Derecho Mercantil de la UNED
José Luis González Cussac
Catedrático de Derecho Penal de la Universidad de Valencia
Luis López Guerra
Catedrático de Derecho Constitucional de la Universidad Carlos III de Madrid
Ángel M. López y López
Catedrático de Derecho Civil de la Universidad de Sevilla
Marta Lorente Sariñena
Catedrática de Historia del Derecho de la Universidad Autónoma de Madrid
Javier de Lucas Martín
Catedrático de Filosofía del Derecho y Filosofía Política de la Universidad de Valencia
Víctor Moreno Catena
Catedrático de Derecho Procesal de la Universidad Carlos III de Madrid
Francisco Muñoz Conde
Catedrático de Derecho Penal de la Universidad Pablo de Olavide de Sevilla
Angelika Nussberger
Catedrática de Derecho Constitucional e Internacional en la Universidad de Colonia (Alemania)
Miembro de la Comisión de Venecia
Héctor Olasolo Alonso
Catedrático de Derecho Internacional de la Universidad del Rosario (Colombia) y
Presidente del Instituto Ibero-Americano de La Haya (Holanda)
Luciano Parejo Alfonso
Catedrático de Derecho Administrativo de la Universidad Carlos III de Madrid
Consuelo Ramón Chornet
Catedrática de Derecho Internacional
Público y Relaciones Internacionales de la Universidad de Valencia
Tomás Sala Franco
Catedrático de Derecho del Trabajo y de la Seguridad Social de la Universidad de Valencia
Ignacio Sancho Gargallo
Magistrado de la Sala Primera (Civil) del Tribunal Supremo de España
Elisa Speckmann Guerra
Directora del Instituto de Investigaciones
Históricas de la UNAM
Ruth Zimmerling
Catedrática de Ciencia Política de la Universidad de Mainz (Alemania)
Fueron miembros de este Comité:
Emilio Beltrán Sánchez, Rosario Valpuesta Fernández y Tomás S. Vives Antón
Procedimiento de selección de originales, ver página web:
www.tirant.net/index.php/editorial/procedimiento-de-seleccion-de-originales
INTELIGENCIA ARTIFICIAL Y SECTOR PÚBLICO Retos,
límites y medios
EDUARDO GAMERO CASADO Director
FRANCISCO L. PÉREZ GUERRERO Coordinador
Programa Operativo FEDER 2014-2020
Proyecto de investigación UPO-1381574, “Inteligencia artificial y Derecho Administrativo”
Red DAIA
Derecho Administrativo e Inteligencia Artificial http://reddaia.org/
tirant lo blanch
Valencia, 2023
Copyright ® 2023
Todos los derechos reservados. Ni la totalidad ni parte de este libro puede reproducirse o transmitirse por ningún procedimiento electrónico o mecánico, incluyendo fotocopia, grabación magnética, o cualquier almacenamiento de información y sistema de recuperación sin permiso escrito de los autores y del editor.
En caso de erratas y actualizaciones, la Editorial Tirant lo Blanch publicará la pertinente corrección en la página web www.tirant.com.
© TIRANT LO BLANCH
EDITA: TIRANT LO BLANCH
C/ Artes Gráficas, 14 - 46010 - Valencia
TELFS.: 96/361 00 48 - 50
FAX: 96/369 41 51
Email:tlb@tirant.com
www.tirant.com
Librería virtual: www.tirant.es
DEPÓSITO LEGAL: V-1554-2023
ISBN: 978-84-1169-063-8
MAQUETA: Disset Ediciones
Si tiene alguna queja o sugerencia, envíenos un mail a: atencioncliente@tirant.com. En caso de no ser atendida su sugerencia, por favor, lea en www.tirant.net/index.php/empresa/politicas-de-empresa nuestro procedimiento de quejas.
Responsabilidad Social Corporativa: http://www.tirant.net/Docs/RSCTirant.pdf
© Eduardo Gamero Casado (Dir.) Francisco L. Pérez Guerrero (Coord.)Autores
EDUARDO GAMERO CASADO
FRANCISCO L. PÉREZ GUERRERO
FRANCISCO GONZÁLEZ CABANES
NORBERTO DÍAZ DÍAZ
CARLOS TORRECILLA-SALINAS
LUCA TANGI
PETER ULRICH
MARINA MANZONI
SVEN SCHADE
EVA MARTÍNEZ-RODRÍGUEZ
FRANCESCO PIGNATELLI
ANTONIO DAVID BERNING PRIETO
ISAAC MARTÍN DELGADO
JULI PONCE SOLÉ
RUBÉN MARTÍNEZ GUTIÉRREZ
LORENZO COTINO HUESO
JULIÁN VALERO TORRIJOS
AGUSTÍ CERRILLO I MARTÍNEZ
ISABEL GALLEGO CÓRCOLES
RAMON GALINDO CALDÉS
JUAN CARLOS HERNÁNDEZ PEÑA
MARÍA PÉREZ NARANJO
M. ASCENSIÓN MORO CORDERO
ORIOL MIR PUIGPELAT
EMILIA GÓMEZ
ISABELLE HUPONT TORRES
IGNACIO SÁNCHEZ
DAVID FERNÁNDEZ LLORCA
ALEJANDRO HUERGO LORA
IGNACIO ALAMILLO DOMINGO
Índice Abreviaturas y acrónimos ......................................................................... 25 Prefacio .................................................................................................... 31 EDUARDO GAMERO CASADO, FRANCISCO L. PÉREZ GUERRERO PRIMERA PARTE: LA INTELIGENCIA ARTIFICIAL Y SUS APLICACIONES EN EL SECTOR PÚBLICO Capítulo I ¿Qué es la Inteligencia Artificial? FRANCISCO GONZÁLEZ CABANES NORBERTO DÍAZ DÍAZ 1.- INTRODUCCIÓN A LA INTELIGENCIA ARTIFICIAL ................... 38 1.1.- Conceptos Previos y Aclaraciones ............................................... 38 1.2.- Historia ...................................................................................... 43 1.3.- Casos de Uso de la Inteligencia Artificial .................................... 45 2.- EL PROCESO DE EXTRACCIÓN DE CONOCIMIENTO: KDD ..... 47 2.1.- Mecanismos de Aprendizaje ....................................................... 49 2.2.- Generalización del Conocimiento ............................................... 50 3.- ALGORITMOS CLÁSICOS DE APRENDIZAJE................................ 51 3.1.- Aprendizaje Supervisado ............................................................ 51 3.1.1.- Arboles de Decisión ......................................................... 51 3.2.- Aprendizaje No Supervisado ...................................................... 54 3.2.1.- Clustering ........................................................................ 54 3.2.2.- Biclustering 56 3.3.- Redes Neuronales ....................................................................... 57 4.- LA REVOLUCIÓN DIGITAL Y DEL DATO ...................................... 61 4.1.- La Importancia de Los Datos ..................................................... 63 5.- ALGORITMOS MODERNOS DE APRENDIZAJE: DEEP LEARNING ................................................................................................. 64 5.1.- Redes Neuronales Profundas: Deep Learning ............................. 64 5.2.- Diferencias entre Machine Learning y Deep Learning................. 64 5.3.- Transversalidad del Deep Learning ............................................. 67 5.4.- Transfer Learning ....................................................................... 68 6.- EL PRESENTE Y FUTURO DE LA INTELIGENCIA ARTICICIAL ... 69 7.- CONCLUSIONES .............................................................................. 70 8.- BIBLIOGRAFÍA CITADA ................................................................... 71
10 Índice Capítulo II ¿Para qué sirve la Inteligencia Artificial en el sector público? Casos de uso y perspectivas de aplicación CARLOS TORRECILLA-SALINAS, LUCA TANGI, PETER ULRICH, MARINA MANZONI, SVEN SCHADE, EVA MARTÍNEZ-RODRÍGUEZ, FRANCESCO PIGNATELLI 1.- ¿CÓMO DEFINIR LA INTELIGENCIA ARTIFICIAL? ..................... 74 2.- ¿POR QUÉ ES IMPORTANTE LA INTELIGENCIA ARTIFICIAL PARA EL SECTOR PÚBLICO? .......................................................... 76 3.- ¿CÓMO SE UTILIZA ACTUALMENTE LA INTELIGENCIA ARTIFICIAL EN EL SECTOR PÚBLICO? .................................................. 79 4.- CONCLUSIONES Y RECOMENDACIONES 88 BIBLIOGRAFÍA CITADA ........................................................................ 90 SEGUNDA PARTE: RÉGIMEN JURÍDICO Sección primera: Algoritmos y Derecho Capítulo III La naturaleza jurídica de los algoritmos ANTONIO DAVID BERNING PRIETO 1.- INTRODUCCIÓN .............................................................................. 96 2.- CONCEPTUALIZACIÓN DE LOS ALGORITMOS Y DISTINCIÓN DE FIGURAS AFINES ........................................................................ 97 3.- POSICIONES DOCTRINALES EXISTENTES ................................... 101 4.- LA VERDADERA PROBLEMÁTICA QUE SUBYACE: LA NECESIDAD DE DOTAR DE GARANTÍAS JURÍDICAS SUFICIENTES AL USO DE ALGORITMOS POR PARTE DE LA ADMINISTRACIÓN 104 4.1.- La única solución posible: dotar a los algoritmos de un régimen jurídico adecuado ....................................................................... 104 4.3.- Del control de las decisiones adoptadas por los poderes públicos mediante el uso de algoritmos predictivos............................. 113 4.4.- De los diversos sesgos a que pueden dar lugar la actividad administrativa al hacer uso de los algoritmos 115 4.4.1.- Posibles sesgos derivados del empleo de algoritmos en el procedimiento administrativo .......................................... 116 4.4.2.- Posibles sesgos derivados del empleo de algoritmos en la prestación de servicios públicos ....................................... 119
11 Índice 4.4.3.- Posibles sesgos en usos algorítmicos relacionados con el ejercicio de las potestades de investigación o comprobación de las administraciones públicas .............................. 121 4.5.- De la necesidad de prever, en las licitaciones públicas, la cesión en favor de la Administración de los derechos de propiedad intelectual o industrial inherentes a los algoritmos que se desarrollen o se utilicen .......................................................................... 124 5.- CONCLUSIONES .............................................................................. 127 BIBLIOGRAFÍA CITADA ........................................................................ 129 Capítulo IV La aplicación del principio de transparencia a la actividad administrativa algorítmica ISAAC MARTÍN DELGADO 1.- A MODO DE INTRODUCCIÓN ....................................................... 132 1.1.- El gran reto para el jurista 132 1.2.- Algunas preguntas previas .......................................................... 136 2.- CONCEPTO Y CONTEXTO ............................................................. 140 3.- PRETEXTO ........................................................................................ 146 4.- LA TRANSPARENCIA DE LA ACTIVIDAD ADMINISTRATIVA ALGORÍTMICA ..................................................................................... 153 4.1.- Premisa ...................................................................................... 153 4.2.- Un ejercicio práctico: regular la transparencia de la actividad administrativa algorítmica .......................................................... 154 4.3.- Publicidad activa y derecho de acceso en relación con el uso de IA en el sector público ................................................................ 162 5.- A MODO CONCLUSIÓN: ALGUNAS GARANTÍAS NECESARIAS 172 BIBLIOGRAFÍA CITADA ........................................................................ 188 Capítulo V Seres humanos e inteligencia artificial: discrecionalidad artificial, reserva de humanidad y supervisión humana JULI PONCE SOLÉ 1.- INTRODUCCIÓN: OBJETO DE ESTE ANÁLISIS ............................. 196 2.- HUMANOS, EMPATÍA, INTELIGENCIA ARTIFICIAL, DISCRECIONALIDAD ................................................................................... 199 3.- RESERVA DE HUMANIDAD Y “DISCRECIONALIDAD ARTIFICIAL” ................................................................................................. 206 3.1.- Reserva de humanidad general ................................................... 207
12 Índice 3.2.- Reserva de humanidad referida al ejercicio de la discrecionalidad ............................................................................................. 209 4.- SUPERVISIÓN HUMANA DE LA IA: THE HUMAN IN THE LOOP ................................................................................................ 213 5.- CONCLUSIONES Y TEMAS PARA CONSIDERAR EN EL FUTURO 218 BIBLIOGRAFÍA CITADA ........................................................................ 224 Capítulo VI Responsabilidad administrativa por el uso de la Inteligencia Artificial RUBÉN MARTÍNEZ GUTIÉRREZ 1.- PLANTEAMIENTO GENERAL......................................................... 228 2.- ASPECTOS CONCEPTUALES DE LA RESPONSABILIDAD ADMINISTRATIVA POR EL USO DE LA IA .............................................. 229 2.1.- Concepto de Inteligencia Artificial a los efectos del presente estudio ........................................................................................ 229 2.2.- Concepto legal de responsabilidad administrativa ...................... 232 3.- BREVE REFERENCIA A LAS ESPECIALIDADES DEL PROCEDIMIENTO PARA EXIGIR RESPONSABILIDAD ADMINISTRATIVA 235 3.1.- Iniciación del procedimiento....................................................... 235 3.1.1.- Inicio de oficio. Una modalidad de inicio con buen encaje en supuestos de daño por IA ........................................ 235 3.1.2.- Inicio a solicitud de las personas interesadas ................... 236 3.2.- Instrucción del procedimiento 237 3.2.1.- Los informes y dictámenes en los procedimientos de responsabilidad patrimonial ................................................ 237 3.2.2.- Las especialidades del trámite de audiencia en materia de responsabilidad patrimonial ....................................... 239 3.3.- Terminación del procedimiento .................................................. 239 3.3.1.- Los órganos competentes para resolver procedimientos de responsabilidad patrimonial ....................................... 239 3.3.2.- La resolución de los procedimientos de responsabilidad patrimonial. Especialidades ............................................. 240 4.- EL PARÁMETRO DE CALIDAD Y LOS ELEMENTOS PARA LA EXIGIBILIDAD DE LA RESPONSABILIDAD ADMINISTRATIVA POR IA .............................................................................................. 241 4.1.- Elementos para la exigibilidad de la responsabilidad administrativa ......................................................................................... 241 4.2.- Parámetro de la calidad en el uso de tecnologías de IA en el sector público ............................................................................. 244 5.- SUPUESTOS DE POSIBLE APLICACIÓN DE LA RESPONSABILIDAD ADMINISTRATIVA POR INTELIGENCIA ARTIFICIAL ......... 247
el sesgo y el error algorítmico es relevante para constituir una discriminación?
13 Índice 6.- CONCLUSIONES .............................................................................. 249 BIBLIOGRAFÍA CITADA ........................................................................ 251 Sección Segunda: Los derechos y la legislación administrativa como límites a la IA Capítulo VII Discriminación, sesgos e igualdad de la inteligencia artificial en el sector público LORENZO COTINO HUESO 1.- SESGOS Y DISCRIMINACIÓN ALGORÍTMICA ¿DE QUÉ HABLAMOS? Y ALGUNOS EJEMPLOS ....................................................... 260 1.1.- Sesgos, errores y discriminación algorítmica y la conveniencia de abordarlos conjuntamente...................................................... 260 1.2.- Algunos ejemplos de discriminación algorítmica pública ............ 262 2.- ¿POR QUÉ SE GENERAN LA DISCRIMINACIÓN Y LOS SESGOS ALGORÍTMICOS? ............................................................................ 269 3.- ¿RESPECTO DE QUÉ IA PÚBLICA ES EXIGIBLE LA NO DISCRIMINACIÓN? ..................................................................................... 272 3.1.- La igualdad es exigible respecto de los sistemas de IA públicos, sus usos y sus efectos, aunque resulte difícil su categorización .... 272 3.2.- El grado de legalidad exigible para diseño, implantación y uso del sistema de IA público ............................................................ 276 4.- ¿CUÁNDO EL USO PÚBLICO DE UN SISTEMA DE IA TIENE IMPACTO Y SUFICIENTE RELEVANCIA JURÍDICA Y PUEDE CONSTITUIR UNA DISCRIMINACIÓN ALGORÍTMICA? ....................... 277 4.1.- Los criterios y variables para
el impacto, nivel de
y
jurídica de los sistemas algorítmicos públicos 277
Datos estadísticos en discriminaciones indirectas y
necesidad de “recalibrarlos” a la baja para la IA pública........................................................................................ 283 5.- DISCRIMINACIONES ALGORÍTMICAS POR ERROR, DIRECTAS, INDIRECTAS, INTERESECCIONALES Y ACCIONES POSITIVAS ALGORÍTMICAS .............................................................................. 285 5.1.- La discriminación o sesgo algoritmo será en la mayoría de supuestos “discriminación por error” ............................................. 286 5.2.- Discriminaciones algorítmicas directas, interseccionales y por asociación ................................................................................... 286 5.3.- La complejidad de las discriminaciones algorítmicas indirectas .. 287 5.4.- Acciones positivas algorítmicas, deber de diferenciación y modulaciones y compensaciones para la minimización de la discriminación..................................................................................... 289
determinar
riesgo
relevancia
4.2.- ¿Cuándo
la
6.- ¿CUÁNDO UN SISTEMA ALGORÍTMICO PÚBLICO QUE NO TIE-
6.1.- La igualdad “en” la ley o norma que habilite el uso del sistema de IA y el control laxo de la posibilidad de establecer diferencias de tratos razonables y no
6.2.- Control de discriminación y arbitrariedad y exigencias de motivación en los casos de aplicación algorítmica de la ley. Decisiones
7.- ¿CUÁNDO UN SISTEMA ALGORÍTMICO PÚBLICO QUE SÍ TIE-
7.1.- Las
frente a las discriminaciones algorítmicas especialmente prohibidas se superponen por lo general a las garantías
7.2.- En la mayoría de casos será necesaria una ley de calidad y con garantías que habilite a que un sistema de IA pueda diferenciar en razón de datos especialmente sospechosos de discriminación.
7.3.-
7.4.- La necesidad de regular legalmente el uso de datos especialmente protegidos para poder evaluar y minimizar la posible discriminación.....................................................................................
8.- ZONAS GRISES. GARANTÍAS ANTE EL USO POR EL SISTEMA DE IA PÚBLICO DE “PROXIES” Y GRUPOS ALGORÍTMICOS......
8.1.- Tratamientos diferentes a partir de “proxies” o datos afines o indirectos de grupos especialmente protegidos ............................
8.2.- Creación dinámica de grupos y colectivos humanos y la privacidad y no discriminación colectiva y de grupo ...........................
9.-¿CÓMO PROBAR LA DISCRIMINACIÓN ALGORÍTMICA
LOS
14 Índice
NE EN CUENTA CIRCUNSTANCIAS ESPECIALMENTE SOSPECHOSAS ES DISCRIMINATORIO? .................................................. 291
291
arbitrarios
sospechosos ................................................................................ 294
automatizadas discrecionales y supuestos no especialmente
NE EN CUENTA CIRCUNSTANCIAS ESPECIALMENTE SOSPECHOSAS ES DISCRIMINATORIO? .................................................. 298
especialmente protegidos ......... 298
garantías
de los tratamientos de datos
Y no la hay ................................................................................. 299
302
Un canon de control “mucho más” estricto, e incluso excepcionalmente estricto ........................................................................
303
304
304
305
INVERSIÓN
LA TRANSPARENCIA Y EXPLICABILIDAD ........ 307
Los indicios
debe aportar
sistema
IA público. Inversión general de la carga de la prueba y sus excepciones................................................................................. 308
Lo que debe probar el proveedor o el usuario del sistema de IA público ....................................................................................... 311
DISCRIMINACIÓN ALGORÍTMICA PÚBLICA? ......................................... 313
PÚBLICA?
GENERAL DE LA CARGA DE LA PRUEBA Y LA NECESIDAD DE
9.1.-
que
la persona afectada por el
de
9.2.-
10.- MÁS VALE PREVENIR QUE DISCRIMINAR. ¿CUÁLES SON
REMEDIOS Y MEJORES PRÁCTICAS PARA EVITAR LA
13.-
15 Índice
LA (CRECIENTE) OBLIGACIÓN DE DISEÑO Y ESTUDIOS DE IMPACTO FRENTE A LA DISCRIMINACIÓN ALGORÍTMICA DE LOS SISTEMAS DE IA PÚBLICOS .................................................... 320 11.1.- Los deberes de responsabilidad proactiva, privacidad en el diseño o estudio de impacto ya son exigibles en general a los usos públicos de la IA 320 11.2.- Los usos públicos de IA de alto riesgo habrán de cumplir, además, los deberes del RIA ............................................................. 323 11.3.- La extensión de estudios de impacto y la obligatoriedad de medidas para la no discriminación de los sistemas de IA públicos .............................................................................................. 325 11.4.- La necesidad de una visión social y colectiva y de integrar garantías de calidad de datos y de participación ......................... 329 12.- Y SI LOS REMEDIOS NO VALEN, ¿QUÉ PASA CUANDO SE DETECTA UNA DISCRIMINACIÓN ALGORÍTMICA PÚBLICA? ....... 330 12.1.- Obligaciones de mitigación, rectificación, corrección e incluso cese de uso del sistema de IA público .......................................... 330 12.2.- Nulidad, anulabilidad e inderogabilidad de los sistemas de IA público y sus efectos 332 12.3.- Los efectos de la discriminación algorítmica en el contexto de la contratación administrativa .................................................... 334 12.4.- Responsabilidad por el uso de IA público ................................. 335
11.-
CIÓN ALGORÍTMICA Y QUÉ AUTORIDADES DEBEN ACTUAR? 336 BIBLIOGRAFÍA CITADA ........................................................................ 338
VIII
tratamiento
carácter
entornos de
público JULIÁN VALERO TORRIJOS 1.- EL USO DE DATOS PERSONALES POR LAS ADMINISTRACIONES PÚBLICAS Y LA INTELIGENCIA ARTIFICIAL ........................ 354 2.- EL CONTEXTO TECNOLÓGICO Y REGULATORIO ..................... 357 2.1.- La singularidad de la tecnología y su proyección sobre el objeto de estudio: el planteamiento del RGPD 357 2.2.- La regulación sobre las garantías y medidas de seguridad que deben adoptarse con relación al uso de medios electrónicos en la actividad administrativa.......................................................... 362 3.- LAS BASES JURÍDICAS PARA EL TRATAMIENTO DE LOS DATOS DE CARÁCTER PERSONAL ............................................................. 364 3.1.- Las limitaciones del consentimiento como base jurídica para el tratamiento de datos personales en el sector público ................... 364
¿QUIÉNES PUEDEN REACCIONAR ANTE UNA DISCRIMINA-
Capítulo
Las singularidades del
de datos de
personal en
inteligencia artificial en el sector
Las garantías de régimen jurídico del sector público y del procedimiento administrativo común frente a la actividad automatizada y la inteligencia artificial
16 Índice 3.2.- Las singularidades de los datos de categoría especial: el caso de los datos biométricos .................................................................. 366 3.3.- El sentido y alcance de la habilitación legal para el tratamiento de los datos personales sin consentimiento: una moneda de dos caras ........................................................................................... 368 4.- LAS CONDICIONES PARA LA LICITUD DEL TRATAMIENTO ..... 372 4.1.- El alcance de los principios generales y su proyección en los tratamientos basados en IA por parte de las Administraciones Públicas ...................................................................................... 372 4.1.1.- La singular eficacia del principio de transparencia en la normativa sobre protección de datos personales .............. 374 4.1.2.- El alcance de las limitaciones impuestas por el principio de minimización .............................................................. 376 4.1.3.- La prohibición de usos incompatibles y la limitación del tiempo de conservación de los datos ................................ 377 4.2.- El efectivo cumplimiento de las normas de seguridad: la relevancia del análisis de riesgos y la evaluación de impacto ............ 379 4.3.- La externalización en la gestión de las herramientas
el uso de IA: las condiciones jurídicas en el encargo del tratamiento de datos personales ......................................................... 384 5.- LA INCIDENCIA DEL INCUMPLIMIENTO DE LA REGULACIÓN EN MATERIA DE PROTECCIÓN DE DATOS PERSONALES SOBRE LA VALIDEZ DE LA ACTUACIÓN ADMINISTRATIVA .......... 388 6.- REFLEXIÓN FINAL .......................................................................... 391 BIBLIOGRAFÍA Y OTRAS REFERENCIAS CITADAS ............................ 392 Capítulo IX
EDUARDO GAMERO-CASADO 1.- INTRODUCCIÓN .............................................................................. 398
Acotación material: sistemas de IA para soporte a la toma de decisiones ................................................................................... 398
Las especialidades
establezcan expresamente................................................. 400 2.- ACTIVIDAD ADMINISTRATIVA AUTOMATIZADA: PREVISIONES EN LA LEY 40/2015, DE RÉGIMEN JURÍDICO DEL SECTOR PÚBLICO ........................................................................................... 403
El
de
de automatización ........................................................... 404
basadas en
1.1.-
1.2.-
de la IA en el sector público y su sujeción al Derecho administrativo general sin necesidad de disposiciones que lo
2.1.-
concepto
“actuación administrativa automatizada” y los grados
17 Índice 2.2.- La aprobación de la implantación del sistema ............................ 407 2.3.- El órgano competente para implementar los sistemas de IA y atribuirle su actividad. Firma electrónica de decisiones automatizadas ........................................................................................ 409 2.4.- La supervisión, control de calidad y auditoría del sistema y de su código fuente 411 2.4.1.- Encuadre general. El deber legal de implantar estos controles de la IA .................................................................. 411 2.4.2.- Control de calidad y auditoría del sistema de información y de su código fuente ............................................... 413 2.4.3.- Supervisión humana. La necesidad de compliance jurídico ................................................................................. 416 2.4.4.- Incumplimiento del requisito de mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema: invalidez de la actuación automatizada por vulneración del art.48.2 LPAC ............................................. 421 3.- INTELIGENCIA ARTIFICIAL Y PROCEDIMIENTO ADMINISTRATIVO: GARANTÍAS DEL PROCEDIMIENTO ADMINISTRATIVO COMÚN 423 3.1.- Encuadre: la pérdida de derechos ante la administración digital . 423 3.2.- El derecho a subsanar la presentación de escritos ....................... 427 3.3.- El derecho de audiencia .............................................................. 428 3.4.- La motivación de los actos administrativos adoptados mediante sistemas de IA ............................................................................. 430 3.4.1.- La motivación como requisito de validez de los actos dictados mediante IA ....................................................... 430 3.4.2.- Alcance y medio de la motivación: reglas especiales en relación con la IA ............................................................ 433 3.4.3.- La omisión de motivación genera indefensión y determina la invalidez de los actos dictados con sistemas de IA. Jurisprudencia nacional, comparada y del TJUE .............. 439 3.4.4.- Consecuencia: prohibición de algoritmos de caja negra
cuando
trata de decisiones sustentadas en IA? 445 3.5.- Inteligencia artificial y discrecionalidad administrativa ............... 448 4.- FINAL: LA INACEPTABLE TENSIÓN ENTRE PROGRESO TECNOLÓGICO Y GARANTÍAS DE LA CIUDADANÍA; LUCES Y SOMBRAS DE LA REGULACIÓN ESPECÍFICA DE LA IA EN EL SECTOR PÚBLICO ............................................................................ 452 BIBLIOGRAFÍA CITADA ........................................................................ 455
en la toma de decisiones por el sector público. ¿Posibilidad de articular en el futuro una manera distinta de motivar,
se
TERCERA PARTE: MEDIOS PARA LA
DE
18 Índice
Capítulo X Reutilización de la información del sector público e inteligencia artificial AGUSTÍ CERRILLO I MARTÍNEZ 1.- DATOS E INTELIGENCIA ARTIFICIAL ........................................... 466 2.- EL IMPULSO EUROPEO DE LA REUTILIZACIÓN DE DATOS PÚBLICOS Y SU CONTRIBUCIÓN AL DESARROLLO DE LA INTELIGENCIA ARTIFICIAL .................................................................... 469 3.- LA REUTILIZACIÓN DE DATOS PARA EL DESARROLLO DE LA INTELIGENCIA ARTIFICIAL ........................................................... 475 3.1.- La reutilización de datos públicos............................................... 475 3.1.1.- La apertura de datos públicos.......................................... 475 3.1.2.- La reutilización de determinadas categorías de datos públicos protegidos por la confidencialidad ......................... 483 3.2.- El intercambio de datos 489 3.2.1.- Los servicios de intermediación de datos ......................... 489 3.1.2.- La cesión altruista de datos ............................................. 492 3.3.- La obtención de datos necesarios para el desempeño de las tareas realizadas en interés público ................................................ 494 4.- REFLEXIONES FINALES: DISPONIBILIDAD Y CALIDAD DE LOS DATOS COMO FUNDAMENTO DEL DESARROLLO DE LA INTELIGENCIA ARTIFICIAL ............................................................... 498 BIBLIOGRAFÍA CITADA ........................................................................ 500 Capítulo XI La contratación de soluciones de inteligencia artificial ISABEL GALLEGO CÓRCOLES 1.- LA CONTRATACIÓN PÚBLICA COMO IMPULSOR Y GARANTE DEL USO DE SOLUCIONES BASADAS EN INTELIGENCIA ARTIFICIAL ............................................................................................... 504 2.- CUESTIONES CLAVE EN EL DISEÑO Y PREPARACIÓN DEL PROCEDIMIENTO DE CONTRATACIÓN ...................................... 511 2.1.- La conformación del equipo que impulsará la licitación ............. 511 2.2.- La determinación de las necesidades a satisfacer y la delimitación del objeto del contrato: ¿cuándo adquirir una solución de inteligencia artificial? .................................................................. 513 2.2.1.- Planteamiento.................................................................. 513
IMPLEMENTACIÓN
LA INTELIGENCIA ARTIFICIALEN EL SECTOR PÚBLICO
19 Índice 2.2.2.- El conocimiento del mercado: la posibilidad de realizar consultas preliminares ..................................................... 515 2.2.3.- Evaluación preliminar de los riesgos ................................ 517 2.2.4.- ¿Existen datos de calidad? ............................................... 518 2.3.- La elección del procedimiento de licitación................................. 519 2.4.- Algunos aspectos a valorar en las ofertas 522 2.5.- La adecuada delimitación del equipo de trabajo: la necesaria incorporación de juristas ............................................................ 523 2.6.- La necesidad de prever posibles incidencias en la ejecución ........ 524 3.- ASPECTOS RELEVANTES DEL CONTENIDO DEL CONTRATO .. 527 3.1.- La necesidad de cumplir las exigencias de transparencia, motivación y libre competencia: ¿debe exigirse la cesión de la titularidad del código fuente?.............................................................. 527 3.1.1.- Planteamiento.................................................................. 527 3.1.2.- El eventual acceso al código fuente en las Guías sobre contratación de soluciones de inteligencia artificial ......... 530 3.1.3.- El principio de competencia y entrega del código fuente .. 538 3.1.4.- La regulación de la eventual cesión de derechos de propiedad intelectual en la LCSP 544 3.2.- Mecanismos para garantizar la supervisión, auditoria y control de los sistemas algorítmicos ........................................................ 547 3.2.1.- Planteamiento.................................................................. 547 3.2.2.- Supervisión humana de los algoritmos............................. 548 3.2.3.- Control y auditoría del sistema........................................ 552 3.3.- Cláusulas relativas a la protección de datos ................................ 559 4.- CONCLUSIONES .............................................................................. 562 BIBLIOGRAFÍA CITADA ........................................................................ 564 Capítulo XII Empleo público e inteligencia artificial RAMON GALINDO CALDÉS 1.- TRES GRADOS, DIFERENTES AFECTACIONES ............................. 570 1.1.- El impacto de la automatización en el empleo público: destrucción y redefinición de puestos y tareas ........................................ 570 1.2.- El uso de datos en la toma de decisiones..................................... 573 1.3.- La sustitución del empleado en la toma de decisiones ................. 574 1.3.1- La sustitución de las decisiones por un sistema de IA ....... 574 1.3.2.- ¿Hay una reserva de intervención de los empleados públicos? ............................................................................. 575 2.- ¿HACIA UNA NUEVA SEGMENTACIÓN DE LOS EMPLEADOS PÚBLICOS? ........................................................................................ 578 2.1.- Un impacto a diferentes niveles .................................................. 579
20 Índice 2.1.1.- Redefinición de puestos y tareas ...................................... 579 2.1.2.- Cambios necesarios en los empleados actuales ................ 580 2.1.3.- Nuevos empleados públicos............................................. 581 2.2.- La contratación pública: ¿personal especializado o recurso al sector privado? ........................................................................... 582 2.3.- ¿Dos clases de empleados? Si no es posible transformar a todos los empleados…. ¿Lo hacemos con una parte?............................ 584 3.- CUATRO PRESUPUESTOS NECESARIOS PARA LA ADAPTACIÓN DEL EMPLEO PÚBLICO ................................................................... 586 3.1.- Planificación ............................................................................... 587 3.2.- Selección .................................................................................... 589 3.3.- Transformación 590 3.4.- Los datos en la gestión de los recursos humanos ........................ 591 BIBLIOGRAFÍA CITADA ........................................................................ 593 CUARTA PARTE: ORGANIZACIÓN Y GOBERNANZA Capítulo XIII Organización y gobernanza de la inteligencia artificial: marco general JUAN CARLOS HERNÁNDEZ PEÑA 1.- EL MARCO DE LA GOBERNANZA DE LA IA: UN TRINOMIO NORMATIVO BAJO UN ENFOQUE BASADO EN RIESGOS Y DERECHOS ............................................................................................ 600 2.- ALGUNOS PRINCIPIOS QUE CONDICIONAN LA ACTUACIÓN DE LOS PODERES PÚBLICOS Y EL MODELO DE GOBERNANZA ...................................................................................................... 603 2.1.- Principio de neutralidad tecnológica ........................................... 604 2.2.- Principio de innovación ............................................................. 605 2.3.- Principio de precaución .............................................................. 607 2.4.- Principio de competencia por diseño .......................................... 608 4.- ESTRUCTURAS DE GOBERNANZA DE LA IA ............................... 612 4.1.- El Comité Europeo de Inteligencia Artificial. Composición, competencias y funciones............................................................ 613 4.2.- Autoridades nacionales. Designación y competencias ................. 615 4.3.- Organismos notificados y organismos de evaluación de la conformidad..................................................................................... 624 BIBLIOGRAFÍA CITADA ........................................................................ 627