Ética, seguridad y gobernanza de la IA

La ética de la IA se ocupa de cómo deben construirse, usarse y gobernarse los sistemas. La finalidad importa: comparar un rostro para desbloquear el teléfono de su propietario plantea preguntas distintas de usar la comparación facial para examinar una multitud en un espacio público. La exactitud del modelo por sí sola no puede determinar si un uso está justificado.

Tres formas de evaluar una decisión

El utilitarismo es un enfoque consecuencialista que busca el mayor bienestar total. Su dificultad es cómo proteger a un grupo pequeño cuando perjudicarlo parece mejorar el resultado total. La deontología juzga la conducta según deberes y derechos, incluso cuando incumplir un deber mejoraría los resultados. La indicación de Kant de tratar a las personas como fines fundamenta la honestidad y el respeto por sus decisiones. La ética de la virtud presta atención al carácter y a la sabiduría práctica: un ingeniero responsable toma en serio un resultado preocupante de seguridad incluso bajo presión para lanzar el producto.

Analiza una decisión de diseño

Una clínica predice las citas a las que no se acudirá y planea asignar las franjas de los pacientes señalados a dos personas. Primero, examina los resultados: pueden ocuparse más citas, pero los pacientes que acuden pueden tener largas esperas. Si se señala con más frecuencia a los pacientes con menos recursos, estos soportan una mayor parte de esa carga. Después, examina los deberes: los pacientes no aceptaron que se elaboraran perfiles para ese fin y se busca eficiencia a su costa. Por último, pregunta cómo se expresaría el cuidado. Los recordatorios o la ayuda con el transporte podrían usar la predicción para apoyar a los pacientes. El análisis produce un cambio de diseño, no solo un voto a favor o en contra de la IA.

Convierte los principios en requisitos

Una síntesis influyente agrupa los principios de IA en beneficencia (promover el bienestar), no maleficencia (evitar daños), autonomía (respetar las decisiones de las personas), justicia (repartir equitativamente beneficios y cargas) y explicabilidad ética (hacer que los sistemas sean comprensibles y que se pueda rendir cuentas por ellos). Cada principio dirige la atención a preguntas diferentes; ninguna puntuación única resuelve sus conflictos.

Los Principios de IA de la OCDE, adoptados en 2019 y actualizados en 2024, relacionan el bienestar inclusivo y la sostenibilidad con los derechos humanos, la equidad y la privacidad, la transparencia, la robustez y la seguridad, y la rendición de cuentas. La Recomendación sobre la Ética de la Inteligencia Artificial de la UNESCO fue adoptada por sus 193 Estados miembros en noviembre de 2021. Estos compromisos comunes todavía necesitan decisiones operativas. Una auditoría de equidad puede requerir datos sensibles sobre grupos, lo que crea una tensión con la privacidad que exige controles de acceso y una finalidad clara.

El lavado ético ocurre cuando una organización anuncia principios sin pruebas, deberes asignados ni consecuencias por el incumplimiento. Una promesa de equidad adquiere sentido cuando alguien debe medir las diferencias, actuar sobre ellas y explicar la actuación. Los dilemas morales dramáticos atraen la atención: el experimento Moral Machine de 2018 recopiló unos 40 millones de elecciones. Pero las decisiones cotidianas sobre datos, explicaciones, consentimiento y pruebas antes del lanzamiento constituyen buena parte de la ética práctica de la IA.

Las personas que usan una herramienta son solo algunas de sus partes interesadas. Una persona que solicita un alquiler y es evaluada por un software de selección es una persona objeto de una decisión, aunque nunca vea su interfaz. También pueden verse afectados desarrolladores, proveedores, organizaciones que despliegan el sistema, trabajadores, terceros y el público en general.

Sigue el ciclo de vida

Empieza por el planteamiento del problema: ¿qué problema se resuelve, para quién y debería automatizarse? Después examina la recopilación, el entrenamiento, la evaluación, el despliegue, el seguimiento y la retirada. Una auditoría posterior no puede corregir una finalidad injustificada simplemente haciendo más exactas sus predicciones. La retirada también importa: los registros, las dependencias y las reclamaciones sin resolver pueden permanecer después de apagar un modelo.

Tres tipos de daño ayudan a organizar la revisión. El daño de asignación deniega recursos u oportunidades, como una entrevista. El daño de representación denigra a las personas o refuerza estereotipos, como resultados de imágenes que representan a los ingenieros casi exclusivamente como hombres. El daño por desigualdad en la calidad del servicio ocurre cuando un servicio funciona peor para algunos grupos, como un reconocimiento del habla que falla con frecuencia para ciertos acentos. Comprueba también los daños físicos, psicológicos, económicos, a la privacidad y sociales.

Estos tipos describen qué se perjudica. Otra distinción describe cómo surge el riesgo: los accidentes implican fallos no previstos; el uso indebido implica un uso perjudicial deliberado; el riesgo estructural aumenta por cambios más amplios, como la dependencia de unos pocos proveedores. Una capacidad puede ser de doble uso: el reconocimiento facial puede ayudar a localizar a un niño desaparecido o seguir a manifestantes políticos.

Haz efectiva la rendición de cuentas

Una herramienta de selección de currículos procesa 2000 solicitudes rápidamente. Sus partes interesadas incluyen candidatos, reclutadores, responsables, proveedor, empleador, personal actual y reguladores. Un candidato puede perder una entrevista por un error, no recibir una razón útil y ver sus datos personales conservados innecesariamente. Los distintos daños necesitan controles diferentes; un informe de exactitud por sí solo deja sin resolver los problemas de explicación y conservación de datos.

La rendición de cuentas exige que personas u organizaciones respondan por los resultados y corrijan los problemas. Se apoya en:

• Responsabilidad: asignar deberes a funciones identificadas, incluido quién puede detener el uso.
• Trazabilidad: registrar fuentes de datos, versiones del modelo, umbrales y decisiones para poder reconstruir un suceso.
• Reparación del daño: permitir que las personas afectadas impugnen un resultado y obtengan una reparación.

La posibilidad de impugnación hace que esa vía funcione en la práctica. El candidato se entera de que la IA ayudó a tomar la decisión, recibe una razón comprensible y puede recurrir ante una persona con poder para cambiarla. Un formulario de contacto que no llega a nadie con autoridad ofrece poca protección.

Mantén la responsabilidad en las organizaciones

El problema de las muchas manos surge cuando proveedores, desarrolladores, integradores, responsables y operadores contribuyen a un resultado. Llamarlo brecha de responsabilidad describe el problema; no transfiere la responsabilidad al software. La organización eligió la herramienta y cuánta autoridad darle.

El escándalo neerlandés de las prestaciones por cuidado infantil ilustra lo que está en juego. La clasificación de riesgos incluyó un modelo de autoaprendizaje que trataba la nacionalidad como factor de riesgo, y decenas de miles de padres y madres fueron tratados erróneamente como defraudadores, con pocas vías para impugnar las decisiones. El gobierno dimitió en enero de 2021. La lección para el diseño del sistema es concreta: los registros y una vía de recurso ante una persona deben ser utilizables por quienes ven afectada su vida por una decisión.

En ética de la IA, el sesgo es una desviación sistemática que trata o atiende a grupos de forma diferente sin justificación adecuada. Se distingue del sesgo estadístico de un estimador y del parámetro de desplazamiento de una red neuronal. La discriminación injusta se refiere a diferencias relacionadas con características protegidas o irrelevantes; la protección legal varía entre países.

Examina los datos y las variables objetivo

El sesgo histórico consiste en aprender un patrón injusto que realmente está presente en los registros. El proyecto abandonado de Amazon para clasificar currículos, del que se informó en 2018, usó unos diez años de solicitudes, principalmente de hombres, y rebajó la puntuación de términos como «women's chess club». Aprender esa historia con mayor fidelidad conservaría el problema.

El sesgo de representación significa que algunos grupos están mal representados. Gender Shades (2018) encontró tasas de error de clasificación de género comerciales de hasta el 34,7 % para mujeres de piel más oscura y como máximo del 0,8 % para hombres de piel más clara. En dos conjuntos de datos de referencia habituales, el 79,6 % y el 86,2 % de las personas tenían la piel más clara. Un conjunto de datos grande puede seguir representando mal a grupos importantes.

El sesgo de medición afecta a cómo las entradas o las variables objetivo representan aquello que importa. Un modelo sanitario de Estados Unidos predecía el gasto futuro como indicador sustitutivo de la necesidad médica. Como se había gastado menos en pacientes negros con necesidades similares, quienes tenían la misma puntuación estaban más enfermos. Obermeyer y sus colegas estimaron que corregir el indicador elevaría la proporción de pacientes negros entre quienes se señalaba para atención adicional del 17,7 % al 46,5 %. Esos porcentajes describen la composición del grupo seleccionado, no la tasa de selección de todos los pacientes negros.

Mira más allá de una columna eliminada

Una variable sustitutiva contiene información sobre otro atributo. El código postal, el centro educativo y el nombre pueden revelar patrones correlacionados con el origen étnico o el sexo. La equidad por exclusión de atributos protegidos, que elimina el atributo protegido, deja disponibles esas vías. Las etiquetas humanas también merecen atención: los juicios de los anotadores sobre toxicidad pueden tratar los dialectos de forma diferente.

El sesgo de agregación surge cuando un modelo compartido se ajusta mal a poblaciones distintas. El sesgo de evaluación aparece cuando la prueba o la métrica principal oculta ese fallo. Supón que el 90 % de un grupo de prueba tiene una exactitud de alrededor del 97,8 % y el 10 % restante tiene una exactitud del 70 %:

Un resultado global cercano al 95 % oculta una tasa de error del 30 % en el grupo más pequeño. Presenta métricas por grupo y por intersecciones, como edad junto con sexo, y examina los tamaños de muestra.

Observa qué cambia el despliegue

El sesgo de despliegue ocurre cuando una herramienta se usa fuera de la finalidad o el entorno para los que fue diseñada. Un ciclo de retroalimentación va más allá: las predicciones influyen en los datos que después se usan para actualizar el modelo. Enviar más patrullas a una zona señalada como punto de riesgo crea más oportunidades de registrar infracciones allí, lo que puede reforzar la predicción sin demostrar que la delincuencia subyacente sea mayor.

Las personas siguen formando parte del ciclo. El sesgo de automatización hace que los operadores acepten recomendaciones con demasiada facilidad. Por tanto, una buena auditoría comprueba variables objetivo, muestreo, etiquetas, resultados por subgrupo, condiciones de uso y respuestas humanas. Añadir datos solo mejora la representación cuando los registros añadidos corresponden a la población ausente y se miden de forma adecuada.

Una métrica de equidad compara un aspecto concreto de las decisiones entre grupos. Primero define la predicción positiva y el resultado realmente positivo. En la aprobación de préstamos, un verdadero positivo es un solicitante aprobado que devolvería el préstamo; un falso negativo es un solicitante solvente al que se rechaza. En la detección de fraude, positivo significa que se señala un caso, por lo que un falso positivo puede ser perjudicial por sí mismo.

Construye una matriz de confusión para cada grupo

TP cuenta las predicciones positivas correctas, FP las predicciones positivas incorrectas, FN los casos realmente positivos no detectados y TN los negativos correctos. Para un grupo de tamaño $n$:

La paridad demográfica exige tasas de selección iguales. La igualdad de oportunidades exige TPR iguales. La igualdad de tasas de verdaderos y falsos positivos exige TPR y FPR iguales. La paridad predictiva exige PPV iguales. La calibración dentro de los grupos se refiere a las puntuaciones: entre las personas a las que se asigna una probabilidad de 0,7, alrededor del 70 % debería ser realmente positivo en cada grupo. La igualdad de PPV en un umbral es una comprobación más limitada que la calibración en todas las puntuaciones.

Calcula antes de juzgar

Una entidad prestamista evalúa a 100 solicitantes en cada grupo:

A selecciona a 45 personas y B a 25: tasas de 0,45 y 0,25. La razón entre la menor y la mayor es $\mathrm{0,25}\mathrm{/}\mathrm{0,45}\approx \mathrm{0,56}$. La directriz laboral estadounidense de los cuatro quintos usa 0,8 como umbral para examinar el caso; es un indicador específico de ese contexto, no un veredicto jurídico universal.

Para A, la TPR es $40\mathrm{/}50=\mathrm{0,80}$ y la FPR es $5\mathrm{/}50=\mathrm{0,10}$. Para B, la TPR es $20\mathrm{/}30\approx \mathrm{0,67}$ y la FPR es $5\mathrm{/}70\approx \mathrm{0,071}$. Los PPV son $40\mathrm{/}45\approx \mathrm{0,89}$ y $20\mathrm{/}25=\mathrm{0,80}$. Ambos grupos tienen una exactitud de 0,85, pero sus comparaciones de aprobación, error y valor predictivo difieren.

Elige la comparación adecuada al daño

Si se deniega el acceso a personas cualificadas, compara las TPR. Si personas inocentes se enfrentan a investigaciones perjudiciales, compara las FPR. Si se sospecha de las etiquetas históricas, las comparaciones de tasas de selección pueden ser especialmente pertinentes. En la controversia sobre COMPAS de 2016, ProPublica informó de tasas de falsos positivos del 44,9 % para acusados negros y del 23,5 % para acusados blancos, mientras que el desarrollador destacó la paridad predictiva. Estas afirmaciones se referían a denominadores diferentes.

Indica siempre los conteos detrás de una tasa. Pasar de 2 de 10 a 3 de 10 cambia una tasa en 10 puntos porcentuales. Comprueba los grupos interseccionales además de los atributos por separado y protege la información de pertenencia que permite realizar la auditoría.

Las métricas describen preocupaciones diferentes y sus relaciones matemáticas pueden impedir que se cumplan todas a la vez. Empieza por indicar qué daño importa y por qué la comparación elegida lo aborda.

Por qué pueden entrar en conflicto las medidas de equidad

Para grupos con tasas base diferentes, no pueden cumplirse a la vez la igualdad de PPV, de FPR y de FNR en un clasificador con predicciones tanto de verdaderos como de falsos positivos. La FNR es la proporción de casos realmente positivos que no se detectan. Con denominadores definidos y distintos de cero y PPV mayor que cero, la relación es:

Aquí $p$ es la tasa base. Mantén PPV en 0,8 y FNR en 0,2. Con tasa base 0,5, FPR es $1\times \mathrm{0,25}\times \mathrm{0,8}=\mathrm{0,20}$. Con tasa base 0,3, es $(\mathrm{0,3}\mathrm{/}\mathrm{0,7})\times \mathrm{0,25}\times \mathrm{0,8}\approx \mathrm{0,086}$. Las tasas base desiguales obligan a que las FPR sean desiguales.

Las excepciones corresponden a casos degenerados: ausencia de falsos positivos, como en un clasificador perfecto, o ausencia de verdaderos positivos. Cuando las tasas no están definidas, afirmar que son iguales requiere un examen aparte. Este resultado identifica una restricción; no decide qué errores deben importar más.

Equidad de grupo e individual

La equidad individual exige un trato similar para personas similares y necesita una regla de similitud pertinente para la tarea. Dos solicitantes pueden tener cualificaciones similares y vivir en barrios diferentes. La equidad contrafactual pregunta si el resultado de una persona seguiría siendo el mismo si su atributo protegido fuera diferente en un modelo causal. Cambiar simplemente una celda de una hoja de cálculo puede pasar por alto los efectos de ese atributo en otras características.

Una restricción de equidad puede reducir la exactitud respecto de las etiquetas existentes. A veces el costo es pequeño; otras, las etiquetas reflejan decisiones injustas anteriores, lo que hace que esa exactitud sea un objetivo inadecuado.

Ajusta la medida al origen del daño

Los cambios de umbral pueden igualar las TPR pero dejar otra métrica desigual. Usar atributos protegidos al tomar decisiones también plantea problemas legales en algunos contextos. Selecciona un método legal y documenta el compromiso entre objetivos; la viabilidad técnica por sí sola no determina si es aceptable.

Una organización también decide si automatizar la tarea, qué opiniones orientan el diseño y qué ocurre con los casos dudosos. Las auditorías independientes, la revisión humana, una vía de recurso y el seguimiento continuo ayudan a abordar daños a los que no llega un cambio en el entrenamiento. Un modelo que supera una métrica puede seguir sirviendo a una finalidad injustificada o negar a las personas una vía práctica para impugnar errores.

La transparencia significa apertura sobre la finalidad, el desarrollo, los datos y los límites de un sistema, incluido informar a las personas de que interviene la IA. La interpretabilidad se refiere a comprender el funcionamiento interno del modelo. La explicabilidad se refiere a razones comprensibles de las salidas o del comportamiento general, producidas a veces por un método independiente. Una caja negra oculta su lógica por su complejidad, el secreto o ambos.

Elige tanto el modelo como la explicación

Los modelos lineales o logísticos pequeños, los árboles pequeños, las listas de reglas, los sistemas de puntos y los modelos aditivos generalizados pueden ser intrínsecamente interpretables. Su estructura puede examinarse directamente. Un árbol muy grande o una regresión con muchas características que interactúan puede perder esa ventaja. Con datos tabulares estructurados, los modelos sencillos pueden funcionar casi tan bien como los complejos; las tareas de imagen, audio y texto libre suelen mostrar brechas mayores.

Para usos de gran impacto, compara un candidato interpretable antes de suponer que una caja negra es necesaria. El argumento de Rudin de 2019 favorece un modelo interpretable cuando su rendimiento es comparable. Añadir una explicación tranquilizadora a un modelo complejo es una decisión diferente de construir un modelo cuyo razonamiento pueda examinarse.

El trabajo de Caruana y sus colegas de 2015 sobre el riesgo por neumonía muestra por qué importa. Un modelo interpretable asociaba el asma con un menor riesgo de muerte. Los registros reflejaban los cuidados intensivos recibidos por los pacientes con asma, no un efecto protector del asma. Usar esa asociación para enviar a los pacientes a casa eliminaría los cuidados que la explicaban. Examinar el patrón puso de manifiesto el peligro antes de confiar en la predicción.

Escribe para quien necesita la información

Un desarrollador que corrige fallos necesita conocer el comportamiento de las características y los detalles de las pruebas. Un candidato rechazado necesita una razón clara, una vía de corrección e información útil sobre los posibles pasos siguientes. Un auditor necesita registros de evaluación y de actividad. Un responsable que decide sobre el despliegue necesita conocer los usos previstos, las condiciones de fallo y el rendimiento en el entorno propuesto.

Más información puede hacer que un mensaje sea menos útil si oculta los datos pertinentes. Publicar el código o los pesos da acceso a los componentes; no garantiza que alguien pueda comprender el comportamiento resultante. La divulgación también debe respetar la privacidad, la seguridad y la confidencialidad legítima.

Da a cada documento una función distinta

Las fichas de modelos fueron propuestas por Mitchell y sus colegas en 2019; las fichas de conjuntos de datos, por Gebru y sus colegas en 2018. Su valor reside en el contenido y su mantenimiento, no en el título del documento.

La transparencia operativa continúa durante el uso. Los registros vinculan entradas, salidas y versiones con una decisión. Los avisos informan de la interacción con IA o de decisiones asistidas por IA. Las etiquetas y marcas de agua identifican el contenido generado. Elige quién recibe cada registro y conserva detalles suficientes para investigar incidentes sin exponer datos personales innecesarios.

Una explicación global describe el comportamiento en distintos casos; una explicación local aborda una predicción. Un método específico del modelo usa su estructura interna, mientras que un método independiente del modelo lo consulta sin necesitar esa estructura. Son dimensiones separadas: un método local puede ser específico o independiente del modelo.

Qué aporta una característica

La importancia por permutación global mezcla una característica entre los registros de prueba y mide la caída del rendimiento. Una gran caída muestra que el modelo depende de esa característica. Las características correlacionadas pueden enmascarar o compartir la importancia, y la dependencia del modelo es distinta de una causa en el mundo real.

Los valores de Shapley reparten la diferencia entre una predicción y un valor de referencia promediando la contribución marginal de cada característica en los distintos órdenes de incorporación. Sus contribuciones suman esa diferencia, propiedad llamada eficiencia. Los métodos SHAP calculan o aproximan estos valores. En un modelo lineal con características independientes, cada contribución es su coeficiente multiplicado por su diferencia respecto del valor de referencia de la característica.

Considera esta puntuación crediticia, con los ingresos en miles por año y la relación deuda-ingresos expresada en puntos porcentuales:

La aprobación necesita una puntuación de al menos 6. Los valores de referencia (5 años, ingresos 40, relación 30) dan $10+20-18=12$. Un solicitante con 2 años, ingresos 50 y relación 45 obtiene $4+25-27=2$. Las contribuciones son:

• Empleo: $2(2-5)=-6$.
• Ingresos: $\mathrm{0,5}(50-40)=5$.
• Relación deuda-ingresos: $-\mathrm{0,6}(45-30)=-9$.

Su suma es $-10=2-12$. La relación deuda-ingresos tiene la mayor contribución negativa respecto de este valor de referencia.

Explica un cambio, no solo una puntuación

Una explicación contrafactual identifica un cambio en las entradas que cambiaría la decisión. Si las demás entradas se mantienen fijas, este solicitante necesita 4 puntos más. Unos ingresos de 58 producen ese aumento. Otra posibilidad es reducir la relación en unos 6,7 puntos porcentuales hasta aproximadamente el 38,3 %; una relación del 38 % permitiría la aprobación. Elegir el cambio más pequeño requiere una forma de comparar cambios en distintas unidades. Una posibilidad de actuación para cambiar una decisión útil también requiere una acción viable: cambiar la edad o el origen étnico no la ofrece, y cambiar los ingresos también puede cambiar la relación deuda-ingresos.

LIME ajusta un modelo sustituto local sencillo a las salidas obtenidas para versiones modificadas de una entrada, dando más peso a las muestras cercanas. Su ajuste es local y depende de las elecciones de muestreo. Los mapas de relevancia destacan regiones influyentes de una imagen. Pueden revelar un atajo, como un clasificador de caballos que usa una marca de agua de derechos de autor, el patrón Clever Hans. Adebayo y sus colegas encontraron que algunos mapas seguían siendo similares después de aleatorizar los pesos del modelo, por lo que el atractivo visual por sí solo es una prueba débil.

Comprueba si la explicación es fiel

La fidelidad significa reflejar el cálculo del modelo; la plausibilidad significa resultar convincente para una persona. Pueden divergir. Slack y sus colegas mostraron que las salidas de LIME y SHAP podían ocultar la dependencia discriminatoria de un clasificador. Ese lavado de equidad usa la explicación para tranquilizar sin mostrar el comportamiento perjudicial. Comprueba la estabilidad y la concordancia con las pruebas de comportamiento, y separa la atribución del modelo de las afirmaciones causales sobre el mundo.

La privacidad se refiere al control de la información personal y a la libertad frente a la observación no deseada. La integridad contextual pregunta si un flujo de información encaja en el contexto en el que se compartió. Un paciente puede compartir adecuadamente sus síntomas con un profesional sanitario y, al mismo tiempo, oponerse a que lleguen a su empleador.

La IA puede aumentar la recopilación, inferir rasgos que las personas nunca revelaron y hacer posible la observación a gran escala. Que la información sea pública y tenga un uso provechoso no determina si un nuevo flujo es apropiado. La actividad en redes sociales, por ejemplo, puede revelar rasgos sensibles más allá de los datos que una persona decidió publicar.

Los nombres son solo una vía para identificar a alguien

Un ataque por vinculación de datos coteja registros con información externa. Sweeney estimó que un código postal de cinco dígitos, el sexo y la fecha de nacimiento completa podían identificar de forma única a alrededor del 87 % de la población de Estados Unidos. Era una estimación a nivel de población, no una regla según la cual se identifica todo registro que contenga esos campos. El trabajo de Narayanan y Shmatikov de 2008 cotejó valoraciones de películas supuestamente desidentificadas con reseñas públicas para reidentificar a usuarios.

Por tanto, un identificador codificado es distinto del anonimato. Las fechas, ubicaciones o combinaciones poco habituales pueden vincular registros incluso sin nombres. La revisión de privacidad debe considerar qué otra información podría tener un atacante.

Un modelo entrenado también puede revelar información

La pertenencia por sí sola puede ser sensible cuando un conjunto de datos representa a pacientes de una clínica oncológica. Una inversión puede reconstruir un rostro reconocible u otros atributos; no es necesariamente un registro original recuperado. La extracción busca el propio registro memorizado. El trabajo de Carlini y sus colegas de 2021 sobre modelos de lenguaje recuperó datos personales, incluidos nombres, números de teléfono y direcciones de correo electrónico. El sobreajuste aumenta la exposición al vincular demasiado el comportamiento del modelo con registros concretos.

Revisa la reutilización y las salidas combinadas

La desviación progresiva de la finalidad ocurre cuando una recopilación adquiere un nuevo propósito, como cuando las fotos para verificar la identidad alimentan después un producto de búsqueda facial. La minimización de datos limita la recopilación y conservación a lo necesario para la finalidad declarada; la limitación de la finalidad restringe la reutilización para fines no relacionados sin una nueva justificación.

La vigilancia puede crear un efecto inhibidor: las personas evitan expresarse o protestar legalmente porque esperan ser vigiladas. La supervisión en el trabajo plantea preguntas relacionadas sobre poder y privacidad. También se discute el respaldo científico de las afirmaciones de que se pueden inferir emociones internas a partir de los rostros. Las autoridades europeas han multado a una empresa de búsqueda facial creada a partir de imágenes extraídas de la web.

Las salidas combinadas pueden revelar más de lo que sugieren los registros individuales. En 2018, un mapa de calor mundial de actividad de una aplicación de ejercicio, que no mostraba nombres, reveló la distribución y las rutas de bases militares remotas. Los usuarios habían compartido las rutas voluntariamente, pero la agregación cambió lo que podían averiguar los observadores. Examina la información publicada, no solo si cada entrada incluye un nombre.

La seudonimización sustituye nombres por códigos y conserva una vía para recuperar la identidad. La anonimización busca que la reidentificación no sea razonablemente posible. Los datos ricos dificultan ese objetivo: controlar un identificador directo no controla todas las inferencias.

Protege una tabla y después examina sus valores sensibles

El k-anonimato exige que cada registro coincida con al menos otros $k-1$ en los cuasiidentificadores elegidos. La generalización convierte la edad 34 en «30–39»; la supresión elimina detalles o registros poco frecuentes. Si seis registros de pacientes forman dos grupos de tres, son 3-anónimos en esos campos generalizados.

Supón que un grupo tiene gripe, asma y diabetes, mientras que los tres registros del otro grupo tienen enfermedad cardíaca. Un atacante que sepa que una persona pertenece al segundo grupo conoce su diagnóstico a pesar del 3-anonimato. Este es un ataque de homogeneidad. La l-diversidad exige al menos $l$ valores sensibles distintos por grupo y aborda ese fallo concreto. El segundo grupo tiene diversidad 1. Los valores distintos aún deben interpretarse: varios diagnósticos muy relacionados pueden revelar prácticamente la misma información sensible.

Protege la salida de un algoritmo

La privacidad diferencial limita cuánto cambia la participación de una persona las probabilidades de salida. Para conjuntos de datos vecinos que difieren en los datos de una persona:

La garantía se mantiene incluso con información externa. Limita la exposición adicional causada por participar, no todas las inferencias sobre una persona: la evidencia poblacional de que fumar aumenta el riesgo de enfermedad sigue influyendo en las creencias sobre los fumadores. Un $\epsilon$ menor significa una garantía más fuerte y, generalmente, más ruido para una consulta fija.

El mecanismo de Laplace añade ruido con escala $b=\mathrm{\Delta }f\mathrm{/}\epsilon$. La sensibilidad $\mathrm{\Delta }f$ es el mayor cambio que una persona puede causar en la respuesta a la consulta. En un conteo de 120, una persona cambia el conteo como máximo en 1. Con $\epsilon =\mathrm{0,5}$, la escala es 2 y la desviación estándar es $2\sqrt{2}\approx \mathrm{2,83}$. La probabilidad de que el ruido esté a una distancia de cero no mayor que 2 es $1-e^{-1}\approx \mathrm{0,63}$; para una distancia no mayor que 5 es $1-e^{-\mathrm{2,5}}\approx \mathrm{0,92}$. La inclusión de una persona cambia las probabilidades de salida como máximo por un factor de $e^{\mathrm{0,5}}\approx \mathrm{1,65}$.

La pérdida de privacidad se acumula. Según la composición básica, $k$ publicaciones con un costo de $\epsilon$ cada una tienen un costo total de como máximo $k\epsilon$. Repetir consultas con ruido consume presupuesto aunque las respuestas parezcan inofensivas. DP-SGD recorta la contribución al gradiente de cada ejemplo y añade ruido durante el entrenamiento. La Oficina del Censo de Estados Unidos aplicó la privacidad diferencial a las publicaciones del censo de 2020; también se usan versiones locales para estadísticas de dispositivos.

Mantén los datos locales o cifrados

El aprendizaje federado comparte actualizaciones del modelo mientras los datos sin procesar permanecen en los dispositivos o las instituciones. Las actualizaciones pueden filtrar información, por lo que la agregación segura oculta las actualizaciones individuales dentro de su suma y la privacidad diferencial puede limitar lo que revela la salida combinada. Los teclados de teléfonos son una aplicación.

El cifrado homomórfico permite calcular sobre datos cifrados. La computación multipartita segura permite a varias partes calcular conjuntamente mientras mantienen privadas sus entradas, por ejemplo, mediante la compartición de secretos. Estos métodos pueden conservar resultados exactos a cambio de un costo adicional de cómputo y comunicación. En cambio, el ruido y la generalización reducen la exactitud o el detalle. Los datos sintéticos necesitan su propia evaluación de privacidad porque un generador puede reproducir registros de entrenamiento.

La seguridad de la IA busca evitar daños no previstos. La robustez se refiere al rendimiento en condiciones cambiantes, inusuales o adversarias. La ciberseguridad protege los datos, modelos e interfaces de ataques deliberados. Un diagnóstico útil pregunta dónde apareció el cambio y si fue deliberado.

Condiciones cambiantes y entradas modificadas

El cambio de distribución ocurre cuando los datos de despliegue difieren de los datos de entrenamiento. Los modelos de radiografías de tórax han funcionado peor entre hospitales, en parte porque aprendieron señales propias de cada hospital. Los datos variados, las pruebas en centros externos, la detección de datos fuera de distribución y el seguimiento ayudan a identificar ese problema. Una advertencia sobre datos desconocidos sigue necesitando una respuesta segura, como remitir el caso a un revisor cualificado.

Un ejemplo adversario se modifica deliberadamente para que un modelo se equivoque. El método rápido del signo del gradiente desplaza una entrada en la dirección que aumenta la pérdida:

En el conocido ejemplo del panda, la confianza cambió del 57,7 % para «panda» al 99,3 % para «gibón» tras una perturbación diseñada cuidadosamente. Con valores de píxeles de 0 a 1, $ϵ=\mathrm{0,007}$ corresponde a $\mathrm{0,007}\times 255=\mathrm{1,785}$, alrededor de 1,8 niveles de brillo en una escala de 0–255. Ese cambio concreto era casi invisible; un tamaño pequeño por sí solo no garantiza la invisibilidad en todas las imágenes. Los ataques físicos también han usado pegatinas en señales de alto para engañar a clasificadores de señales de tráfico.

Distingue la superficie de ataque

Una puerta trasera deja intacta buena parte del comportamiento normal, por lo que la exactitud en pruebas habituales puede no detectarla. Los datos extraídos de la web y los modelos externos hacen importantes las comprobaciones de la cadena de suministro.

La inyección de instrucciones puede ser directa, escrita por un usuario, o indirecta, integrada en un correo, una página o un documento recuperado. Un sistema al que se pide resumir una página puede encontrar instrucciones para enviar sus archivos privados a otro lugar. La página es un dato de la tarea, pero el modelo puede tratar su texto como una autoridad. En un sistema con acceso a herramientas las consecuencias son mayores porque la respuesta puede provocar una acción.

Limita el daño mediante varios controles

La defensa en profundidad combina entrenamiento adversario, validación, límites de frecuencia, vigilancia de anomalías, comprobaciones de la cadena de suministro, pruebas adversarias y restricciones de actuación. El principio de mínimo privilegio da a un agente solo el acceso que requiere su tarea. La confirmación antes de acciones con consecuencias importantes añade otra comprobación. Un fallo seguro lleva el sistema a una condición más segura, como un vehículo que reduce la velocidad y se detiene cuando la percepción deja de ser fiable.

No se conoce una defensa completa contra la inyección de instrucciones. Los límites de acceso reducen lo que puede hacer un ataque que tenga éxito. Evalúa tanto el comportamiento del modelo como los permisos que lo rodean: un conjunto de prueba limpio mide el rendimiento en esa distribución de prueba, mientras que una revisión de ciberseguridad pregunta qué podría cambiar un adversario decidido.

El problema de la alineación pregunta cómo lograr que los sistemas persigan los objetivos previstos respetando los valores humanos. La ilustración del rey Midas de Russell muestra el peligro de optimizar un objetivo fijo pero incompleto: obtener exactamente lo especificado puede arruinar lo que querían las personas. La capacidad hace que un optimizador persiga esa especificación con mayor eficacia.

Dos vías hacia el comportamiento equivocado

La explotación de la especificación, o explotación de la función de recompensa, aprovecha una laguna en la recompensa establecida. Un agente de carreras de barcos obtenía recompensas dando vueltas en una laguna y alcanzando objetivos repetidamente, aunque se incendiaba y nunca terminaba. Encontró una estrategia de alta puntuación para la recompensa proporcionada. La ley de Goodhart describe por qué una medida puede perder su utilidad cuando se convierte en objetivo.

Los efectos secundarios negativos ocurren cuando el objetivo omite algo valioso. Un robot de limpieza rápido puede tirar un jarrón si solo se recompensa la velocidad. Algunos enfoques desincentivan los grandes cambios en el entorno y mantienen la incertidumbre sobre las preferencias; enumerar todos los posibles efectos no deseados no es práctico.

La alineación externa se refiere a si el objetivo especificado coincide con la intención humana. La alineación interna se refiere a si el entrenamiento produce un sistema que persigue ese objetivo o un sustituto correlacionado. En la generalización errónea del objetivo, un objetivo aprendido funciona durante el entrenamiento pero falla cuando cambia la correlación. En CoinRun, las monedas aparecían en el extremo derecho durante el entrenamiento. Un agente aprendió a ir a la derecha y siguió haciéndolo cuando la moneda se trasladó a otro lugar. Conservó su capacidad para desplazarse; el objetivo que perseguía era incorrecto.

Por qué el control puede convertirse en un obstáculo

La convergencia instrumental significa que muchos objetivos finales pueden hacer útiles metas intermedias similares: recursos, funcionamiento continuo y protección del propio objetivo. Un sistema dedicado únicamente a traer café puede resistirse al apagado porque este impide la entrega. Es un argumento sobre los incentivos de algunos sistemas orientados a objetivos, no una prueba de que todos los modelos quieran poder.

La corregibilidad significa aceptar correcciones, modificaciones o el apagado. En el juego del interruptor de apagado, un sistema seguro de su objetivo puede tener motivos para desactivar el interruptor. Un sistema que no conoce con certeza las preferencias humanas puede tratar una decisión de apagado como evidencia y permitirla. El enfoque de Russell establece como objetivo beneficiar a las personas, mantiene inicialmente inciertas sus preferencias y aprende sobre ellas a partir del comportamiento humano.

Usa la retroalimentación sin confundir aprobación con corrección

El aprendizaje a partir de la retroalimentación humana usa comparaciones para entrenar un modelo de recompensa y después optimiza el sistema según ese modelo. Los principios escritos, las pruebas adversarias, la investigación sobre interpretabilidad y la supervisión escalable también ayudan: esta última usa asistencia de IA para ampliar lo que las personas pueden comprobar. Cada método exige examinar la señal que proporciona.

La retroalimentación humana puede ser errónea o incompleta. Un sistema puede aprender la adulación, dando la razón a un evaluador para obtener su aprobación, o explotar el propio modelo de recompensa. Un sistema alineado con un usuario también puede perjudicar a terceros. Elegir qué preferencias cuentan y qué restricciones protegen a otras personas sigue formando parte de la alineación; obedecer todas las solicitudes incumpliría ese objetivo más amplio.

La intervención humana protege a las personas solo cuando la modalidad se ajusta a la decisión. Una persona puede aprobar cada acción, supervisar el funcionamiento autónomo o decidir si el sistema debe funcionar. Estas funciones requieren información y tiempos de respuesta diferentes.

Elige la modalidad de supervisión adecuada

El sesgo de automatización favorece la aceptación de salidas sin examinarlas; la complacencia puede aumentar cuando la herramienta suele funcionar. Un revisor que comprueba 600 casos por hora tiene $3600\mathrm{/}600=6$ segundos por caso. Para un juicio complejo, esa carga convierte la aprobación en una mera firma. Importan la competencia, la información utilizable, el tiempo, la autoridad para rechazar el resultado y la protección para quien discrepa.

Establece un proceso de seguridad en torno al lanzamiento

El análisis de peligros identifica posibles sucesos perjudiciales antes de construir. Después, las pruebas cubren las condiciones previstas de uso, incluidas las inusuales. Un despliegue gradual limita la exposición inicial. El seguimiento vigila cambios en los datos e incidentes. Una alternativa segura o un procedimiento de apagado necesitan probarse antes de una emergencia, y la notificación de incidentes conserva lo que otras personas pueden aprender del fallo.

Una evaluación es una prueba estructurada de una capacidad o comportamiento. Las pruebas adversarias buscan fallos deliberadamente, incluidas combinaciones que las pruebas normales no detectan. Las evaluaciones de capacidades peligrosas examinan si un sistema avanzado podría contribuir de forma significativa a daños graves, como ciberataques o usos biológicos indebidos. Las pruebas fallidas aportan evidencia de un problema; superar las pruebas deja condiciones sin examinar.

Los marcos de seguridad de modelos de frontera vinculan umbrales de capacidad con salvaguardas más estrictas o con una pausa antes de continuar el entrenamiento o el lanzamiento. Esto da consecuencias a una evaluación: una advertencia debe tener un responsable y una respuesta exigida. El Instituto de Ciberseguridad de la IA del Reino Unido y el Centro para el Avance de la Innovación y los Estándares para la Superinteligencia del NIST de Estados Unidos (CAISSI) realizan trabajos de evaluación de modelos avanzados. El Informe Internacional sobre la Seguridad de la IA, publicado por primera vez en 2025, reúne evidencia científica sobre los riesgos de la IA de uso general.

Razona con cuidado sobre los riesgos graves

Algunos investigadores sostienen que los potentes sistemas de uso general podrían causar daños catastróficos por usos indebidos deliberados o pérdida de control. En 2023, cientos de investigadores y líderes apoyaron tratar el riesgo de extinción como una prioridad mundial junto con las pandemias y la guerra nuclear. Otros consideran que esos escenarios son especulativos y destacan daños actuales como la discriminación, la vigilancia y las alteraciones del trabajo.

Una evaluación útil identifica el daño, el mecanismo propuesto, la evidencia, la incertidumbre sobre la probabilidad y la gravedad potencial. La evaluación, la transparencia, la notificación de incidentes, la supervisión y la rendición de cuentas pueden abordar conjuntamente los riesgos actuales y futuros. La evidencia limitada sobre la probabilidad debe examinarse junto con la gravedad; ni descartar el riesgo con certeza ni predecirlo con certeza sustituye ese análisis.

Un empleo es un conjunto de tareas. La automatización transfiere una tarea a una máquina; la ampliación de las capacidades humanas ayuda a una persona a realizarla. La exposición significa que la IA podría cambiar las tareas. Mide el potencial técnico, no el desempleo observado.

Sigue varios efectos económicos

El efecto de desplazamiento elimina tareas que antes realizaban las personas. Un efecto de productividad reduce los costos y puede aumentar la demanda, creando trabajo. Un efecto de creación de nuevas tareas introduce tareas nuevas, como la auditoría de IA. Estos efectos pueden ocurrir juntos. La falacia de la cantidad fija de trabajo supone que hay una cantidad fija de trabajo, pero rechazar esa suposición no elimina las pérdidas reales de determinados trabajadores y regiones.

Los estudios usan diferentes unidades de análisis. La estimación de Frey y Osborne de 2013 basada en ocupaciones situó alrededor del 47 % de los empleos estadounidenses en alto riesgo de automatización. La estimación de Arntz, Gregory y Zierahn de 2016 basada en tareas fue de alrededor del 9 % en los países de la OCDE. El estudio de Eloundou y sus colegas de 2023 sobre modelos de lenguaje estimó que alrededor del 80 % de los trabajadores estadounidenses tenía al menos un 10 % de sus tareas expuestas y el 19 % tenía al menos la mitad expuesta. La estimación del FMI de 2024 fue de alrededor del 40 % de los empleos en el mundo y del 60 % en las economías avanzadas, donde aproximadamente la mitad de los empleos expuestos podría beneficiarse mediante la productividad. Estas medidas no son previsiones intercambiables de empleos perdidos.

Calcula por separado el tiempo ahorrado y el tiempo expuesto

Una persona que gestiona reclamaciones trabaja 40 horas: 14 revisando documentos, 8 escribiendo cartas, 12 en llamadas y 6 en inspecciones. La IA reduce a la mitad el tiempo dedicado a documentos y un 40 % el dedicado a cartas, sin cambios en las demás tareas:

El ahorro total es de 10,2 horas, o $\mathrm{10,2}\mathrm{/}40=\mathrm{0,255}$: el 25,5 % de la semana. Las tareas expuestas ocupan $22\mathrm{/}40=\mathrm{0,55}$, o el 55 %. Ahorrar todo el tiempo expuesto exigiría eliminar esas tareas por completo. Que el tiempo ahorrado signifique menos personas gestionando reclamaciones, más inspecciones o un mejor servicio depende de la demanda y de las decisiones de la dirección.

Un estudio de más de 5000 agentes de atención al cliente informó de un 14 % más de problemas resueltos por hora de media y un 34 % para los agentes principiantes y menos cualificados, con poco efecto para los más experimentados. Ese resultado muestra cómo las ganancias pueden reducir una brecha de habilidades en un contexto; no establece un efecto idéntico en todas las ocupaciones.

Sigue la distribución y la calidad del empleo

La escritura, la programación y el análisis exponen tanto el trabajo cognitivo mejor pagado como las tareas rutinarias. Las ganancias de productividad pueden llegar a los trabajadores como salarios, a los consumidores como precios más bajos o a los propietarios como beneficios. La propiedad, el poder de negociación, el acceso a la formación y la demanda local afectan al reparto.

La gestión algorítmica asigna trabajo, fija horarios, supervisa el rendimiento o ayuda a establecer la remuneración. Puede intensificar el trabajo y reducir la voz de los trabajadores. La descualificación traslada el juicio al sistema; la mejora de la cualificación da a las personas tareas más exigentes. El etiquetado de datos y la moderación de contenidos también son trabajo humano detrás de la IA, a menudo externalizado y mal pagado.

Las opciones de política pública incluyen la recualificación, el aprendizaje permanente, las ayudas por desempleo, redes de protección más amplias, la participación de los trabajadores y los debates sobre impuestos o renta básica. Evalúa quién soporta los costos de la transición, además de cualquier cambio en el empleo total.

El impacto social va más allá de quienes compran un servicio de IA. Los sistemas pueden cambiar la confianza pública, el poder de mercado, el uso de recursos y las oportunidades de participación. Busca los efectos indirectos y si una decisión puede revertirse una vez que las personas dependan de ella.

Confianza en la información

Los contenidos sintéticos incluyen texto, imágenes, audio y video creados o modificados sustancialmente por algoritmos. Las ultrasuplantaciones son imitaciones realistas de personas, objetos o acontecimientos. Pueden facilitar el fraude, la desinformación y las imágenes íntimas no consentidas. Un recuento de 2019 encontró que alrededor del 96 % de los videos de ultrasuplantación localizados eran contenido íntimo no consentido; esto describe esa muestra histórica, no todos los contenidos sintéticos actuales.

El dividendo del mentiroso ocurre cuando la posibilidad de que existan falsificaciones permite a alguien descartar una grabación auténtica. Por tanto, las defensas necesitan algo más que un detector. La procedencia firmada, como Content Credentials de C2PA, registra el origen y las ediciones; las marcas de agua y las etiquetas visibles aportan otras señales. Las marcas de agua pueden eliminarse, los detectores pueden fallar y el origen por sí solo no demuestra que una afirmación representada sea verdadera. La alfabetización mediática y la corroboración siguen siendo útiles.

Los sistemas de recomendación ordenan materiales. Un objetivo de interacción puede recompensar publicaciones sensacionalistas o divisivas porque mantienen la atención. Las afirmaciones de que los sistemas de recomendación siempre crean burbujas de filtro van más allá de una evidencia desigual: los efectos varían según la plataforma y el usuario. Los sistemas conversacionales también plantean preguntas sobre la persuasión y la dependencia emocional.

Poder y acceso

Los modelos grandes requieren cómputo, datos y talento especializado, lo que concentra la capacidad en unas pocas empresas y Estados. La dependencia de los proveedores puede limitar la competencia y encarecer el cambio de proveedor. El acceso a chips avanzados y los controles de exportación añaden efectos geopolíticos.

La brecha digital se refiere a la desigualdad en dispositivos, conectividad, cobertura lingüística y habilidades. Una herramienta que funciona mejor en inglés puede ampliar las brechas para comunidades de otras lenguas. La IA también puede mejorar el acceso mediante subtítulos, descripciones de imágenes y traducción. Mide quién puede usar realmente esos beneficios.

Costos de recursos y seguridad física

La Agencia Internacional de la Energía estimó el consumo eléctrico de los centros de datos en alrededor de 415 TWh en 2024, cerca del 1,5 % del consumo mundial, y proyectó alrededor de 945 TWh en 2030 en su escenario de referencia: $945\mathrm{/}415\approx \mathrm{2,3}$. Estas cifras abarcan los centros de datos en su conjunto; la IA es un importante motor de crecimiento. El agua de refrigeración, la fabricación de hardware y los residuos electrónicos añaden costos. Las aplicaciones de IA para equilibrar redes eléctricas y predecir el tiempo pueden producir beneficios ambientales, que deben compararse con su propio uso de recursos.

Las armas autónomas letales seleccionan y atacan objetivos sin intervención humana adicional tras su activación. Sus defensores mencionan la rapidez, la precisión y la reducción del riesgo para los soldados. Sus críticos cuestionan la rendición de cuentas, la distinción entre civiles y combatientes, la proporcionalidad, la proliferación y la reducción de las barreras para iniciar una guerra. La distinción separa a los civiles y los bienes civiles de los objetivos militares. La proporcionalidad prohíbe los ataques que previsiblemente causen daños incidentales excesivos a civiles en relación con la ventaja militar concreta y directa prevista. Los debates en la ONU comenzaron en 2014; la primera resolución de la Asamblea General, en diciembre de 2023, se aprobó por 152 votos a favor y 4 en contra, con 11 abstenciones.

Una ciudad que estudia el reconocimiento facial en el transporte debe sopesar la búsqueda más rápida de sospechosos frente al examen de todos los pasajeros, los errores desiguales, la futura reutilización de datos y la dependencia del sistema. Compara opciones menos intrusivas, identifica quién supervisa y decide cómo se retiraría el sistema antes de que el despliegue lo dificulte.

El Reglamento de IA de la UE, Reglamento (UE) 2024/1689, entró en vigor el 1 de agosto de 2024. Es una regulación vinculante y horizontal: abarca la IA en distintos sectores y vincula los deberes al riesgo. Su definición se refiere a sistemas basados en máquinas que infieren cómo producir predicciones, contenidos, recomendaciones o decisiones con cierto grado de autonomía. Una fórmula fija de una hoja de cálculo escrita íntegramente por personas generalmente queda fuera de esa definición.

Identifica la función y el uso

Un proveedor desarrolla un sistema o modelo o encarga su desarrollo y lo comercializa o pone en servicio con su nombre. Un responsable del despliegue usa un sistema profesionalmente bajo su autoridad. Los importadores y distribuidores tienen funciones distintas en el mercado. El Reglamento puede alcanzar a proveedores fuera de la UE por el acceso al mercado de la UE o por las salidas usadas allí. Excluye los usos exclusivamente militares, de defensa o de seguridad nacional; los sistemas desarrollados específicamente y puestos en servicio únicamente para investigación y desarrollo científicos; y la actividad personal y no profesional de los responsables del despliegue.

Los modelos de IA de uso general tienen un marco separado. Un modelo puede servir de base a muchos sistemas; evalúa la finalidad prevista de cada sistema y los deberes de transparencia aplicables.

Comprueba primero las prohibiciones

El artículo 5 prohíbe la manipulación perjudicial y la explotación de vulnerabilidades; la puntuación social con un trato perjudicial no relacionado o injustificado; la predicción del riesgo de cometer delitos basada únicamente en la elaboración de perfiles o la personalidad; la extracción indiscriminada de imágenes faciales para bases de datos de reconocimiento; la categorización biométrica de rasgos sensibles; y el reconocimiento de emociones en el trabajo o la educación, salvo para usos médicos o de seguridad. La identificación biométrica remota en tiempo real para fines policiales en espacios públicos está generalmente prohibida, con excepciones estrictamente controladas, como encontrar a una víctima de secuestro o hacer frente a una amenaza terrorista inminente.

Desde el 2 de diciembre de 2026, las prohibiciones añadidas abarcan sistemas que generan o manipulan material íntimo realista no consentido de personas identificables y material o actuaciones de abuso sexual infantil, con sujeción en este último caso a una causa de exención limitada prevista en el derecho nacional. Una etiqueta informativa no hace permisible un uso prohibido.

Aplica las vías de alto riesgo

El anexo I se refiere a productos de IA o componentes de seguridad cubiertos por leyes de productos que exigen una evaluación de la conformidad por terceros. La sección A incluye dispositivos médicos, juguetes y ascensores, con requisitos directos del Reglamento de IA. La sección B incluye vehículos, aeronaves y maquinaria, cuyos requisitos de IA se integran principalmente mediante la legislación sectorial. Las normas de 2026 excluyen de la condición de componente de seguridad la asistencia y optimización puramente ajenas a la seguridad, y excluyen productos cuya evaluación por terceros se exige únicamente por riesgos ajenos a la salud y la seguridad.

El anexo III se refiere a usos especificados en ocho áreas: biometría, infraestructuras críticas, educación y formación, empleo, servicios esenciales, aplicación de la ley, migración y fronteras, y justicia y procesos democráticos. Algunos ejemplos son la admisión, la calificación, la clasificación de currículos, la solvencia crediticia personal, la fijación de precios de seguros de vida y de salud y la clasificación de llamadas de emergencia. La detección de fraude queda excluida del apartado de solvencia crediticia personal.

Un uso del anexo III puede quedar fuera de la clasificación de alto riesgo si no plantea un riesgo significativo, entre otras cosas porque no influye materialmente en los resultados de las decisiones, y cumple una función limitada de procedimiento, preparación, mejora de un trabajo completado o comprobación de patrones. La elaboración de perfiles de personas impide siempre esa excepción. El proveedor debe documentar y registrar la evaluación de la excepción.

El artículo 50 puede aplicarse junto con una categoría de riesgo. Exige avisos de interacción con IA salvo que sea evidente, marcado legible por máquina del contenido generado por parte de los proveedores, avisos sobre reconocimiento de emociones o categorización biométrica y divulgación por los responsables del despliegue de ultrasuplantaciones o texto de IA de interés público sin revisión. Las presentaciones artísticas tienen normas de divulgación adaptadas. La edición ordinaria sin cambios sustanciales en el contenido o el significado y ciertos usos policiales autorizados legalmente tienen excepciones. Un chatbot que clasifica candidatos puede tener tanto deberes de transparencia como de alto riesgo.

La gobernanza de los sistemas de alto riesgo se extiende desde el diseño hasta la retirada. El proveedor debe generar evidencia de la gestión de riesgos y el responsable del despliegue debe garantizar que el sistema sea seguro y que se rinda cuentas por él en su entorno real. Las fechas siguientes reflejan el Reglamento modificado en 2026.

Obligaciones del proveedor y del responsable del despliegue

Los proveedores necesitan gestión de riesgos durante el ciclo de vida; datos pertinentes y representativos y comprobaciones de sesgos; documentación técnica y registros; instrucciones de uso claras; un diseño que permita una supervisión humana eficaz; exactitud, robustez y ciberseguridad adecuadas; y un sistema de gestión de la calidad. Una evaluación de la conformidad comprueba los requisitos aplicables antes de la entrada en el mercado. La mayoría de los sistemas del anexo III usan una evaluación interna; ciertos sistemas biométricos requieren un organismo notificado; la sección A del anexo I sigue la vía de evaluación por terceros de la ley del producto. Los proveedores emiten una declaración, colocan el marcado CE, registran los sistemas independientes de alto riesgo, supervisan el rendimiento tras la entrada en el mercado y notifican incidentes graves.

Los responsables del despliegue siguen las instrucciones, designan a personas competentes con autoridad, controlan que los datos de entrada sean pertinentes, supervisan el funcionamiento, notifican problemas y normalmente conservan los registros generados automáticamente durante al menos seis meses. Informan a los trabajadores y sus representantes antes del uso en el trabajo e informan a las personas objeto de decisiones de alto riesgo asistidas por IA. Los organismos públicos, ciertos proveedores de servicios públicos y los responsables que usan IA para evaluar la solvencia crediticia o fijar precios de seguros de vida o de salud realizan una evaluación de impacto relativa a los derechos fundamentales antes del uso. El artículo 86 da a las personas afectadas una explicación de la función de la IA y de los elementos principales de la decisión cuando una decisión significativa comprendida en el anexo III afecta negativamente a su salud, seguridad o derechos fundamentales. Excluye el punto 2 del anexo III (infraestructuras críticas), respeta las restricciones legales aplicables y se aplica cuando otro derecho de la UE no ofrece ya la explicación. Las reclamaciones se presentan ante las autoridades nacionales de vigilancia del mercado.

Modelos de uso general

Los proveedores de modelos de IA de uso general conservan documentación técnica, proporcionan información de integración a los proveedores posteriores, mantienen una política de cumplimiento del derecho de autor y publican un resumen del contenido de entrenamiento. Los modelos libres y de código abierto que cumplen los requisitos y no presentan riesgo sistémico están exentos de las dos obligaciones de documentación, pero mantienen las relativas al derecho de autor y al resumen.

Un entrenamiento superior a ${10}^{25}$ FLOP crea una presunción de riesgo sistémico; la Comisión también puede designar un modelo como tal. Las obligaciones añadidas abarcan la evaluación, incluidas las pruebas adversarias, la evaluación y mitigación del riesgo sistémico, la notificación de incidentes y la ciberseguridad. El Código de buenas prácticas para la IA de uso general, voluntario y publicado en julio de 2025, ofrece una vía para demostrar el cumplimiento.

Una estimación aproximada del cómputo de entrenamiento es $6\times parameters\times tokens$. Para 70 000 millones de parámetros y 15 billones de ocurrencias léxicas:

Eso es el 63 % del umbral. El cómputo por sí solo no activa la presunción; la designación sigue siendo posible.

Cumplimiento y multas máximas

Las autoridades nacionales supervisan los sistemas. La Oficina de IA de la Comisión supervisa los modelos de IA de uso general. El artículo 75 también le asigna determinadas funciones sobre sistemas de IA de uso general de una misma empresa y sobre plataformas y motores de búsqueda de muy gran tamaño designados, con excepciones sectoriales y de autoridades. El Comité de IA coordina a los Estados miembros, con asesoramiento científico de un grupo de expertos. Los espacios controlados de pruebas apoyan las pruebas supervisadas.

El artículo 99 fija el máximo de las multas por prácticas prohibidas en 35 millones de euros o el 7 % del volumen de negocios mundial del año anterior, la cantidad que sea mayor. Las infracciones especificadas de los deberes de los operadores tienen un máximo de 15 millones de euros o el 3 %; la información incorrecta o engañosa, de 7,5 millones de euros o el 1 %. Las pymes usan la cantidad menor en los tres niveles. Las pequeñas empresas de mediana capitalización usan la menor solo en los dos últimos. Son límites máximos, no multas automáticas. Con un volumen de negocios de 2000 millones de euros, el 7 % son 140 millones de euros; una pyme con un volumen de negocios de 20 millones de euros se enfrenta al límite menor de 1,4 millones de euros por una práctica prohibida. Los proveedores de modelos de IA de uso general también tienen un régimen sancionador separado en el artículo 101.

Distingue la entrada en vigor de la aplicación

• 1 de agosto de 2024: entrada en vigor.
• 2 de febrero de 2025: prohibiciones originales y deberes de alfabetización en IA.
• 2 de agosto de 2025: obligaciones para modelos de IA de uso general, disposiciones de gobernanza y la mayoría de las disposiciones sancionadoras.
• 2 de agosto de 2026: aplicación general, incluidos los deberes de transparencia.
• 2 de diciembre de 2026: nuevas prohibiciones sobre contenido íntimo y material de abuso infantil.
• 2 de diciembre de 2027: requisitos de alto riesgo del anexo III.
• 2 de agosto de 2028: requisitos de alto riesgo del anexo I.

Los modelos de IA de uso general comercializados antes del 2 de agosto de 2025 tienen hasta el 2 de agosto de 2027. La transición para sistemas de alto riesgo ya existentes usados por autoridades públicas llega hasta el 2 de agosto de 2030. Otros sistemas de alto riesgo existentes generalmente quedan sujetos al Reglamento cuando se rediseñan significativamente después de su fecha de aplicación pertinente. Los proveedores de sistemas generadores de contenido comercializados antes del 2 de agosto de 2026 tienen hasta el 2 de diciembre de 2026 para el marcado legible por máquina del artículo 50, apartado 2; los deberes separados de los responsables del despliegue siguen necesitando evaluación. La alfabetización en IA exige medidas que favorezcan su desarrollo entre el personal que opera y usa IA, teniendo en cuenta su experiencia y el contexto de uso. No garantiza un nivel individual concreto. La legislación de protección de datos sigue aplicándose junto con el Reglamento.

El riesgo combina probabilidad y gravedad. La IA añade elementos cambiantes: los datos cambian, los modelos ocultan patrones, los proveedores externos cambian y un fallo puede repetirse en muchas decisiones. Un proceso de riesgos necesita responsables y fechas de revisión, además de puntuaciones.

Usa juntas las cuatro funciones del NIST

El NIST AI RMF 1.0, publicado el 26 de enero de 2023, es voluntario y aplicable a cualquier sector. Sigue siendo el marco publicado mientras avanza su revisión conforme al Plan de Acción de IA de Estados Unidos. Sus siete características de una IA confiable son validez y fiabilidad; seguridad; protección y resiliencia; rendición de cuentas y transparencia; explicabilidad e interpretabilidad; protección de la privacidad; y equidad con los sesgos perjudiciales gestionados. Pueden entrar en conflicto, así que documenta la elección y quién soporta sus costos.

Gobernar está presente en las demás funciones. Estas se repiten durante el ciclo de vida, no son una secuencia que se ejecuta una sola vez. La guía sugiere acciones; los perfiles adaptan el marco a usos concretos. NIST AI 600-1, el Perfil de IA generativa de julio de 2024, aborda preocupaciones como las respuestas inventadas y el contenido sintético perjudicial.

Distingue las normas de los requisitos legales

ISO/IEC 42001:2023 especifica un sistema de gestión de la IA con política, funciones, evaluaciones, controles, auditoría interna y mejora continua mediante el ciclo de planificar, hacer, verificar y actuar. Las organizaciones pueden certificarse conforme a él. ISO/IEC 23894:2023 ofrece orientación para la gestión de riesgos de IA basada en ISO 31000. Una certificación se refiere al sistema de gestión y a su alcance evaluado; las obligaciones legales siguen necesitando una evaluación propia. Las normas armonizadas de la UE citadas para requisitos concretos de alto riesgo pueden dar una presunción de conformidad para los requisitos que cubren.

Elabora un registro de riesgos

Establece el contexto, identifica sucesos perjudiciales, analiza su probabilidad y gravedad, compáralos con la tolerancia al riesgo, elige el tratamiento y revisa. Un tratamiento puede evitar una actividad, reducir su riesgo, transferir algunas consecuencias mediante seguros o contratos, o aceptar conscientemente el riesgo residual.

Para una herramienta de selección de currículos, usa puntuaciones ilustrativas de 1–5 y una regla de prioridad: puntuaciones de al menos 15 son altas, de 8–14 medias y menores que 8 bajas. El rechazo desigual de candidatos cualificados tiene probabilidad 4 y gravedad 4: $4\times 4=16$, alta. Tras una auditoría, seguimiento por grupo y revisión efectiva de los rechazos, la probabilidad evaluada baja a 2: $2\times 4=8$, riesgo residual medio. Registra la evidencia que respalda ese cambio de puntuación y una persona responsable de comprobarlo.

Una filtración de datos puntuada con $2\times 5=10$ es media, pero tiene gravedad máxima. Una interrupción puntuada con $3\times 2=6$ es baja. Productos iguales o similares pueden ocultar daños muy diferentes; las puntuaciones ordinales ayudan a priorizar, no son probabilidades precisas ni pérdidas medidas.

Un inventario de IA, responsables identificados para los sistemas, revisión previa al despliegue, comprobaciones de proveedores, respuesta a incidentes y auditorías internas o independientes hacen operativo el marco. Vuelve a revisar el registro cuando cambien los usuarios, los datos, las capacidades o los incidentes.

Los enfoques de gobernanza difieren en varios ejes. El derecho vinculante obliga mediante deberes exigibles; el derecho indicativo ofrece principios y normas voluntarios. Las normas horizontales abarcan sectores; la supervisión sectorial usa reguladores de ámbitos como finanzas, salud y transporte. Los controles ex ante actúan antes del uso; las vías de reparación ex post responden después del daño. Una jurisdicción puede combinar todos estos enfoques.

Compara los enfoques generales

La UE combina la evaluación de la conformidad y el marcado CE con la supervisión posterior. Las empresas internacionales pueden extender las prácticas de la UE a otros mercados para simplificar su funcionamiento: el efecto Bruselas. Esa decisión empresarial es distinta de que el Reglamento se aplique legalmente a toda actividad en el mundo.

Estados Unidos no tiene una única ley federal integral sobre IA. Las normas existentes de protección del consumidor, discriminación, crédito y seguridad de productos siguen aplicándose. La política ejecutiva ha cambiado entre administraciones y los estados añaden medidas sobre decisiones automatizadas, ultrasuplantaciones y transparencia de modelos avanzados. La prevalencia federal sobre las normas estatales sigue siendo objeto de debate. Una propuesta federal es diferente de una ley promulgada.

Los cinco principios del Reino Unido se refieren a seguridad y robustez, transparencia adecuada, equidad, rendición de cuentas y gobernanza, y posibilidad de impugnación y reparación del daño. Los reguladores existentes los aplican dentro de sus competencias. El Instituto de Ciberseguridad de la IA evalúa sistemas avanzados; no es un regulador.

Las medidas de China abarcan algoritmos de recomendación desde 2022, síntesis profunda y servicios de IA generativa desde 2023, y etiquetado de contenido generado en vigor desde el 1 de septiembre de 2025. El registro de algoritmos y los requisitos de control de contenidos forman parte de ese enfoque.

Sigue la influencia internacional y los plazos

Los instrumentos internacionales incluyen los Principios de IA de la OCDE, el código del Proceso de Hiroshima del G7 de 2023 para desarrolladores de modelos avanzados, resoluciones de la ONU y cumbres iniciadas en Bletchley Park en 2023. El Convenio Marco del Consejo de Europa sobre IA se abrió a la firma en septiembre de 2024 como instrumento de tratado jurídicamente vinculante. La firma y la entrada en vigor son etapas diferentes; la existencia de un tratado no significa que todos los países estén vinculados por él.

El dilema de Collingridge se refiere al momento oportuno: es más fácil orientar la tecnología antes de que se conozcan bien sus efectos, pero es más difícil cambiarla después de que se arraigue. Los espacios controlados de pruebas para la regulación, las normas y las revisiones programadas ayudan a la adaptación. Las reglas vinculantes ofrecen protección exigible y previsibilidad, pero pueden imponer costos o adaptarse lentamente; los enfoques flexibles pueden responder más rápido y dejar lagunas.

Para una herramienta de contratación, el empleador sigue siendo responsable de los resultados discriminatorios en la UE, Estados Unidos y el Reino Unido. Revisa tanto las normas específicas de IA como las existentes y distingue los deberes obligatorios de las prácticas voluntarias útiles. Un marco voluntario puede influir en contratos, contratación pública y expectativas de diligencia razonable aunque no cree ninguna exención legal.