Vigilar la IA: de cada decisión a las reglas que las rigen

ERQYO, una arquitectura de investigación descrita en este sitio, existe por una razón: dejar que un sistema aprenda cuándo actuar sin aprender nunca el permiso para actuar. Su mitad adaptativa lee los eventos, el estado y el ritmo de las personas y los procesos que rodean un caso, y propone lo que parece apropiado a continuación. Su mitad gobernada contrasta esa propuesta con la autoridad, las políticas, la evidencia y los límites de tiempo estrictos, y después la permite, la aplaza, la entrega a una persona o la rechaza. Las dos mitades se mantienen separadas para que nada de lo que el sistema aprende pueda convertirse en un permiso.

Es tentador resumir esto como mantener a una persona en el circuito de cada decisión. No es exactamente lo que hace la arquitectura, y la diferencia importa para todo lo que sigue. La instancia determinista es el operador, no la persona: el operador aplica las restricciones en vigor, de la misma manera cada vez, y anota por qué. La persona es la fuente de autoridad que el runtime no puede crear por sí mismo. Donde ningún mandato cubre una decisión, el runtime la entrega. Donde las reglas en vigor exigen una revisión, la entrega. Donde las reglas le permiten seguir, sigue y deja escrito bajo qué reglas. La persona está al mando sin estar en el circuito de cada paso. El vocabulario publicado para esto es vigilancia humana por diseño, la persona sigue en el circuito. Se trata del circuito de la vigilancia, no del de cada paso.

Así que la pregunta que hace este artículo no es si las personas pueden quedar fuera de la vigilancia. No pueden, y la arquitectura se apoya en eso. Es cómo cambia el trabajo de vigilancia a medida que menos decisiones individuales necesitan la confirmación de una persona, que es la dirección hacia la que apuntan la economía, la evidencia acumulada y la ley, y qué tiene que crecer en su lugar.

El marco contra el que se diseñó este runtime, COADF, trata la vigilancia como un ajuste graduado y no como un interruptor. Su octavo principio hace de la autonomía una propiedad de las reglas y no del código: cuánto puede hacer un sistema sin una persona se fija por jurisdicción y por clase de riesgo, y nunca supera el techo que la ley establece allí. Elevarlo donde la ley lo permite es un cambio de regla con una base legal registrada, nunca una bifurcación del código. En el ajuste más bajo, una persona confirma cada resultado antes de que surta efecto; en el más alto, el sistema sigue y se audita después; y cada registro de decisión está vinculado a la versión del conjunto de reglas que lo produjo, de modo que la configuración en vigor pueda leerse más tarde.

El derecho europeo razona del mismo modo. El artículo 14 del Reglamento (UE) 2024/1689, la Ley de IA, exige que los sistemas de alto riesgo se diseñen de modo que las personas físicas puedan vigilarlos de manera efectiva mientras están en uso, y su apartado 3 dice que las medidas de vigilancia serán proporcionales a los riesgos, al nivel de autonomía y al contexto de uso del sistema. La ley no prescribe un circuito para cada decisión. Prescribe una vigilancia proporcional a la autonomía y nombra el mínimo que la vigilancia debe permitir siempre: entender las capacidades y limitaciones del sistema, seguir atento al sesgo de automatización, interpretar correctamente sus resultados, decidir no utilizarlo o invalidar o revertir sus resultados, e intervenir o detenerlo (artículo 14, apartado 4). El artículo 26, apartado 2, dice quién: los responsables del despliegue encomiendan la vigilancia a personas físicas con la competencia, la formación y la autoridad necesarias.

Leídos en conjunto, el principio y el artículo describen un solo mecanismo. La autonomía es un nivel. El nivel se fija fuera del sistema, por personas que tienen autoridad. La ley lo limita. Y el sistema lleva el nivel en cada registro, de modo que la configuración pueda auditarse después. Lo que baja a medida que el nivel sube es el número de decisiones que una persona ve antes de que surtan efecto. Lo que no baja es que una persona fijó el nivel, que una persona puede invalidar cualquier resultado individual y que una persona responde del resultado.

Una imagen útil para esto es el animal adiestrado. Un perro que ha aprendido a caminar junto necesita menos correa que un cachorro, y un caballo de trabajo necesita menos manos que uno sin domar. El adiestramiento traslada el control de la mano a los hábitos del animal, y la mano hace falta con menos frecuencia. Esa es la dirección hacia la que va la vigilancia de los sistemas de IA, y la imagen capta algo real: a medida que las barreras de un sistema se acreditan y sus registros se acumulan, la fracción de sus acciones que una persona tiene que confirmar puede bajar.

La visión que la ley tiene del animal adiestrado es lo que hace que la imagen merezca conservarse. Según el artículo 833 del Código Civil alemán (BGB), el poseedor de un animal responde del daño que este causa, adiestrado o no. Solo el poseedor de un animal de trabajo, mantenido para una profesión o para el sustento, escapa a la responsabilidad, y solo probando que el animal fue vigilado con el cuidado que la situación exigía, o que el daño se habría producido de todos modos. El artículo 936 del Código Civil brasileño dice lo mismo en una frase: el dueño o poseedor de un animal responde del daño que causa, salvo que pruebe culpa de la víctima o fuerza mayor. El adiestramiento acorta la correa. Nunca reduce la responsabilidad del poseedor, y para un animal de trabajo la defensa del poseedor es el registro de la vigilancia.

La analogía se detiene en tres puntos, y cada uno de ellos es un hecho arquitectónico. Primero, las capacidades de un animal adiestrado son estables, mientras que las de un modelo cambian con cada versión, así que la confianza ganada por una versión no pasa a la siguiente, y cada barrera tiene que mostrar de nuevo que salta después de cada cambio. Segundo, al animal no se le pide que tenga autoridad, y al sistema tampoco. El hábito que permite aflojar la correa no es el hábito de decidir si puede aflojarse, y la arquitectura mantiene esa decisión fuera del alcance de todo lo que el sistema aprende. Tercero, el animal no lleva registro. Un sistema puede, y el registro es toda la diferencia entre un poseedor que puede mostrar qué cuidado se tuvo y uno que no puede.

El pronóstico que hace este artículo se enuncia como hipótesis, no como medición. A medida que las barreras ejecutables cubren más de lo que un sistema puede hacer, y que los registros de decisión se acumulan en evidencia de que las barreras se sostienen, la proporción de decisiones que una persona tiene que ver antes de que surtan efecto seguirá bajando. La vigilancia pasa del circuito a las reglas: las personas dedicarán menos tiempo a confirmar resultados individuales y más a escribir las políticas bajo las que funciona un sistema, a leer los registros que deja y a decidir cuándo puede subir un nivel. Para quienes lo hacen, es un trabajo distinto, no menos trabajo: una regla tiene que sostenerse en casos que nadie ha visto todavía, y eso exige más juicio que confirmar un solo caso. El sistema no se controla a sí mismo. Lo controla una arquitectura que las personas pueden inspeccionar, a un nivel que las personas fijan.

Si eso termina en independencia plena no se sabe, y puede que no deba. Dos cosas se saben. Para los usos que la Ley de IA clasifica como de alto riesgo, la ley prohíbe de plano un circuito vacío: una vigilancia proporcional a la autonomía, con una persona capaz de invalidar y de detener, es un requisito de diseño y no una preferencia, y allí el techo de la autonomía es legal. Para cualquier otro uso, la posición honesta es que el nivel solo puede subir hasta donde sube la verificación. Un nivel que se adelanta a la evidencia que lo respalda no es autonomía. Es una afirmación no probada, con consecuencias.

Por eso la dirección y el ritmo son preguntas distintas. La dirección la fijan la economía y la acumulación de evidencia, y apunta en un solo sentido. El ritmo lo fijan tres cosas fuera del sistema: la ley, que limita el nivel; las normas técnicas, que traducen las exigencias de la ley al estado de la técnica; y los tribunales, que deciden después si un nivel era aceptable en su momento. La sección siguiente trata de esas tres.

La legislación fija el techo. El artículo 14 de la Ley de IA es el ejemplo más claro: donde se aplica, ningún conjunto de reglas puede configurar un sistema por debajo de la vigilancia que exige, y un runtime que lleva el nivel de autonomía en cada registro tiene que imponer ese techo como restricción, no ofrecerlo como opción. El calendario se conoce. Las prohibiciones del artículo 5 se aplican desde el 2 de febrero de 2025 y los deberes de transparencia del artículo 50 desde el 2 de agosto de 2026. Tras el Reglamento (UE) 2026/1744, el Ómnibus Digital, el régimen de alto riesgo se aplica desde el 2 de diciembre de 2027 a las categorías independientes del anexo III y desde el 2 de agosto de 2028 a los sistemas integrados en productos regulados del anexo I. La legislación se mueve despacio y por etapas, y un techo que se mueve por etapas es la forma correcta para una configuración que las personas tienen que poder auditar.

Las normas técnicas rellenan lo que la ley deja abierto. Según el artículo 40 de la Ley de IA, se presume que un sistema de alto riesgo que sigue normas armonizadas cuyas referencias se han publicado en el Diario Oficial cumple los requisitos que esas normas cubren. Las normas son donde la expresión proporcionales al nivel de autonomía adquirirá medidas concretas, y se revisarán con más frecuencia que el Reglamento. Son la capa intermedia: más lentas que la tecnología, más rápidas que la ley.

La jurisprudencia es la tercera capa, y la que este artículo espera que lleve la historia. Un tribunal no decide cuál debe ser la autonomía. Decide, a posteriori, si el nivel que estaba en vigor cuando algo salió mal era defendible en ese momento, con lo que entonces se sabía. La Directiva (UE) 2024/2853, relativa a la responsabilidad por los daños causados por productos defectuosos, que los Estados miembros tienen que transponer antes del 9 de diciembre de 2026 y que se aplica a los productos introducidos en el mercado después de esa fecha, da a esa pregunta sus términos para el software. El software es un producto (artículo 4, apartado 1). Al evaluar si era defectuoso, un tribunal tiene en cuenta el efecto de cualquier capacidad de seguir aprendiendo después de su introducción en el mercado (artículo 7, apartado 2, letra c)) y el momento en que salió del control del fabricante (artículo 7, apartado 2, letra e)). La defensa del fabricante descansa en lo que el estado objetivo de los conocimientos científicos y técnicos permitía en ese momento (artículo 11, apartado 1, letra e)). Cada una de esas pruebas es una prueba sobre una fecha. La propuesta de una directiva aparte sobre responsabilidad en materia de inteligencia artificial fue retirada por la Comisión en 2025, así que por ahora se aplican estas reglas generales, y las reglas nacionales de culpa junto a ellas.

Sentencia a sentencia, eso produce un registro fechado de cuánta autonomía era aceptable, en qué uso, en qué estado de la técnica. En Alemania y en Brasil, donde una sentencia vincula a las partes y no a todos los tribunales posteriores, ese registro opera a través del estándar de cuidado con el que se mide el caso siguiente, y en Brasil también a través de los precedentes vinculantes que prevén su Constitución y su Código Procesal Civil. En cualquiera de los dos sistemas, la jurisprudencia se convierte en la versión historizada de la evolución que este artículo describe. La ley dice hasta dónde puede llegar el nivel. Los tribunales dicen, caso a caso, hasta dónde podía razonablemente haber llegado cuando importaba.

Si los tribunales van a historizar la evolución, el material tiene que existir. Esa es la consecuencia arquitectónica, y es concreta. Cada registro de decisión tiene que llevar el nivel de autonomía que estaba en vigor y la versión del conjunto de reglas que lo fijó, para que un lector posterior pueda distinguir una regla de un hábito. Tiene que llevar lo que el sistema sabía y no sabía cuando decidió: si la evidencia estaba actualizada, si un mandato cubría la acción, si se había suministrado siquiera una política, porque un sistema que puede decir nadie lo pidió está en una posición distinta de uno que solo puede decir nada lo prohibía. Tiene que llevar quién tenía la autoridad, y si una persona confirmó, invalidó o detuvo el resultado. Y tiene que poder reproducirse, para que lo que el sistema habría decidido bajo las reglas de aquel día pueda mostrarse en lugar de reconstruirse de memoria. La implementación de referencia descrita en este sitio registra el nivel, la referencia de la regla, la incertidumbre, la autoridad y cualquier invalidación humana en sus trazas de decisión, y puede reproducirlas. Que no esté desplegada no cambia lo que el registro tiene que contener.

Nada de esto es nuevo como técnica. Los registros de solo adición, las políticas versionadas y las decisiones reproducibles son todos anteriores a este trabajo. Lo específico es la razón para conservarlos: el registro se escribe para un lector que todavía no existe, un supervisor, un auditor o un tribunal, que preguntará cuál era el nivel, quién lo fijó, con qué base, y si la evidencia de entonces lo respaldaba. Un sistema que puede responder a esas cuatro preguntas desde sus propios registros puede recibir más margen. Uno que no puede no debería recibirlo, digan lo que digan sus cifras de exactitud.

No dice que ERQYO esté en uso. Es una implementación de referencia en un repositorio, con pruebas, y no está desplegada; el único invocador que existe funciona en modo sombra detrás de interruptores desactivados. La arquitectura es un argumento sobre lo que debería hacer un runtime, respaldado por código que muestra que puede hacerse. No es un servicio.

No dice que las barreras puedan ser completas. Una barrera prueba que salta contra el defecto para el que fue construida. No prueba nada sobre el defecto en el que nadie ha pensado, y toda afirmación de control total debe leerse como una afirmación sobre los defectos que se probaron.

No dice que la independencia plena vaya a llegar, ni cuándo. Dice que la proporción de decisiones que una persona confirma bajará, no que la vigilancia pase a ser una responsabilidad menor, y que el ritmo de esa bajada lo fijan la verificación, la legislación, las normas técnicas y los tribunales, no los propios sistemas. Donde se aplica el artículo 14, el suelo es legal y ninguna configuración baja de él.

Y no es asesoramiento jurídico. Si la Ley de IA, las reglas de responsabilidad por productos o las disposiciones sobre el poseedor de animales aquí citadas se aplican a un sistema o una situación determinados depende de hechos que este artículo no tiene. Cada disposición se cita por artículo para que quien lee pueda contrastarla con el texto el día en que importe.