Superviser l'IA : de chaque décision aux règles qui les régissent

ERQYO, une architecture de recherche décrite sur ce site, existe pour une seule raison : permettre à un système d'apprendre quand agir sans jamais apprendre la permission d'agir. Son versant adaptatif lit les événements, l'état et le rythme des personnes et des processus autour d'un dossier, et propose ce qui semble approprié ensuite. Son versant gouverné confronte cette proposition à l'autorité, à la politique, aux preuves et aux délais impératifs, puis l'autorise, la reporte, la confie à une personne ou la refuse. Les deux versants sont tenus séparés pour que rien de ce que le système apprend ne puisse se transformer en permission.

Il est tentant de résumer cela en disant qu'une personne reste dans la boucle de chaque décision. Ce n'est pas tout à fait ce que fait l'architecture, et la différence compte pour tout ce qui suit. L'instance déterministe est l'opérateur, pas la personne : l'opérateur applique les contraintes en vigueur, de la même manière à chaque fois, et enregistre pourquoi. La personne est la source d'autorité que le runtime ne peut pas créer pour lui-même. Là où aucun mandat ne couvre une décision, le runtime la remet à une personne. Là où les règles en vigueur exigent une revue, il la remet. Là où les règles lui permettent de poursuivre, il poursuit et note sous quelles règles. La personne garde la main sans être dans la boucle de chaque étape. Le vocabulaire publié pour cela est : contrôle humain par conception, la personne reste dans la boucle. Il s'agit de la boucle du contrôle, non de celle de chaque étape.

La question que pose cet article n'est donc pas de savoir si les personnes peuvent être retirées du contrôle. Elles ne le peuvent pas, et l'architecture repose sur ce fait. Elle porte sur la manière dont le travail de contrôle change à mesure que moins de décisions isolées demandent la confirmation d'une personne, ce qui est la direction vers laquelle pointent l'économie, l'accumulation des preuves et la loi, et sur ce qui doit croître à sa place.

Le cadre pour lequel ce runtime a été conçu, COADF, traite le contrôle comme un réglage gradué plutôt que comme un interrupteur. Son huitième principe fait de l'autonomie une propriété des règles et non du code : ce qu'un système peut faire sans personne est fixé par juridiction et par classe de risque, et ne dépasse jamais le plafond que la loi y pose. L'élever là où la loi le permet est un changement de règles avec base juridique consignée, jamais une divergence du code. Au réglage le plus bas, une personne confirme chaque sortie avant qu'elle ne prenne effet ; au plus haut, le système poursuit et est audité ensuite ; et chaque enregistrement de décision est lié à la version du jeu de règles qui l'a produit, de sorte que le réglage en vigueur peut être relu plus tard.

Le droit européen raisonne de la même manière. L'article 14 du règlement (UE) 2024/1689, le règlement sur l'IA, exige que les systèmes à haut risque soient conçus de sorte que des personnes physiques puissent effectivement les contrôler pendant leur utilisation, et son paragraphe 3 dit que les mesures de contrôle sont proportionnées aux risques, au niveau d'autonomie et au contexte d'utilisation du système. La loi ne prescrit pas une boucle pour chaque décision. Elle prescrit un contrôle proportionné à l'autonomie, et elle nomme le minimum que ce contrôle doit toujours permettre : comprendre les capacités et les limites du système, rester conscient du biais d'automatisation, interpréter correctement sa sortie, décider de ne pas l'utiliser ou passer outre ou inverser sa sortie, et intervenir ou l'arrêter (article 14, paragraphe 4). L'article 26, paragraphe 2, dit qui : les déployeurs confient le contrôle à des personnes physiques disposant des compétences, de la formation et de l'autorité nécessaires.

Lus ensemble, le principe et l'article décrivent un seul mécanisme. L'autonomie est un niveau. Le niveau est fixé hors du système, par des personnes qui détiennent l'autorité. La loi le plafonne. Et le système porte le niveau sur chaque enregistrement, de sorte que le réglage peut être audité ensuite. Ce qui diminue à mesure que le niveau monte, c'est le nombre de décisions qu'une personne voit avant qu'elles ne prennent effet. Ce qui ne diminue pas, c'est qu'une personne a fixé le niveau, qu'une personne peut passer outre toute issue individuelle, et qu'une personne répond du résultat.

Une image utile pour cela est l'animal dressé. Un chien qui a appris à marcher au pied a besoin de moins de laisse qu'un chiot, et un cheval de travail a besoin de moins de mains qu'un cheval non débourré. Le dressage déplace le contrôle de la main vers les habitudes de l'animal, et la main est nécessaire moins souvent. C'est la direction que prend le contrôle des systèmes d'IA, et l'image saisit quelque chose de réel : à mesure que les garde-fous d'un système font leurs preuves et que ses enregistrements s'accumulent, la fraction de ses actions qu'une personne doit confirmer peut diminuer.

Le regard que le droit porte sur l'animal dressé est ce qui rend l'image digne d'être conservée. En vertu de l'article 833 du Code civil allemand (BGB), le détenteur d'un animal répond du dommage qu'il cause, dressé ou non. Seul le détenteur d'un animal de travail, un animal tenu pour une profession ou une subsistance, échappe à la responsabilité, et seulement en prouvant que l'animal a été surveillé avec le soin que la situation exigeait, ou que le dommage serait survenu malgré tout. L'article 936 du Code civil brésilien dit la même chose en une phrase : le propriétaire ou le détenteur d'un animal répond du dommage qu'il cause, sauf à prouver la faute de la victime ou la force majeure. Le dressage réduit la laisse. Il ne réduit jamais la responsabilité du détenteur, et pour un animal de travail, la défense du détenteur est l'enregistrement de la surveillance.

L'analogie s'arrête en trois points, et chacun d'eux est un fait architectural. Premièrement, les capacités d'un animal dressé sont stables, tandis que celles d'un modèle changent à chaque version, de sorte que la confiance acquise par une version ne se transmet pas à la suivante, et chaque garde-fou doit montrer à nouveau qu'il se déclenche après chaque changement. Deuxièmement, on ne demande pas à l'animal de détenir l'autorité, et pas davantage au système. L'habitude qui permet de relâcher la laisse n'est pas l'habitude de décider si elle peut être relâchée, et l'architecture tient cette décision hors de portée de tout ce que le système apprend. Troisièmement, l'animal ne tient aucun enregistrement. Un système le peut, et l'enregistrement est toute la différence entre un détenteur qui peut montrer quel soin a été pris et un autre qui ne le peut pas.

La prévision que fait cet article est énoncée comme une hypothèse, non comme une mesure. À mesure que des barrières exécutables couvrent davantage de ce qu'un système peut faire, et que les enregistrements de décision s'accumulent en preuves que les barrières tiennent, la part des décisions qu'une personne doit voir avant qu'elles ne prennent effet continuera de diminuer. Le contrôle se déplace de la boucle vers les règles : les personnes passeront moins de temps à confirmer des issues individuelles et davantage à écrire les politiques sous lesquelles un système fonctionne, à lire les enregistrements qu'il laisse et à décider quand un niveau peut monter. Pour les personnes qui l'exercent, c'est un travail différent, pas un travail moindre : une règle doit tenir dans des cas que personne n'a encore vus, ce qui demande davantage au jugement que de confirmer un cas. Le système ne se contrôle pas lui-même. Il est contrôlé par une architecture que des personnes peuvent inspecter, à un niveau que des personnes fixent.

Que cela finisse en indépendance complète n'est pas connu, et il se peut que cela ne le doive pas. Deux choses sont connues. Pour les usages que le règlement sur l'IA classe à haut risque, la loi interdit purement et simplement une boucle vide : un contrôle proportionné à l'autonomie, avec une personne capable de passer outre et d'arrêter, est une exigence de conception et non une préférence, et le plafond de l'autonomie y est un plafond juridique. Pour tout autre usage, la position honnête est que le niveau ne peut monter qu'aussi loin que la vérification. Un niveau qui devance les preuves qui le soutiennent n'est pas de l'autonomie. C'est une affirmation non testée avec des conséquences.

C'est pourquoi la direction et le rythme sont deux questions distinctes. La direction est fixée par l'économie et par l'accumulation des preuves, et elle pointe dans un seul sens. Le rythme est fixé par trois choses extérieures au système : la loi, qui plafonne le niveau ; les normes, qui traduisent les exigences de la loi en état de l'art ; et les tribunaux, qui décident après coup si un niveau était acceptable à l'époque. La section suivante porte sur ces trois choses.

La législation fixe le plafond. L'article 14 du règlement sur l'IA en est l'exemple le plus clair : là où il s'applique, aucun jeu de règles ne peut configurer un système en deçà du contrôle qu'il exige, et un runtime qui porte le niveau d'autonomie sur chaque enregistrement doit faire respecter ce plafond comme une contrainte, et non l'offrir comme une option. Le calendrier est connu. Les interdictions de l'article 5 s'appliquent depuis le 2 février 2025 et les obligations de transparence de l'article 50 depuis le 2 août 2026. Après le règlement (UE) 2026/1744, l'omnibus numérique, le régime à haut risque s'applique à partir du 2 décembre 2027 pour les catégories autonomes de l'annexe III et à partir du 2 août 2028 pour les systèmes intégrés dans des produits réglementés au titre de l'annexe I. La législation avance lentement et par paliers, et un plafond qui avance par paliers est la bonne forme pour un réglage que des personnes doivent pouvoir auditer.

Les normes comblent ce que la loi laisse ouvert. En vertu de l'article 40 du règlement sur l'IA, un système à haut risque qui suit des normes harmonisées dont les références sont publiées au Journal officiel est présumé satisfaire aux exigences que ces normes couvrent. Les normes sont là où l'expression proportionnées au niveau d'autonomie acquerra des mesures concrètes, et elles seront révisées plus souvent que le règlement. Elles sont la couche intermédiaire : plus lentes que la technologie, plus rapides que la loi.

La jurisprudence est la troisième couche, et celle dont cet article attend qu'elle porte l'histoire. Un tribunal ne décide pas ce que l'autonomie devrait être. Il décide, après coup, si le niveau qui était en vigueur quand quelque chose a mal tourné était défendable à ce moment-là, compte tenu de ce que l'on savait alors. La directive (UE) 2024/2853 relative à la responsabilité du fait des produits défectueux, que les États membres doivent transposer au plus tard le 9 décembre 2026 et qui s'applique aux produits mis sur le marché après cette date, donne à cette question ses termes pour le logiciel. Le logiciel est un produit (article 4, paragraphe 1). Pour apprécier s'il était défectueux, un tribunal tient compte de l'effet de toute capacité à continuer d'apprendre après sa mise sur le marché (article 7, paragraphe 2, point c)) et du moment où il a quitté le contrôle du fabricant (article 7, paragraphe 2, point e)). La défense du fabricant repose sur ce que l'état objectif des connaissances scientifiques et techniques permettait à l'époque (article 11, paragraphe 1, point e)). Chacun de ces critères est un critère de date. La proposition de directive distincte sur la responsabilité en matière d'intelligence artificielle a été retirée par la Commission en 2025, de sorte que, pour l'instant, ce sont ces règles générales, et les règles nationales de la faute à côté d'elles, qui s'appliquent.

Jugement après jugement, cela produit un registre daté de la quantité d'autonomie qui était acceptable, dans quel usage, à quel état de l'art. En Allemagne et au Brésil, où un jugement lie les parties et non toute juridiction ultérieure, ce registre agit par la norme de diligence à laquelle l'affaire suivante est mesurée, et au Brésil aussi par les précédents contraignants que prévoient sa Constitution et son Code de procédure civile. Dans l'un et l'autre système, la jurisprudence devient la version historicisée de l'évolution que décrit cet article. La loi dit jusqu'où le niveau peut aller. Les tribunaux disent, une affaire à la fois, jusqu'où il aurait raisonnablement pu aller au moment où cela comptait.

Si les tribunaux doivent historiciser l'évolution, la matière doit exister. C'est la conséquence architecturale, et elle est concrète. Chaque enregistrement de décision doit porter le niveau d'autonomie qui était en vigueur et la version du jeu de règles qui l'a fixé, pour qu'un lecteur ultérieur puisse distinguer une règle d'une habitude. Il doit porter ce que le système savait et ne savait pas quand il a décidé : si les preuves étaient à jour, si un mandat couvrait l'action, si une politique avait seulement été fournie, parce qu'un système capable de dire que personne n'a rien demandé est dans une position différente de celui qui ne peut dire que rien ne l'interdisait. Il doit porter qui détenait l'autorité, et si une personne a confirmé l'issue, est passée outre ou l'a arrêtée. Et il doit être rejouable, pour que ce que le système aurait décidé sous les règles de ce jour-là puisse être montré plutôt que reconstruit de mémoire. L'implémentation de référence décrite sur ce site enregistre le niveau, la référence de la règle, l'incertitude, l'autorité et toute intervention humaine passant outre sur ses traces de décision, et peut les rejouer. Qu'elle ne soit pas déployée ne change rien à ce que l'enregistrement doit contenir.

Rien de tout cela n'est nouveau comme technique. Les journaux en ajout seul, les politiques versionnées et les décisions rejouables sont tous antérieurs à ce travail. Ce qui est spécifique, c'est la raison de les conserver : l'enregistrement est écrit pour un lecteur qui n'existe pas encore, une autorité de surveillance, un auditeur ou un tribunal, qui demandera quel était le niveau, qui l'a fixé, sur quelle base, et si les preuves de l'époque le soutenaient. Un système qui peut répondre à ces quatre questions à partir de ses propres enregistrements peut recevoir plus de latitude. Un système qui ne le peut pas ne devrait pas en recevoir, quoi que disent ses chiffres d'exactitude.

Il ne dit pas qu'ERQYO est en service. C'est une implémentation de référence dans un dépôt, avec des tests, et elle n'est pas déployée ; le seul appelant qui existe fonctionne en mode fantôme derrière des interrupteurs désactivés. L'architecture est un argument sur ce qu'un runtime devrait faire, soutenu par du code qui montre que c'est faisable. Ce n'est pas un service.

Il ne dit pas que les barrières peuvent être complètes. Un garde-fou prouve qu'il se déclenche contre le défaut pour lequel il a été construit. Il ne prouve rien du défaut auquel personne n'a pensé, et toute affirmation de contrôle total doit se lire comme une affirmation sur les défauts qui ont été testés.

Il ne dit pas que l'indépendance complète viendra, ni quand. Il dit que la part des décisions qu'une personne confirme diminuera, non que le contrôle devienne une responsabilité moindre, et que le rythme de cette diminution est fixé par la vérification, par la législation, par les normes et par les tribunaux, non par les systèmes eux-mêmes. Là où l'article 14 s'applique, le plancher est juridique et aucune configuration ne descend en dessous.

Et ce n'est pas un conseil juridique. Savoir si le règlement sur l'IA, les règles de responsabilité du fait des produits ou les dispositions sur le détenteur d'un animal citées ici s'appliquent à un système ou à une situation donnés dépend de faits que cet article n'a pas. Chaque disposition est citée par article pour qu'un lecteur puisse la vérifier dans le texte le jour où cela compte.