KI beaufsichtigen: von der einzelnen Entscheidung zu den Regeln, die sie bestimmen

ERQYO, eine auf dieser Website beschriebene Forschungsarchitektur, existiert aus einem Grund: damit ein System lernen kann, wann es handeln soll, ohne je die Erlaubnis zu handeln zu lernen. Seine adaptive Hälfte liest Ereignisse, Zustand und den Rhythmus der Menschen und Prozesse um einen Fall herum und schlägt vor, was als Nächstes angemessen erscheint. Seine gesteuerte Hälfte prüft diesen Vorschlag gegen Autorität, Regeln, Evidenz und harte Fristen und lässt ihn dann zu, stellt ihn zurück, übergibt ihn an eine Person oder lehnt ihn ab. Die beiden Hälften werden getrennt gehalten, damit nichts, was das System lernt, zu einer Erlaubnis werden kann.

Es liegt nahe, das so zusammenzufassen, dass eine Person in der Schleife jeder Entscheidung bleibt. Das ist nicht ganz, was die Architektur tut, und der Unterschied zählt für alles Folgende. Die deterministische Instanz ist der Operator, nicht die Person: Der Operator wendet die geltenden Randbedingungen an, jedes Mal auf dieselbe Weise, und zeichnet auf, warum. Die Person ist die Quelle der Autorität, die die Laufzeitumgebung nicht für sich selbst erzeugen kann. Wo kein Mandat eine Entscheidung deckt, übergibt die Laufzeitumgebung sie. Wo die geltenden Regeln eine Prüfung verlangen, übergibt sie sie. Wo die Regeln ihr erlauben fortzufahren, fährt sie fort und schreibt auf, unter welchen Regeln. Die Person hat das Sagen, ohne in der Schleife jedes einzelnen Schritts zu sein. Das veröffentlichte Vokabular dafür lautet: Menschliche Aufsicht by design, der Mensch bleibt in der Schleife. Gemeint ist die Schleife der Aufsicht, nicht die jedes einzelnen Schritts.

Die Frage dieses Artikels ist also nicht, ob Menschen aus der Aufsicht herausgenommen werden können. Das können sie nicht, und die Architektur baut darauf auf. Sie lautet, wie sich die Arbeit der Aufsicht verändert, wenn weniger einzelne Entscheidungen die Bestätigung einer Person brauchen, was die Richtung ist, in die Ökonomie, die sich ansammelnde Evidenz und das Recht allesamt weisen, und was stattdessen wachsen muss.

Das Framework, gegen das diese Laufzeitumgebung entworfen wurde, COADF, behandelt Aufsicht als abgestufte Einstellung und nicht als Schalter. Sein achtes Prinzip macht Autonomie zu einer Eigenschaft der Regeln und nicht des Codes: Wie viel ein System ohne eine Person tun darf, wird je Rechtsordnung und je Risikoklasse festgelegt und übersteigt nie die Obergrenze, die das Gesetz dort setzt. Die Stufe dort anzuheben, wo das Gesetz es erlaubt, ist eine Regeländerung mit aufgezeichneter Rechtsgrundlage, nie ein Fork des Codes. Auf der untersten Stufe bestätigt eine Person jede Ausgabe, bevor sie wirksam wird; auf der höchsten fährt das System fort und wird im Nachhinein geprüft; und jeder Entscheidungssatz ist an die Version des Regelwerks gebunden, die ihn erzeugt hat, sodass sich die geltende Einstellung später zurücklesen lässt.

Das europäische Recht argumentiert genauso. Artikel 14 der Verordnung (EU) 2024/1689, der KI-Verordnung, verlangt, dass Hochrisiko-Systeme so entworfen werden, dass natürliche Personen sie während der Verwendung wirksam beaufsichtigen können, und sein dritter Absatz sagt, dass die Aufsichtsmaßnahmen den Risiken, dem Grad der Autonomie und dem Kontext der Nutzung des Systems angemessen sein müssen. Das Gesetz schreibt nicht eine Schleife für jede Entscheidung vor. Es schreibt Aufsicht vor, die der Autonomie angemessen ist, und es nennt das Minimum, das Aufsicht immer erlauben muss: die Fähigkeiten und Grenzen des Systems zu verstehen, sich des Automatisierungsbias bewusst zu bleiben, seine Ausgabe richtig zu interpretieren, zu beschließen, es nicht zu verwenden oder seine Ausgabe außer Kraft zu setzen oder rückgängig zu machen, und einzugreifen oder es anzuhalten (Artikel 14 Absatz 4). Artikel 26 Absatz 2 sagt, wer: Betreiber übertragen die Aufsicht natürlichen Personen mit der erforderlichen Kompetenz, Ausbildung und Befugnis.

Zusammen gelesen beschreiben das Prinzip und der Artikel einen Mechanismus. Autonomie ist eine Stufe. Die Stufe wird außerhalb des Systems festgelegt, von Menschen, die Autorität halten. Das Gesetz deckelt sie. Und das System trägt die Stufe auf jedem Entscheidungssatz, sodass die Einstellung im Nachhinein geprüft werden kann. Was sinkt, wenn die Stufe steigt, ist die Zahl der Entscheidungen, die eine Person sieht, bevor sie wirksam werden. Was nicht sinkt, ist, dass eine Person die Stufe festgelegt hat, dass eine Person jedes einzelne Ergebnis überstimmen kann und dass eine Person für das Ergebnis antwortet.

Ein nützliches Bild dafür ist das ausgebildete Tier. Ein Hund, der gelernt hat, bei Fuß zu gehen, braucht weniger Leine als ein Welpe, und ein Arbeitspferd braucht weniger Hände als ein unzugerittenes. Ausbildung verlagert die Kontrolle von der Hand in die Gewohnheiten des Tieres, und die Hand wird seltener gebraucht. Das ist die Richtung, in die die Aufsicht über KI-Systeme geht, und das Bild fängt etwas Reales ein: Wenn sich die Fences eines Systems bewähren und sich seine Aufzeichnungen ansammeln, kann der Anteil seiner Handlungen sinken, den eine Person bestätigen muss.

Was das Bild wert macht, es zu behalten, ist der Blick des Rechts auf das ausgebildete Tier. Nach § 833 BGB haftet, wer ein Tier hält, für den Schaden, den es verursacht, ausgebildet oder nicht. Nur der Halter eines Nutztiers, eines Tieres, das dem Beruf oder dem Unterhalt zu dienen bestimmt ist, entgeht der Haftung, und nur durch den Nachweis, dass das Tier mit der Sorgfalt beaufsichtigt wurde, die die Situation erforderte, oder dass der Schaden auch dann entstanden wäre. Artikel 936 des brasilianischen Zivilgesetzbuchs (Código Civil) sagt dasselbe in einem Satz: Wer Eigentümer oder Halter eines Tieres ist, haftet für den Schaden, den es verursacht, sofern nicht das Verschulden des Geschädigten oder höhere Gewalt nachgewiesen wird. Ausbildung lockert die Leine. Sie verringert nie die Verantwortung des Halters, und beim Nutztier ist die Verteidigung des Halters der Nachweis der Beaufsichtigung.

Die Analogie endet an drei Punkten, und jeder von ihnen ist eine architektonische Tatsache. Erstens sind die Fähigkeiten eines ausgebildeten Tieres stabil, während die eines Modells sich mit jeder Version ändern, sodass Vertrauen, das eine Version erworben hat, nicht auf die nächste übergeht und jeder Fence nach jeder Änderung erneut zeigen muss, dass er auslöst. Zweitens wird das Tier nicht gebeten, Autorität zu halten, und das System ebenso wenig. Die Gewohnheit, die es erlaubt, die Leine zu lockern, ist nicht die Gewohnheit zu entscheiden, ob sie gelockert werden darf, und die Architektur hält diese Entscheidung außerhalb der Reichweite von allem, was das System lernt. Drittens führt das Tier keine Aufzeichnungen. Ein System kann das, und die Aufzeichnung ist der ganze Unterschied zwischen einem Halter, der zeigen kann, welche Sorgfalt angewandt wurde, und einem, der es nicht kann.

Die Prognose dieses Artikels ist als Hypothese formuliert, nicht als Messung. Je mehr ausführbare Schranken von dem abdecken, was ein System tun darf, und je mehr sich Entscheidungssätze zu Evidenz ansammeln, dass die Schranken halten, desto weiter wird der Anteil der Entscheidungen sinken, die eine Person sehen muss, bevor sie wirksam werden. Aufsicht wandert aus der Schleife in die Regeln: Menschen werden weniger Zeit damit verbringen, einzelne Ergebnisse zu bestätigen, und mehr Zeit damit, die Regeln zu schreiben, unter denen ein System läuft, die Aufzeichnungen zu lesen, die es hinterlässt, und zu entscheiden, wann eine Stufe steigen darf. Für die Menschen, die sie ausüben, ist das andere Arbeit, nicht weniger Arbeit: Eine Regel muss auch in Fällen halten, die noch niemand gesehen hat, und das verlangt dem Urteilsvermögen mehr ab, als einen einzelnen Fall zu bestätigen. Das System kontrolliert sich nicht selbst. Es wird von einer Architektur kontrolliert, die Menschen einsehen können, auf einer Stufe, die Menschen festlegen.

Ob das in vollständiger Unabhängigkeit endet, ist nicht bekannt, und es mag sein, dass es das nicht sollte. Zwei Dinge sind bekannt. Für die Verwendungen, die die KI-Verordnung als Hochrisiko einstuft, verbietet das Gesetz eine leere Schleife rundweg: Aufsicht, die der Autonomie angemessen ist, mit einer Person, die überstimmen und anhalten kann, ist eine Entwurfsanforderung und keine Vorliebe, und die Obergrenze der Autonomie ist dort eine gesetzliche. Für jede andere Verwendung lautet die ehrliche Position, dass die Stufe nur so weit steigen kann wie die Verifikation. Eine Stufe, die der Evidenz für sie vorauseilt, ist keine Autonomie. Sie ist eine ungeprüfte Behauptung mit Folgen.

Deshalb sind Richtung und Tempo getrennte Fragen. Die Richtung wird von der Ökonomie und von der Ansammlung der Evidenz bestimmt, und sie weist in eine Richtung. Das Tempo wird von drei Dingen außerhalb des Systems bestimmt: vom Gesetz, das die Stufe deckelt; von den Normen, die die Anforderungen des Gesetzes in den Stand der Technik übersetzen; und von den Gerichten, die im Nachhinein entscheiden, ob eine Stufe zu ihrer Zeit vertretbar war. Der nächste Abschnitt handelt von diesen dreien.

Die Gesetzgebung setzt die Obergrenze. Artikel 14 der KI-Verordnung ist das klarste Beispiel: Wo er gilt, darf kein Regelwerk ein System unterhalb der Aufsicht konfigurieren, die er verlangt, und eine Laufzeitumgebung, die die Autonomiestufe auf jedem Entscheidungssatz trägt, muss diese Obergrenze als Randbedingung durchsetzen und nicht als Option anbieten. Der Zeitplan ist bekannt. Die Verbote des Artikels 5 gelten seit dem 2. Februar 2025 und die Transparenzpflichten des Artikels 50 seit dem 2. August 2026. Nach der Verordnung (EU) 2026/1744, dem Digital Omnibus, gilt das Hochrisiko-Regime ab dem 2. Dezember 2027 für die eigenständigen Kategorien des Anhangs III und ab dem 2. August 2028 für Systeme, die in regulierte Produkte nach Anhang I eingebettet sind. Gesetzgebung bewegt sich langsam und in Schritten, und eine Obergrenze, die sich in Schritten bewegt, ist die richtige Form für eine Einstellung, die Menschen prüfen können müssen.

Normen füllen aus, was das Gesetz offenlässt. Nach Artikel 40 der KI-Verordnung wird bei einem Hochrisiko-System, das harmonisierten Normen folgt, deren Fundstellen im Amtsblatt veröffentlicht sind, vermutet, dass es die von diesen Normen abgedeckten Anforderungen erfüllt. Die Normen sind der Ort, an dem die Wendung dem Grad der Autonomie angemessen konkrete Maße erhalten wird, und sie werden häufiger überarbeitet werden als die Verordnung. Sie sind die mittlere Schicht: langsamer als die Technik, schneller als das Gesetz.

Die Rechtsprechung ist die dritte Schicht, und die, von der dieser Artikel erwartet, dass sie die Geschichte trägt. Ein Gericht entscheidet nicht, was Autonomie sein sollte. Es entscheidet im Nachhinein, ob die Stufe, die galt, als etwas schiefging, zu dieser Zeit vertretbar war, nach dem, was damals bekannt war. Die Richtlinie (EU) 2024/2853 über die Haftung für fehlerhafte Produkte, die die Mitgliedstaaten bis zum 9. Dezember 2026 umsetzen müssen und die für Produkte gilt, die nach diesem Datum in Verkehr gebracht werden, gibt dieser Frage ihre Begriffe für Software. Software ist ein Produkt (Artikel 4 Absatz 1). Bei der Beurteilung, ob sie fehlerhaft war, berücksichtigt ein Gericht die Auswirkungen einer etwaigen Fähigkeit, nach dem Inverkehrbringen weiter zu lernen (Artikel 7 Absatz 2 Buchstabe c), und den Zeitpunkt, zu dem sie die Kontrolle des Herstellers verlassen hat (Artikel 7 Absatz 2 Buchstabe e). Die Verteidigung des Herstellers stützt sich darauf, was der objektive Stand der wissenschaftlichen und technischen Kenntnisse zu dieser Zeit erlaubte (Artikel 11 Absatz 1 Buchstabe e). Jeder dieser Tests ist ein Test über ein Datum. Der Vorschlag für eine eigene Richtlinie über KI-Haftung wurde 2025 von der Kommission zurückgezogen, sodass vorerst diese allgemeinen Regeln und die nationalen Verschuldensregeln neben ihnen diejenigen sind, die gelten.

Urteil für Urteil entsteht daraus eine datierte Aufzeichnung davon, wie viel Autonomie vertretbar war, in welcher Verwendung, bei welchem Stand der Technik. In Deutschland und in Brasilien, wo ein Urteil die Parteien bindet und nicht jedes spätere Gericht, wirkt diese Aufzeichnung über den Sorgfaltsmaßstab, an dem der nächste Fall gemessen wird, und in Brasilien auch über die bindenden Präjudizien, die seine Verfassung und seine Zivilprozessordnung vorsehen. In beiden Systemen wird die Rechtsprechung zur historisierten Fassung der Entwicklung, die dieser Artikel beschreibt. Das Gesetz sagt, wie weit die Stufe gehen darf. Die Gerichte sagen, Fall für Fall, wie weit sie vernünftigerweise hätte gehen können, als es darauf ankam.

Wenn die Gerichte die Entwicklung historisieren sollen, muss das Material existieren. Das ist die architektonische Konsequenz, und sie ist konkret. Jeder Entscheidungssatz muss die geltende Autonomiestufe tragen und die Version des Regelwerks, das sie festgelegt hat, damit sich später eine Regel von einer Gewohnheit unterscheiden lässt. Er muss tragen, was das System wusste und nicht wusste, als es entschied: ob die Evidenz aktuell war, ob ein Mandat die Handlung deckte, ob überhaupt eine Regel vorgegeben worden war, denn ein System, das sagen kann, niemand hat gefragt, ist in einer anderen Lage als eines, das nur sagen kann, nichts hat es verboten. Er muss tragen, wer die Autorität hielt und ob eine Person das Ergebnis bestätigt, überstimmt oder angehalten hat. Und er muss sich erneut abspielen lassen, damit sich zeigen lässt, was das System unter den Regeln jenes Tages entschieden hätte, statt es aus dem Gedächtnis zu rekonstruieren. Die auf dieser Website beschriebene Referenzimplementierung zeichnet die Stufe, die Regelreferenz, die Unsicherheit, die Autorität und jedes menschliche Überstimmen auf ihren Entscheidungsspuren auf und kann sie erneut abspielen. Dass sie nicht in Betrieb genommen ist, ändert nichts daran, was der Entscheidungssatz enthalten muss.

Nichts davon ist als Technik neu. Append-only-Protokolle, versionierte Regelwerke und wiederabspielbare Entscheidungen gab es alle vor dieser Arbeit. Spezifisch ist der Grund, sie zu führen: Die Aufzeichnung wird für eine Leserin geschrieben, die es noch nicht gibt, eine Aufsichtsbehörde, eine Prüfinstanz oder ein Gericht, die fragen wird, welche Stufe galt, wer sie festgelegt hat, auf welcher Grundlage und ob die Evidenz zu dieser Zeit sie stützte. Ein System, das diese vier Fragen aus seinen eigenen Aufzeichnungen beantworten kann, kann mehr Raum bekommen. Eines, das es nicht kann, sollte ihn nicht bekommen, was auch immer seine Genauigkeitszahlen sagen.

Er sagt nicht, dass ERQYO in Gebrauch ist. Es ist eine Referenzimplementierung in einem Repository, mit Tests, und sie ist nicht in Betrieb genommen; der einzige vorhandene Aufrufer läuft im Schattenmodus hinter abgeschalteten Schaltern. Die Architektur ist ein Argument darüber, was eine Laufzeitumgebung tun sollte, gestützt durch Code, der zeigt, dass es machbar ist. Sie ist kein Dienst.

Er sagt nicht, dass Schranken vollständig sein können. Ein Fence beweist, dass er gegen den Defekt auslöst, für den er gebaut wurde. Er beweist nichts über den Defekt, an den niemand gedacht hat, und jede Behauptung vollständiger Kontrolle sollte als Behauptung über die Defekte gelesen werden, die getestet wurden.

Er sagt nicht, dass vollständige Unabhängigkeit kommen wird, oder wann. Er sagt, dass der Anteil der Entscheidungen, die eine Person bestätigt, sinken wird, nicht, dass Aufsicht zu einer kleineren Verantwortung wird, und dass das Tempo dieses Sinkens von Verifikation, Gesetzgebung, Normen und Gerichten bestimmt wird, nicht von den Systemen selbst. Wo Artikel 14 gilt, ist die Untergrenze eine gesetzliche, und keine Konfiguration unterschreitet sie.

Und er ist keine Rechtsberatung. Ob die KI-Verordnung, die Produkthaftungsregeln oder die hier zitierten Tierhaltervorschriften auf ein bestimmtes System oder eine bestimmte Situation anwendbar sind, hängt von Tatsachen ab, die dieser Artikel nicht kennt. Jede Vorschrift ist mit Artikel zitiert, damit sie sich an dem Tag, an dem es zählt, am Text überprüfen lässt.