Auf dieser Seite
Was jede Testart belegen kann
Eine Eigenschaft wird auf der Ebene verifiziert, die sie sehen kann. Ein Unit-Test sieht kein Deployment; ein Admission-Test sieht nicht die Antwort eines Modells. Die Tabelle nennt für jede Ebene, was sie belegt, was sie nicht belegen kann und wo der Companion sie einsetzt.
| Ebene | Belegt | Kann nicht belegen | Eingesetzt für |
|---|---|---|---|
| Unit-Test | Eine Komponente weist zurück, was sie zurückweisen muss | Dass die Komponente auf dem Pfad liegt | Grenzschemata, Verifikationsfabriken, Policy-Regeln |
| Architekturtest | Der Abhängigkeitsgraph enthält keine verbotene Kante | Datenpfade, die keine Importe sind | Probabilistische Grenze, Isolierung von Standards |
| Vertragstest | Beide Seiten stimmen in einer Struktur überein, einschließlich der geforderten Herkunftsangaben | Dass beide Seiten in kompatiblen Versionen deployt sind | Verträge für Vorschläge und Entscheidungen |
| Integrationstest | Die Eigenschaft gilt gegenüber der echten Abhängigkeit | Verhalten unter einer anderen Konfiguration | Berechtigungen der Prüfspur, Weitergabe des Kontexts, Revisionen von Regeln |
| End-to-End-Test | Ein verbotener Zustand kann keine Ausgabe erreichen | Pfade, die der Test nicht durchläuft | Nicht verifizierte Werte, der Veröffentlichungs-Fence |
| Deployment- oder Admission-Test | Die Plattform weist einen Workload zurück, der eine Regel verletzt | Alles innerhalb des Workloads | Fixierte Images, benannte Revisionen, Netzwerkisolation |
| Manueller Nachweis | Eine namentlich benannte Person hat ein schriftlich festgelegtes Verfahren ausgeführt | Dass es erneut ausgeführt wird | Lizenzprüfungen, Wiederholungen historischer Entscheidungen |
Beide Richtungen: der positive Pfad und der Zahnbeweis
Jede Eigenschaft im Companion hat eine positive Prüfung (so sieht Bestehen aus) und eine negative (dieser Fehler, gezielt eingebaut, wird zurückgewiesen). Eine Suite, die nur die positive Hälfte hat, kann jede Einschränkung verlieren und bleibt trotzdem grün. Erst die negative Hälfte zeigt, dass die Prüfung auf dem Pfad liegt.
Die fünf Schritte eines Zahnbeweises stehen auf der Seite Ausführbare Fences, und das Profil für Python und FastAPI führt sie aus: Ein eingebauter Import bricht einen Vertrag, eine gelöschte Einschränkung färbt einen Test rot, ein eingebauter Sentinel lässt den Veröffentlichungs-Fence scheitern, und jede Wiederherstellung wird Byte für Byte verglichen.
Zählen, was gelaufen ist
Ein Ergebnis ist nicht „grün“. Es lautet: welche Prüfungen gelaufen sind, wie viele Assertions ausgeführt wurden, in welchem identifizierten Lauf und mit welchem Ausgang. Das Modell des COADF-Kontrollberichts sagt dasselbe über Kontrollen: Eine übersprungene Prüfung, ein früherer Erfolg oder eine Auswahl, die überhaupt keine Tests ausgeführt hat, ist keine aktuelle Verifikation.
- Eine Testauswahl, auf die nichts passt, kann erfolgreich sein. Die Anzahl muss geprüft werden.
- Ein Test, der mangels Datenbank übersprungen wird, ist kein bestandener Test. Er wird als nicht ausgeführt gemeldet.
- Ein übersprungener Job kann als erfolgreich gemeldet werden. Erforderlich ist die Prüfung, die sich nicht überspringen lässt.
Wenn eine Person die Kontrolle ist
Manche Kontrollen hält eine Person, die ein schriftlich festgelegtes Verfahren ausführt: eine Lizenzprüfung, die Wiederholung stichprobenartig ausgewählter historischer Entscheidungen, eine Entscheidung beim Merge. Sie werden als manuell gemeldet, mit dem Namen der Person und dem Verfahren, niemals als automatisiert. Eine ehrlich gemeldete manuelle Kontrolle ist mehr wert als eine nachlässig gemeldete automatisierte.
Was Verifikation nicht begründet
Tests begründen, dass Tests bestanden wurden. Sie begründen weder die Einhaltung regulatorischer Anforderungen noch eine Zertifizierung oder ein Verfahren zur Bewertung der Übereinstimmung mit Rechtsvorschriften, und auch eine vollständige Suite für jede Eigenschaft in diesem Companion begründet nichts davon. Automatisierte Wächter über Text und Code sind notwendig und nicht hinreichend: Sie sehen keinen Mechanismus, der sich in Kontrollfluss, umbenannten Bezeichnern oder der Geometrie einer Abbildung ausdrückt, und menschliche Prüfung bleibt Teil der Verifikation.