Was ist nachvollziehbare KI?
Es reicht nicht, dass ein Output richtig aussieht, es muss sich zeigen lassen, woher er stammt. Provenienz, Prüfpfad und Reproduzierbarkeit werden in diesem Leitfaden mit Definitionen und Quellen behandelt.
Was ist nachvollziehbare KI?
Nachvollziehbare KI ist ein System, in dem jeder Schritt, der einen Output erzeugt, maschinenlesbar festgehalten wird. Das Protokoll umfasst die Daten, die Methode, die Parameter und wer die Operation ausgeführt hat; der Output reist mit seinem Protokoll.
Der Fachbegriff für dieses Feld ist Provenienz. Das PROV-Datenmodell des W3C definiert sie über drei Elemente: Entität, Aktivität und Agent (die verantwortliche Person, Organisation oder Software) (W3C, 2013).
Nachvollziehbarkeit und Erklärbarkeit sind nicht dasselbe: Erklärbarkeit interpretiert, warum ein Modell zu einem Ergebnis gelangt ist, Nachvollziehbarkeit hält nur fest, welche Eingabe, welche Operation, welche Ausgabe. Eine Erklärung ohne Nachvollziehbarkeit lässt sich nicht für sich allein überprüfen.
Nachvollziehbarkeit ist keine Garantie für Richtigkeit; ein System, das die falsche Methode auf die falschen Daten anwendet, kann trotzdem ein vollständiges Protokoll führen, und dieses Protokoll verbirgt den Fehler nicht. Was sie liefert, ist, dass das Ergebnis geprüft werden kann, nicht, dass es korrekt ist.
Die Frage, die das konkret macht: Kann ein Dritter einen Output allein anhand des Protokolls reproduzieren? Wenn nicht, gibt es kein verteidigungsfähiges Ergebnis.
Was braucht ein Output, um als nachvollziehbar zu gelten?
Damit ein Output als nachvollziehbar gilt, braucht das Protokoll sechs Dinge: die Eingabedaten, die Methode und ihre Version, die Parameter, die Zwischenergebnisse, den Output selbst und den Zeitstempel. Fehlt eines davon, lässt sich der Output nicht zurückverfolgen.
Eingabedaten
Nicht nur der Dateiname, sondern die unveränderliche Identität der Datei. Größe, Anzahl der Felder und Erhebungsdatum gehören ebenfalls ins Protokoll.
Methode und ihre Version
Der Name der Methode allein reicht nicht; unterschiedliche Implementierungen können unterschiedliche Ergebnisse liefern. Eine Verknüpfung zur zugrunde liegenden Originalstudie lässt die Leserschaft die Definition prüfen.
Parameter
Schwellenwerte, Gewichte, Normalisierungswahl, Zufallssamen. Auch ein auf dem Standardwert belassener Parameter gehört ins Protokoll.
Zwischenschritte
Jede Transformation zwischen Eingabe und Ausgabe. Ungeschrieben wird die Fehlersuche unmöglich.
Output
Das Ergebnis selbst und die Form, in der es erzeugt wurde. Jede exportierte Datei bleibt an die Protokollzeile gebunden, aus der sie stammt.
Zeitstempel und Agent
Wann die Operation lief und auf wessen Anfrage; das Erste, wonach bei einer Prüfung gefragt wird.
Was unterscheidet Reproduzierbarkeit von Replikation?
Reproduzierbarkeit bedeutet, dass jemand anderes mit denselben Daten und Schritten zum selben Ergebnis gelangt. Replikation bedeutet, in einer unabhängigen Studie mit neuen Daten zum selben Befund zu gelangen; die erste prüft die Berechnung, die zweite die Allgemeingültigkeit des Befunds.
Peng (2011) schlägt Reproduzierbarkeit als Mindeststandard in der Computational Science vor. Daten unabhängig neu zu erheben ist teuer; Daten und Code zugänglich zu machen ist im Vergleich eine günstige Anforderung und macht die Berechnung prüfbar.
An einem Ende steht nur der veröffentlichte Text, und die Leserschaft muss dem Autor vertrauen; am anderen werden Daten, Code und Laufzeitumgebung gemeinsam veröffentlicht. Nachvollziehbarkeit ist die Infrastruktur, um auf dieser Skala nach oben zu wandern.
Die Protokollführung gliedert sich in der Praxis in drei Punkte: die Version der Daten, die Version des Codes und die Laufzeitumgebung. Der dritte wird am häufigsten übersprungen; eine nicht dokumentierte Umgebung bedeutet, dass das Ergebnis ein Jahr später unerklärlich abweicht.
Diese Unterscheidung schärft sich in einem KI-gestützten Arbeitsablauf: Das Modell selbst, seine Version und seine Laufparameter müssen ins Protokoll.
Warum reicht ein allgemeines Chat-Werkzeug für wissenschaftliche Arbeit nicht aus?
Allgemeine Chat-Werkzeuge sind darauf ausgelegt, freien Text zu erzeugen, nicht einen definierten Arbeitsablauf auszuführen. Dieselbe Eingabe kann bei unterschiedlichen Durchläufen einen anderen Output liefern, Zwischenschritte bleiben unsichtbar, und eine zitierte Quelle wird innerhalb des Werkzeugs nicht geprüft.
Das ist eine Unterscheidung im Einsatzbereich, kein Qualitätsvergleich: Das Problem entsteht, wenn der Output zur Eingabe einer Kette wird, die eine wissenschaftliche Behauptung trägt.
- Unbestimmtheit: Die Generierung beruht auf Sampling, dieselbe Eingabeaufforderung muss also nicht dasselbe Ergebnis liefern.
- Quellenprüfbarkeit: Ein im Text erscheinendes Zitat ist nicht an ein Protokoll innerhalb des Werkzeugs gebunden.
- Unsichtbare Zwischenschritte: Ist die Berechnung falsch, lässt sich nicht zeigen, bei welchem Schritt.
- Versionsschwankung: Das Modell wird im Hintergrund aktualisiert; eine nicht festgehaltene Version lässt sich nicht verteidigen.
In einem nachvollziehbaren System sind diese vier per Definition geschlossen: Die Methode ist eine definierte Berechnung, ihre Version ist festgehalten, das Quellenfeld stammt aus einem separaten Protokoll.
Warum ist die Dokumentation von Daten und Modell wichtig?
Um den Output eines Modells zu bewerten, muss man wissen, mit welchen Daten es trainiert wurde und für welchen Einsatz es konzipiert wurde. Das wird als eigenes Dokument festgehalten: auf der Datenseite das Datenblatt, auf der Modellseite die Modellkarte.
Das Datenblatt wurde von Gebru u. a. (2021) vorgeschlagen: Kein Ingenieur baut ein Bauteil in eine Schaltung ein, ohne dessen Datenblatt zu lesen, doch Datensätze werden routinemäßig ohne ein solches verwendet. Es beschreibt Zweck, Inhalt und nicht empfohlene Verwendungen eines Datensatzes.
Die Modellkarte leistet dasselbe für das Modell (Mitchell u. a., 2019): beabsichtigte Verwendungen, die Bedingungen, unter denen die Leistung gemessen wurde, und bekannte Grenzen. Ein Modell kann insgesamt gut aussehen und bei einer Untergruppe merklich schlechter abschneiden.
Beide sind die statische Seite der Nachvollziehbarkeit. Ist die Eingabe einer vollständig protokollierten Berechnung ein nicht dokumentierter Datensatz, bricht die Kette dort ab.
Gleiche Eingabe, gleiches Manifest, gleiches Ergebnis. Zwischenmatrizen werden gespeichert.
Was besagen die FAIR-Prinzipien?
Die FAIR-Prinzipien verlangen, dass Forschungsdaten auffindbar, zugänglich, interoperabel und wiederverwendbar sind. Der eigentliche Schwerpunkt liegt auf der maschinellen Seite (Wilkinson u. a., 2016).
- Auffindbar: Die Daten erhalten eine dauerhafte Kennung und sind in einem durchsuchbaren Verzeichnis registriert.
- Zugänglich: Selbst wenn die Daten geschlossen sind, bleiben ihre Metadaten zugänglich.
- Interoperabel: Die Daten verwenden eine gemeinsame Darstellungssprache und akzeptierte Vokabulare.
- Wiederverwendbar: Die Nutzungslizenz ist explizit angegeben, ihre Herkunft ist genannt.
Nach FAIR gelten Daten nicht als wiederverwendbar, solange ihre Herkunft nicht angegeben ist. Nachvollziehbarkeit ist damit eine Voraussetzung für Wiederverwendung, kein Zusatzmerkmal.
Der Geltungsbereich der Prinzipien ist weit: Er umfasst auch die Metadaten. Selbst geschlossene Daten müssen sichtbar bleiben, was sie sind und wem sie gehören.
Was verlangt die Regulierung?
Die KI-Verordnung der Europäischen Union verlangt von Hochrisiko-KI-Systemen, technische Dokumentation zu führen und automatische Ereignisprotokolle zu erzeugen (Europäische Union, 2024).
Die Erwartung landet auf demselben Boden wie die wissenschaftliche Reproduzierbarkeitsdebatte: Dokumentation hält schriftlich fest, was das System tut, Protokollierung macht Durchläufe nachvollziehbar.
Ein Vorbehalt: Der Geltungsbereich der Verordnung variiert mit der Risikoklasse, nicht jedes KI-Produkt ist hochriskant. Für eine verbindliche Einschätzung konsultieren Sie den Text selbst und rechtlichen Rat.
Für die türkische Seite trifft dieser Leitfaden keine regulatorische Aussage: Dies ohne verifizierte Quelle offen zu lassen ist besser, als zu raten.
Wie sieht ein Prüfpfad in der Praxis aus?
Ein Prüfpfad ist ein zeitlich geordnetes Protokoll, das jede Operation in einer einzigen Zeile festhält: ein Zeitstempel, der Agent, die Eingabe, die Methode und der Output. Eine Korrektur wird als neue Zeile hinzugefügt, nicht über die alte geschrieben.
Die Tabelle unten zeigt, wie eine Entscheidungsanalyse im Protokoll aussieht; der Analytische Hierarchieprozess (Saaty, 1980) erzeugt die Gewichte, die Rangfolge ist ein separater Schritt.
| Zeit | Agent | Eingabe | Methode und Version | Output |
|---|---|---|---|---|
| 2026-08-06 09:14 | a.yilmaz | karar-matrisi-v1.csv | Datenvalidierung 2.1 | Bericht fehlender Zellen |
| 2026-08-06 09:22 | a.yilmaz | karar-matrisi-v1.csv | Vektornormalisierung 1.0 | normalisierte-matrix-v1 |
| 2026-08-06 09:25 | a.yilmaz | normalisierte-matrix-v1 | AHP-Gewichtung 1.4 | gewichtsvektor-v1 |
| 2026-08-06 09:31 | a.yilmaz | normalisierte-matrix-v1 + gewichtsvektor-v1 | TOPSIS 2.0 | rangfolge-v1 |
| 2026-08-06 09:40 | m.demir | rangfolge-v1 | Berichtserstellung 1.2 | bericht-v1.pdf |
Ausgehend von der Berichtsdatei in der letzten Zeile und rückwärts gehend lässt sich sehen, aus welcher Rangfolge, welchem Gewichtsvektor und welcher Matrix jeder Schritt stammt.
Drei Punkte sind zu beachten: Das Protokoll muss unveränderlich sein, die Methodenversion muss immer festgehalten werden. Es muss der Nutzerschaft auch gezeigt werden; ein Eintrag, der nur in einem Systemprotokoll liegt, ist ein Debugging-Werkzeug, kein Prüfpfad.
Wo finden sich diese Prinzipien in den Produkten von SciMind wieder?
Die obigen Regeln sind eine gemeinsame Anforderung der gesamten Produktfamilie. Alle drei Plattformen halten die Eingabe fest, schreiben die Methode mit ihrer Version und halten den Bericht an dieses Protokoll gebunden.
Weitere Leitfäden finden Sie auf der Leitfadenseite. Für institutionelle Lizenzen, Pilotimplementierungen und Beschaffung siehe die Seite Institutionen.
Quellen
- W3C (2013). PROV-DM: The PROV Data Model. W3C Recommendation.
- Peng, R. D. (2011). Reproducible research in computational science. Science, 334(6060), 1226-1227.
- Wilkinson, M. D. et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018.
- Gebru, T. et al. (2021). Datasheets for datasets. Communications of the ACM, 64(12), 86-92.
- Mitchell, M. et al. (2019). Model cards for model reporting. FAT* 2019, 220-229.
- Europäische Union (2024). KI-Verordnung, Verordnung (EU) 2024/1689.
- Saaty, T. L. (1980). The Analytic Hierarchy Process. McGraw-Hill.
Nachvollziehbarkeit in Ihrem eigenen Prozess aufbauen.
Schreiben Sie uns direkt für die Protokollierung, den Prüfpfad und die Berichterstattung der Analysen, die in Ihrer Institution laufen. Wir erstellen Proformarechnungen und technische Spezifikationen für universitäre Beschaffungsprozesse.