Fehlerquelle Testdaten für KI-Systeme

Künstliche Intelligenz entsteht nur, wen das zugrundeliegende Modell mit hinreichenden und korrekten Trainingsdaten geschult wird. Um die Qualität und Sicherheit von Large Language Models (LLMs) zu gewährleisten, sind also umfangreiche Tests und Simulationen erforderlich. Diese sollten verschiedene Szenarien und Bedingungen abdecken, um die Robustheit der Modelle zu überprüfen. Dabei werden innerhalb des LMM Ontologien geschaffen, also formale Darstellungen von Wissen innerhalb eines bestimmten Bereichs. Ontologien beschreiben dabei die Konzepte dieses Bereichs, ihre Eigenschaften und die Beziehungen zwischen diesen Konzepten. Sie ermöglichen es KI-Systemen, komplexe Zusammenhänge zu verstehen und darauf basierend Entscheidungen zu treffen.

Ontologien sind also ein Mittel in der Künstlichen Intelligenz (KI), um Wissen strukturiert abzubilden und zu verarbeiten. Sie helfen dabei, komplexe Beziehungen zwischen Konzepten zu definieren und zu nutzen, was die Entwicklung intelligenter Systeme erheblich vereinfacht. Die hierfür verwendeten Trainings- und Testdaten sowie die Ontologien sollten kontinuierlich überwacht und aktualisiert werden, um sicherzustellen, dass sie den aktuellen Anforderungen und Bedingungen entsprechen. Dies ist für die langfristige Qualitätssicherung von LLMs unerlässlich.

LLMs basieren auf stochastischen Methoden und statistischer Inferenz. Fehler und falsche Entscheidungen sind daher unvermeidlich und müssen durch geeignete Tests und Simulationen minimiert werden. Die Qualität von LLMs wird ebenfalls durch statistische Indikatoren wie Genauigkeit und Präzision gemessen. Um wiederum die Qualität und Sicherheit von LLMs zu gewährleisten, sind umfangreiche Tests und Simulationen erforderlich. Diese sollten verschiedene Szenarien und Bedingungen abdecken, um die Robustheit der Modelle zu überprüfen. Die Trainings- und Testdaten sowie die Ontologien sollten kontinuierlich überwacht und aktualisiert werden, um sicherzustellen, dass sie den aktuellen Anforderungen und Bedingungen entsprechen. Diese Tests und deren Ergebnisse sollten genau dokumentiert werden.

Dies gilt im besonderen Maße im Bereich des autonomen Fahrens, einem vielversprechenden Einsatzgebiet von künstlicher Intelligenz. Die KI-Techniken werden dabei sowohl für die Umwelterkennung als auch für die Entscheidungsfindung eingesetzt. Aufgrund der statistischen Natur des maschinellen Lernens sind Fehler und falsche Entscheidungen unvermeidlich und oft auf schwer zu beseitigende Ursachen zurückzuführen. Der Nachweis, dass die Genauigkeit und Präzision dieser Systeme ausreichen, um einen sicheren Betrieb zu gewährleisten, ist entscheidend für die Akzeptanz des autonomen Fahrens. Um diesen Nachweis zu erbringen, werden üblicherweise umfangreiche Tests und Simulationen eingesetzt. Allerdings fehlen oft Informationen über die realistische Häufigkeit der abgeleiteten Testfälle, um statistische Aussagen über das System treffen zu können. Ein weiteres Problem ist der Nachweis der Vollständigkeit und Ausgewogenheit der Trainingsdaten.

Während eine Ontologie die Vollständigkeit der Trainingsdaten überprüfen kann, fehlen ihr Informationen, um deren Repräsentativität zu beweisen. Es können aber Ontologien z.B. um wahrscheinlichkeitsbasierte Informationen erweitert werden. Dies ermöglicht die Bewertung der Vollständigkeit und Ausgewogenheit von Trainingssätzen und dient gleichzeitig als Grundlage für eine zufällige Auswahl von Testfällen, die mathematisch fundierte statistische Nachweise der Qualität des ML-Systems ermöglichen. Dies sollte von den Parteien einer KI-Systemimplementierung vertraglich formuliert werden, um jederzeit den Fortschritt eines Projektes beurteilen zu können und einerseits ein Benchmarking zu ermöglichen sowie andererseits keine uferlose Erwartungshaltung zu schüren.

Best-Practice-Anleitungen für das Testing von Schulungsdaten zu KI

1. Definieren des Wahrscheinlichkeitsraums: Es ist wichtig, den Wahrscheinlichkeitsraum klar zu definieren, aus dem die Trainings- und Testdaten zufällig ausgewählt werden. Dies kann durch die Entwicklung umfassender Ontologien erreicht werden, die alle relevanten Konzepte und Eigenschaften des Betriebsdesigns erfassen.
2. Erweiterung von Ontologien um probabilistische Informationen: Durch die Integration probabilistischer Informationen in Ontologien kann die Vollständigkeit und Ausgewogenheit der Trainingsdaten bewertet werden. Dies ermöglicht eine realistische und repräsentative Auswahl von Testfällen.
3. Verwendung statistischer Indikatoren: Die Qualität der ML-Systeme sollte durch statistische Indikatoren wie Genauigkeit und Präzision gemessen werden. Diese Indikatoren sollten regelmäßig überprüft und aktualisiert werden, um sicherzustellen, dass die Systeme sicher und zuverlässig arbeiten.
4. Durchführung umfangreicher Tests und Simulationen: Um die Qualität und Sicherheit der ML-Systeme nachzuweisen, sollten umfangreiche Tests und Simulationen durchgeführt werden. Diese sollten verschiedene Szenarien und Bedingungen abdecken, um die Robustheit der Systeme zu gewährleisten.
5. Kontinuierliche Überwachung und Aktualisierung: Die Trainings- und Testdaten sowie die Ontologien sollten kontinuierlich überwacht und aktualisiert werden, um sicherzustellen, dass sie den aktuellen Anforderungen und Bedingungen entsprechen. Dies hilft, die Qualität und Sicherheit der ML-Systeme langfristig zu gewährleisten.

Durch die Anwendung dieser Best-Practice-Anleitungen können auch LLMs und andere KI-Systeme auf eine Weise trainiert und getestet werden, die ihre Qualität und Zuverlässigkeit maximiert. Durch eine klare Umschreibung der Kriterien und Merkmale in einem Projektvertrag kann ein undurchsichtiges Projekt für beide Seiten in konkrete Ansprüche gegossen werden.