Lukas Hacker

• Künstliche Intelligenz (KI) ermöglicht das Lösen von komplexen Aufgaben, die nicht oder nur eingeschränkt manuell zu spezifizieren sind. Anstatt Software auf Basis konkreter Regeln zu programmieren, lernt die KI komplexe Zusammenhänge eigenständig aus einer Vielzahl von Daten. Ein bekanntes Anwendungsbeispiel aus der Industrie ist die Umgebungswahrnehmung beim automatisierten Fahren mithilfe von tiefen neuronalen Netzen. Die Vorteile des datengetriebenen Entwicklungsansatzes gehen jedoch im Kontext der funktionalen Sicherheit mit großen Herausforderungen einher. Bekannte Unzulänglichkeiten von KI, wie bspw. die mangelnde Interpretierbarkeit oder die mangelnde Repräsentation von Unsicherheiten, erschweren den Einsatz in sicherheitsrelevanten Systemen. Ein bedeutsamer Sicherheitsmechanismus stellt in diesem Zusammenhang die Überwachung von KI-basierter Software zur Laufzeit dar. Durch zusätzliches Monitoring können falsche Vorhersagen der KI erkannt werden, um Fail-Safe-Strategien und nachträgliche System-Verbesserungen zu unterstützen. In dieser Dissertation wird die Laufzeit-Überwachung von KI innerhalb automatisierter Fahrfunktionen unter Berücksichtigung etablierter Sicherheitsstandards im Automobilbau betrachtet. In diesem Zusammenhang wird ein generisches Monitor-Modell zur Überwachung unterschiedlicher KI-spezifischer Unzulänglichkeiten entwickelt. Hierzu werden heterogene Monitore zur Anomalie-Erkennung, Plausibilisierung, Erklärung, Eingangsrauschen-Erkennung und Unsicherheits-Berechnung in einem Metamodell kombiniert. Im Rahmen der experimentellen Untersuchung am Anwendungsfall der Verkehrszeichen-Erkennung wird eine zuverlässige Detektion von KI-bedingten Fehlern durch das Monitor-Modell demonstriert.
• Artificial Intelligence (AI) enables the solving of complex tasks, which cannot be specified manually or only to a limited extent. Instead of programming software on the basis of specific rules, the AI learns complex tasks independently from a variety of data. A well-known application example from the industry is the environmental perception in automated driving using deep neural networks. However, the advantages of the data-driven development approach are associated with major challenges in the context of functional safety. Known insufficiencies of AI, such as black-box characteristics or the lack of uncertainty representation, make it difficult to use in safety-relevant systems. An important safety mechanism in this context is the monitoring of AI-based software during runtime. Additional monitoring enables the detection of false AI predictions in order to support fail-safe strategies and subsequent system improvements. This doctoral thesis investigates the runtime monitoring of AI within automated driving functions taking into account established automotive safety standards. In this context, a generic monitor model is developed to observe different AI-specific insufficiencies. Therefore, heterogeneous monitors for anomaly detection, plausibility checks, explanation, input noise detection, and uncertainty estimation are combined in a metamodel. As part of the experimental evaluation on traffic sign recognition use case, a reliable detection of AI-related faults by the monitor model is demonstrated.