Adriano Lucieri

• Ever more powerful artificial intelligence (AI) methods have found their way into our everyday lives over the past decade, from Face ID to ChatGPT. Whereas a high test accuracy is often sufficient for the deployment of AI in convenience applications, high-risk applications require more than just good performance. When deploying AI in high-risk domains like healthcare, every single failure case or data loss can have considerable consequences. This is further emphasised by regulations like the General Data Protection Regulation (GDPR) and the upcoming European AI Act. Trustworthy AI (TAI) describes AI systems that are characterised by various properties, but particularly explainability, privacy, and ethical behaviour. This thesis proposes EPiX, a general-purpose framework built on three pillars of TAI, providing trustworthiness even in complex domains like dermatology. The explainability pillar of EPiX consists of 7 eXplainable AI (XAI) components that are built with a strong focus on user-centricity and diversity. The components are specifically tailored to the users' mental models by providing explanations related to user-defined and hitherto unknown concepts. Moreover, they share the ability to highlight complex and distributed medical concepts while improving the interpretability through the diversity of their presentation. The privacy pillar consists of 5 components. The first two components allow for privacy-preserving training, introducing a novel privacy method and proving its advantages through benchmarking. The remaining 3 components investigate the interplay between privacy, accuracy, and explainability, revealing valuable insights for practitioners. The ethical pillar provides a first basis for ethical evaluation of the framework. The holistic Z-Inspection® co-design process is applied to evaluate the development of EPiX in an interdisciplinary team of experts, focusing on ethical and societal implications of the system. With its set of diverse explanation, novel privacy, and holistic ethics components, EPiX is a framework for trustworthy AI with an enormous value to all stakeholders in complex automated decision-making. exAID and SkinDoc are presented as two practical applications of EPiX, ensuring good accessibility of the framework through user-friendly, web-based, and mobile interfaces. Not only does EPiX help conform to regulations such as GDPR or the AI Act, but it also empowers users to learn from the AI system, identify its weaknesses in real-world use, and overcome them.
• Im letzten Jahrzehnt sind immer leistungsfähigere Methoden der künstlichen Intelligenz (KI) Teil unseres Alltags geworden, von Face ID bis hin zu ChatGPT. Während eine hohe Testgenauigkeit für den Einsatz von KI in Anwendungen mit geringem Risiko oft ausreicht, erfordern Hochrisikoanwendungen mehr als nur eine gute Leistung. Beim Einsatz von KI in Hochrisikobereichen wie dem Gesundheitswesen kann jeder einzelne Fehler oder jeder Datenverlust erhebliche Folgen haben. Dies wird durch Vorschriften wie der Datenschutz-Grundverordnung (DSGVO) und der europäischen KI-Verordnung (KI-VO) noch weiter unterstrichen. Vertrauenswürdige KI (Trustworthy AI, TAI) bezieht sich auf KI-Systeme, die sich durch verschiedene Eigenschaften auszeichnen, insbesondere Erklärbarkeit, Datenschutz und ethisches Verhalten. Diese Arbeit präsentiert EPiX, ein universelles Framework, das auf den drei Säulen der TAI aufbaut und selbst in komplexen Bereichen wie der Dermatologie Vertrauenswürdigkeit gewährleistet. Die Säule Erklärbarkeit von EPiX besteht aus 7 eXplainable-AI-Komponenten (XAI), die mit einem starken Fokus auf Nutzenden-Zentriertheit und Diversität entwickelt wurden. Die Komponenten sind speziell auf die mentalen Modelle der Nutzenden zugeschnitten, indem sie Erklärungen zu benutzerdefinierten und bislang unbekannten Konzepten liefern. Darüber hinaus zeichnen sie sich durch die Fähigkeit aus, komplexe und verteilte medizinische Konzepte hervorzuheben und gleichzeitig die Interpretierbarkeit durch die Vielfalt ihrer Darstellung zu verbessern. Die Säule Datenschutz besteht aus 5 Komponenten. Die ersten beiden Komponenten ermöglichen datenschutzkonformes Training, führen eine neuartige Datenschutzmethode ein und demonstrieren deren Vorteile durch Benchmarking. Die verbleibenden 3 Komponenten untersuchen das Zusammenspiel zwischen Datenschutz, Genauigkeit und Erklärbarkeit und liefern wertvolle Erkenntnisse für Praktiker. Die ethische Säule bietet eine erste Grundlage für die ethische Bewertung des Frameworks. Der ganzheitliche Z-Inspection®-Co-Design-Prozess wird angewendet, um die Entwicklung von EPiX innerhalb eines interdisziplinären Expertenteams zu bewerten, wobei der Fokus auf den ethischen und gesellschaftlichen Implikationen des Systems liegt. Mit seinen vielfältigen und neuartigen Komponenten für Erklärbarkeit, Datenschutz und dem ganzheitlichen ethischen Ansatz ist EPiX ein Framework für vertrauenswürdige KI, das allen Beteiligten bei komplexen automatisierten Entscheidungsprozessen einen immensen Mehrwert bietet. exAID und SkinDoc werden als zwei praktische Anwendungen von EPiX vorgestellt und gewährleisten eine gute Zugänglichkeit des Frameworks durch benutzerfreundliche, webbasierte und mobile Schnittstellen. EPiX trägt nicht nur dazu bei, die Einhaltung von Vorschriften wie der DSGVO oder der KI-VO sicherzustellen, sondern befähigt die Nutzenden auch, vom KI-System zu lernen, dessen Schwächen im praktischen Einsatz zu erkennen und diese zu überwinden.