Niklas Rottmayer

• The rise of artificial intelligence (AI) as a general solution in image processing problems, such as segmentation and detection tasks, has sparked growing interest in generating synthetic image data. A significant factor is that real data is often not available in sufficient quantity or quality for the thorough development, evaluation, and analysis of solutions. The reasons for this are diverse: image acquisition can be costly, labeling may require unfeasible and error-prone manual annotation, or the data may have low variability that does not allow for generalization. With the increase in computational power over the last few decades, synthetic data has become an essential component in the development of solutions as it addresses the shortcomings of real data. Furthermore, it provides almost unlimited diversity, is easily acquired, and comes with perfect annotation. This thesis consists of three parts that highlight the significance of synthetic data in developing, validating, and analyzing methods and results in image processing. In the first part, we present a convex optimization method for removing stripe artifacts. These elongated and parallel corruptions appear frequently with various imaging techniques including light-sheet fluorescence microscopy (LSFM), focused ion beam scanning electron microscopy (FIB-SEM), and remote sensing. Our approach offers intuitive parametrization and is highly flexible to different scenarios of image structures and stripes. We demonstrate the effectiveness and advantages of our approach over existing solutions by comparing them across real images from LSFM, FIB-SEM, and remote sensing through visual inspection. Based on synthetic LSFM data obtained by simulating physical light propagation we enrich our analysis by comparing the processed images to ground truth data and quantitatively confirming the performance observed on real data. In the second part, we discuss the assessment of quality for results in binary image segmentation tasks by comparing a large variety of established traditional metrics and distance-based approaches. This includes a distance-based metric that we propose, which captures the spatial distribution of errors while offering desirable properties such as normalization and interpretability. Using predominantly synthetic data and some real segmentation results, we perform a thorough analysis of the segmentation metrics across diverse conditions. This demonstrates the robustness and effectiveness of our metric in distinguishing errors near the surface from those farther away across different structural contexts. We illustrate its inclusion to real-world segmentation tasks by extending a previous study on segmenting cracks in CT images. In the third part, we conduct a systematic study of morphologically diverse geometric structures with the goal to characterize the morphology of 3D spatial structures in terms of their anisotropy, scale and angularity based on the measurement of common morphological features. Geometries are entirely generated using stochastic models whose parameters intuitively translate to the studied concepts and yield morphologically diverse structures. Using classical machine learning approaches for dimensionality reduction our study finds a series of measures for anisotropy, scale and angularity based on linear combination of the morphological features that distinguish between synthetic structures accordingly. We exemplify and discuss their use on real data for modeling of general spatial structures.
• Mit dem Aufstieg künstlicher Intelligenz (KI) als Universallösung für Probleme der Bildverarbeitung wie Segmentierung oder Erkennung wuchs der Bedarf an synthetisch hergestellten Bilddaten. Realdaten stehen oftmals nicht in ausreichender Menge oder Qualität zur Verfügung, um gründliche Auswertungen durchzuführen und robuste Lösungen zu entwickeln. Das Bildverfahren kann kostenintensiv sein, die Erstellung von Segmentierungen kann fehleranfällig und unpraktikabel sein oder die Daten sind schlichtweg nicht vielfältig genug, um generalisieren zu können. Mit zunehmender Rechenleistung in den letzten Jahrzehnten wurde die Erzeugung und Verwendung synthetischer Bilder zu einem essenziellen Schritt in der Entwicklung von Methoden, da sie Defizite der Realdaten ausgleichen oder diese sogar ganz ersetzen können. Dabei bieten sie eine fast unbeschränkte Vielfalt, sind vergleichsweise einfach zu erzeugen und kommen mit perfekter Annotation. Diese Arbeit ist unterteilt in drei Teile, welche die vielfältigen Anwendungsmöglichkeiten und Vorteile synthetischer Daten für die Entwicklung, Validierung und Analyse in der Bildverarbeitung vorstellen. Im ersten Teil präsentieren wir ein konvexes Optimierungsverfahren zur Entfernung von Streifenartefakten. Die oftmals langen und parallelen Artefakte treten häufig bei den verschiedensten Aufnahmeverfahren wie Lichtscheiben-Fluoreszenzmikroskopie (LSFM), Rasterelektronenmikroskopie mit fokussiertem Ionenstrahl (FIB-REM) oder Fernerkundung auf. Unser Ansatz stellt eine intuitive Parametrisierung bereit und kann flexibel auf eine Vielfalt an Bildstrukturen und Streifenartefakten angewendet werden. Wir demonstrieren die Fähigkeiten und Vorteile unseres Verfahrens gegenüber existierenden Lösungen, indem wir diese auf Realbildern von LSFM, FIB-REM und Fernerkundung visuell vergleichen. Synthetische LSFM Daten, welche wir durch Simulation von Lichtausbreitung erhalten, ermöglichen es, die beobachteten Ergebnisse auch quantitativ zu bestätigen. Im zweiten Teil diskutieren wir die qualitative Bewertung von Bildsegmentierungen. Wir vergleichen eine Vielzahl etablierter klassischer und Distanz-basierter Metriken. Letztere beinhalten eine von uns vorgestellte Metrik, welche die räumliche Verteilung von Fehlern berücksichtigt und Eigenschaften wie Normalisierung und Interpretierbarkeit bietet. Mit großteils synthetischen, aber auch realen Segmentierungsergebnissen analysieren wir die Metriken in verschiedenen Umständen. Wir zeigen, dass unsere Metrik robust und effektiv oberflächennahe von distanzierten Fehler unterscheiden kann und nutzen sie um eine bereits durchgeführte Studie eines realen Segmentierungsproblems zu vertiefen. Im dritten Teil führen wir eine systematische Studie morphologisch vielfältiger Geometrien durch, mit dem Ziel die Anisotropie, Größe und Kantigkeit allgemeiner 3D Strukturen anhand gängiger morphologischer Merkmale zu charakterisieren. Zur Erzeugung synthetischer Geometrien nutzen wir stochastische Modelle, deren Parameter intuitiv die Morphologie beeinflussen und entsprechende Vielfältigkeit liefern. Mit klassischen Dimensionsreduktionsmethoden leiten wir eine Reihe von Maßen für Anisotropie, Größe und Kantigkeit her, welche Linearkombinationen der berechneten Merkmale sind und die synthetischen Daten voneinander unterscheiden können. Wir zeigen und diskutieren deren Übertragbarkeit und Anwendung auf reale Daten für die Modellierung von Strukturen.