Convex Analysis for Processing Hyperspectral Images and Data from Hadamard Spaces

  • This thesis brings together convex analysis and hyperspectral image processing. Convex analysis is the study of convex functions and their properties. Convex functions are important because they admit minimization by efficient algorithms and the solution of many optimization problems can be formulated as minimization of a convex objective function, extending much beyond the classical image restoration problems of denoising, deblurring and inpainting. \(\hspace{1mm}\) At the heart of convex analysis is the duality mapping induced within the class of convex functions by the Fenchel transform. In the last decades efficient optimization algorithms have been developed based on the Fenchel transform and the concept of infimal convolution. \(\hspace{1mm}\) The infimal convolution is of similar importance in convex analysis as the convolution in classical analysis. In particular, the infimal convolution with scaled parabolas gives rise to the one parameter family of Moreau-Yosida envelopes, which approximate a given function from below while preserving its minimum value and minimizers. The closely related proximal mapping replaces the gradient step in a recently developed class of efficient first-order iterative minimization algorithms for non-differentiable functions. For a finite convex function, the proximal mapping coincides with a gradient step of its Moreau-Yosida envelope. Efficient algorithms are needed in hyperspectral image processing, where several hundred intensity values measured in each spatial point give rise to large data volumes. \(\hspace{1mm}\) In the \(\textbf{first part}\) of this thesis, we are concerned with models and algorithms for hyperspectral unmixing. As part of this thesis a hyperspectral imaging system was taken into operation at the Fraunhofer ITWM Kaiserslautern to evaluate the developed algorithms on real data. Motivated by missing-pixel defects common in current hyperspectral imaging systems, we propose a total variation regularized unmixing model for incomplete and noisy data for the case when pure spectra are given. We minimize the proposed model by a primal-dual algorithm based on the proximum mapping and the Fenchel transform. To solve the unmixing problem when only a library of pure spectra is provided, we study a modification which includes a sparsity regularizer into model. \(\hspace{1mm}\) We end the first part with the convergence analysis for a multiplicative algorithm derived by optimization transfer. The proposed algorithm extends well-known multiplicative update rules for minimizing the Kullback-Leibler divergence, to solve a hyperspectral unmixing model in the case when no prior knowledge of pure spectra is given. \(\hspace{1mm}\) In the \(\textbf{second part}\) of this thesis, we study the properties of Moreau-Yosida envelopes, first for functions defined on Hadamard manifolds, which are (possibly) infinite-dimensional Riemannian manifolds with negative curvature, and then for functions defined on Hadamard spaces. \(\hspace{1mm}\) In particular we extend to infinite-dimensional Riemannian manifolds an expression for the gradient of the Moreau-Yosida envelope in terms of the proximal mapping. With the help of this expression we show that a sequence of functions converges to a given limit function in the sense of Mosco if the corresponding Moreau-Yosida envelopes converge pointwise at all scales. \(\hspace{1mm}\) Finally we extend this result to the more general setting of Hadamard spaces. As the reverse implication is already known, this unites two definitions of Mosco convergence on Hadamard spaces, which have both been used in the literature, and whose equivalence has not yet been known.
  • Diese Arbeit vereint konvexe Analysis und hyperspektrale Bildverarbeitung. Konvexe Analysis untersucht die Eigenschaften konvexer Funktionen. Konvexe Funktionen besitzen zentrale Bedeutung in der Optimierung: Unter praktischen Gesichtspunkten lassen sie sich effizient minimieren und beschreiben gleichzeitig eine Vielzahl realer Problemstellungen, weit über die klassischen Bildverarbeitungsaufgaben des Entrauschens, Schärfens und Wiederherstellens hinaus. \(\hspace{1mm}\) In gleichem Maße wie die Regularisierungstheorie partieller Differentialgleichungen aus dem Studium des Spezialfalles elliptischer Gleichungen hervorgegangen ist, so entwickeln sich eine Vielzahl von Minimierungsmethoden für nicht-konvexe Probleme ausgehend von den Methoden der konvexen Analysis. \(\hspace{1mm}\) Im Mittelpunkt der konvexen Analysis steht die Dualität, welche durch die Fenchel-Konjugation auf den konvexen Funktionen induziert wird. Aufbauend auf der Dualitätsabbildung und der infimalen Faltung mit quadratischen Funktionen, ist in den letzten Jahren die Klasse der proximalen Algorithmen entstanden. Proximale Algorithmen erlauben die effektive iterative Minimierung nicht-differenzierbarer Funktionen, die in der Bildverarbeitung durch räumliche TV-Regularisierung entstehen. \(\hspace{1mm}\) Die infimale Faltung mit skalierten quadratischen Funktionen erzeugt die einparametrische Familie der Moreau-Yosida-Regularisierungen, welche eine gegebene Funktion von unten approximieren und dabei Minimum und Minimierer beibehalten. Für reellwertige Funktionen stimmt die Proximumsabbildung mit dem Gradientenschritt auf der Moreau-Yosida-Regularisierung überein. \(\hspace{1mm}\) Effiziente Algorithmen sind in der hyperspektralen Bildverarbeitung unabdingbar, da mehrere hundert spektrale Intensitätswerte in jedem Bildpunkt zu großen Datenmengen führen. \(\hspace{1mm}\) Im \(\textbf{ersten Teil}\) dieser Arbeit ist es unser Anliegen, effiziente Algorithmen für hyperspektrale Entmischung zu entwickeln. Um diese auf realen Messungen zu testen, wurde im Rahmen dieser Arbeit eine hyperspektrale Nahinfrarotkamera am Fraunhofer ITWM in Betrieb genommen. Motiviert durch fehlende Pixel in gängigen Kamerasensoren präsentieren wir ein Entmischungsmodel für unvollständige und verrauschte Daten, wenn die Reinmaterialspektren bekannt sind. Wir minimieren dieses Modell mit einem primal-dualen Algorithmus, welcher als Teilschritt die Proximumsabbildung verwendet. \(\hspace{1mm}\) Um das Entmischungsproblem zu lösen, wenn die Reinmaterialspektren nicht direkt bekannt, sondern zwischen weiteren Spektren einer Spektrendatenbank versteckt sind, untersuchen wir eine Abwandlung des Modells durch einen additiven Sparsity-Term. \(\hspace{1mm}\) Wir beenden den ersten Teil mit der Konvergenzanalyse für einen alternierenden multiplikativen Algorithmus. Dieser erweitert bekannte multiplikative iterative Verfahren zur Minimierung der Kullback-Leibler-Distanz, um das Entmischungsproblem ohne Vorabinformationen über die vorkommenden Spektren zu lösen. \(\hspace{1mm}\) Im \(\textbf{zweiten Teil}\) dieser Arbeit untersuchen wir die Eigenschaften von Moreau-Yosida-Regularisierungen, zuerst für Funktionen, die auf Hadamard-Mannigfaltigkeiten definiert sind, d.h. möglicherweise unendlichdimensionalen Riemannschen Mannigfaltigkeiten mit negativer Krümmung, und anschließend für Funktionen, die auf Hadamard-Räumen definiert sind. \(\hspace{1mm}\) Insbesondere erweitern wir den klassischen Ausdruck für den Gradienten der Moreau-Yosida-Regularisierung, in Abhängigkeit von der Proximumsabbildung, auf Hadamard-Mannigfaltigkeiten. Mithilfe dieses Ausdruckes zeigen wir, dass eine Folge von Funktionen genau dann im Sinne von Mosco gegen eine Grenzfunktion konvergiert, wenn die zugehörigen Moreau-Yosida-Regularisierungen aller Skalen punktweise konvergieren. \(\hspace{1mm}\) Dieses Resultat erweitern wir schließlich auf allgemeine Hadamard-Räume. Da die umgekehrte Implikation bereit bekannt ist, vereint dies zwei Definitionen der Mosco-Konvergenz auf Hadamard-Räumen, welche beide in der Literatur verwendet werden, ohne dass ihre Äquivalenz bislang bekannt war.

Download full text files

Export metadata

Metadaten
Author:Martin J. Montag
URN:urn:nbn:de:hbz:386-kluedo-46505
Advisor:Gabriele Steidl
Document Type:Doctoral Thesis
Language of publication:English
Date of Publication (online):2017/05/21
Date of first Publication:2017/05/21
Publishing Institution:Technische Universität Kaiserslautern
Granting Institution:Technische Universität Kaiserslautern
Acceptance Date of the Thesis:2017/02/20
Date of the Publication (Server):2017/05/22
Tag:Hadamard manifold; Hadamard space; Kullback-Leibler divergence; Moreau-Yosida regularization; Mosco convergence; alternating minimization; curvature; hyperspectal unmixing; infinite-dimensional manifold; nonconvex optimization; nonnegative matrix factorization; primal-dual algorithm; proximation; sparsity; surrogate algorithm; total variation spatial regularization; variational model
GND Keyword:Mehrdimensionale Bildverarbeitung; Bildsegmentierung; Hyperspektraler Sensor; Multispektralfotografie; Reflexionsspektroskopie; Infrarotspektroskopie; Multispektralaufnahme; Variationsrechnung; Nichtkonvexes Variationsproblem; Mehrdimensionales Variationsproblem; Nichtlineare Optimierung; Nichtglatte Optimierung; Ableitungsfreie Optimierung; Prox-Regularisierung; Tichonov-Regularisierung; Konjugierte Dualität; Matrizenzerlegung; Matrizenfaktorisierung; Nichtkonvexe Optimierung; Sequenzieller Algorithmus; Effizienter Algorithmus; Konvergenz; Multivariates Verfahren; Multivariate Analyse; Nichtpositive Krümmung; Hadamard-Raum; Hadamard-Mannigfaltigkeit; Gamma-Konvergenz; Schwache Konvergenz; Beschränkte Krümmung
Page Number:XV, 143
Faculties / Organisational entities:Kaiserslautern - Fachbereich Mathematik
CCS-Classification (computer science):F. Theory of Computation
G. Mathematics of Computing / G.1 NUMERICAL ANALYSIS
DDC-Cassification:5 Naturwissenschaften und Mathematik / 510 Mathematik
MSC-Classification (mathematics):47-XX OPERATOR THEORY / 47Jxx Equations and inequalities involving nonlinear operators [See also 46Txx] (For global and geometric aspects, see 58-XX) / 47J25 Iterative procedures [See also 65J15]
49-XX CALCULUS OF VARIATIONS AND OPTIMAL CONTROL; OPTIMIZATION [See also 34H05, 34K35, 65Kxx, 90Cxx, 93-XX] / 49Jxx Existence theories / 49J53 Set-valued and variational analysis [See also 28B20, 47H04, 54C60, 58C06]
49-XX CALCULUS OF VARIATIONS AND OPTIMAL CONTROL; OPTIMIZATION [See also 34H05, 34K35, 65Kxx, 90Cxx, 93-XX] / 49Mxx Numerical methods [See also 90Cxx, 65Kxx] / 49M29 Methods involving duality
58-XX GLOBAL ANALYSIS, ANALYSIS ON MANIFOLDS [See also 32Cxx, 32Fxx, 32Wxx, 46-XX, 47Hxx, 53Cxx](For geometric integration theory, see 49Q15) / 58Bxx Infinite-dimensional manifolds / 58B99 None of the above, but in this section
58-XX GLOBAL ANALYSIS, ANALYSIS ON MANIFOLDS [See also 32Cxx, 32Fxx, 32Wxx, 46-XX, 47Hxx, 53Cxx](For geometric integration theory, see 49Q15) / 58Exx Variational problems in infinite-dimensional spaces / 58E30 Variational principles
65-XX NUMERICAL ANALYSIS / 65Kxx Mathematical programming, optimization and variational techniques / 65K10 Optimization and variational techniques [See also 49Mxx, 93B40]
Licence (German):Creative Commons 4.0 - Namensnennung, nicht kommerziell, keine Bearbeitung (CC BY-NC-ND 4.0)