Torben Fetzer

• The field of 3D reconstruction is one of the most important areas in computer vision. It is not only of theoretical importance, but it is also increasingly used in practical applications, be it in reverse engineering, quality control or robotics. In practical applications, where high precision reconstructions are required for a large variety of different objects, structured light reconstruction is often the method of choice. It allows to achieve accurate and dense point correspondences over the entire scene, regardless of object texture or features. Techniques that project phase-shifted sinusoidals are widely used because, based on the harmonic addition theorem, they theoretically allow surface encoding in full camera resolution invariant to the object’s coloring. In this thesis, a fully-automatic reconstruction pipeline based on the sinusoidal structured light technique is presented. From the projection of the fringe patterns for encoding the object’s surface, the robust matching of the point correspondences in sub-pixel accuracy, the auto-calibration of the setup including the active device, up to the fully-automatic alignment of the partial reconstructions, all steps will be described and examined in detail. During that, improvements will be achieved in the area of matching, obtaining highly accurate and topologically consistent correspondences in sub-pixel precision between all the devices used. Furthermore, the auto-calibration from point correspondences, based on the epipolar geometry of the structured light system is improved. Weaknesses of previous methods in the extraction of focal lengths from the fundamental matrices are discovered and addressed. The partial point clouds, reconstructed from the auto-calibrated devices, are finally pre-aligned using a neural network approach, based on light-resistant optical flow estimation and subsequently refined using a global approach. The weaknesses of the structured light method itself will also be addressed and partially fixed during the course of this work. Since it is an active reconstruction method, certain surface properties can affect the quality of the reconstruction. It will be shown how these problems can be eliminated or at least be reduced using an iterative approach that combines fringe patterns with an inverse texture. Another weakness of the method is its time-consuming acquisition procedure. Typically, a large number of horizontal and vertical fringe patterns are projected onto the scene to achieve high-precision encoding despite the limited dynamic range and resolution of the projector. Therefore, a method will be presented which allows to combine the horizontal and vertical patterns for a simultaneous two dimensional surface encoding.
• Das Gebiet der 3D-Rekonstruktion ist eines der wichtigsten Gebiete des maschinellen Sehens. Es ist nicht nur von theoretischer Bedeutung, sondern wird auch zunehmend in praktischen Anwendungen eingesetzt, sei es im Reverse Engineering, der Qualitätskontrolle oder der Robotik. In praktischen Anwendungen, in denen hochpräzise Rekonstruktionen für eine Vielzahl unterschiedlicher Objekte erforderlich sind, ist die strukturierte Lichtrekonstruktion häufig die Methode der Wahl. Sie ermöglicht es, genaue und dichte Punktkorrespondenzen über die gesamte Szene zu erzielen, unabhängig von Objekttextur oder Szenenmerkmalen. Techniken, die phasenverschobene Sinuskurven projizieren sind weit verbreitet, da sie, basierend auf dem harmonischen Additionstheorem, theoretisch eine Oberflächenkodierung in voller Kameraauflösung ermöglichen, die invariant unter der Objektfärbung ist. In dieser Arbeit wird eine vollautomatische Rekonstruktionspipeline vorgestellt, die auf sinusförmiger Streifenprojektion basiert. Von der Projektion der Streifenmuster zur Kodierung der Objektoberfläche, über das robuste Matching der Punkt-korrespondenzen mit Subpixelgenauigkeit, der Autokalibrierung des verwendeten Aufbaus, inklusive der aktiven Komponente, bis hin zur vollautomatischen Ausrichtung der Teilrekonstruktionen, werden alle Schritte detailliert beschrieben und untersucht. Dabei werden erhebliche Verbesserungen im Bereich des Matchings erreicht, indem hochgenaue Korrespondenzen in Subpixelgenauigkeit zwischen allen verwendeten Geräten erzielt werden, die gleichzeitig topologisch konsistent und besonders arm an Ausreißern sind. Darüber hinaus wird die Autokalibrierung aus verfügbaren Punktkorrespondenzen, basierend auf der epipolaren Geometrie des Structured Light Systems, erheblich verbessert. Schwachstellen bisheriger Methoden bei der Extraktion von Brennweiten aus den Fundamentalmatrizen werden aufgedeckt und behandelt. Die aus den autokalibrierten Geräten rekonstruierten Teilpunktwolken werden schließlich mit Hilfe eines neuronalen Netzes, basierend auf einer lichtresistenten optischen Flussmethode, vorausgereichtet und daraufhin mit einem globalen Ansatz verfeinert. Auch die Schwächen des strukturierten Lichtverfahrens selbst werden im Laufe dieser Arbeit angesprochen, behandelt und teilweise behoben. Da es sich um eine aktive Rekonstruktionsmethode handelt, können bestimmte Oberflächeneigenschaften die Qualität der Rekonstruktion beeinflussen. Es wird gezeigt, wie diese Probleme durch einen iterativen Ansatz, der Streifenmuster mit einer inversen Textur kombiniert, beseitigt oder zumindest verringert werden können. Ein weiterer Schwachpunkt des Verfahrens an sich ist das zeitaufwändige Aufnahmeverfahren. In der Regel wird eine große Anzahl von horizontalen und vertikalen Streifenmustern auf die Szene projiziert, um trotz des begrenzten Dynamikumfangs und der begrenzten Auflösung des Projektors eine hochpräzise Kodierung zu erreichen. Dazu wird eine Methode vorgestellt, die es erlaubt die horizontalen und vertikalen Muster für eine gleichzeitige zweidimensionale Oberflächenkodierung zu kombinieren.