On Sinusoidal Structured Light Reconstruction - An Entire Pipeline with Improvements in Accuracy, Stability, Robustness and Speed
- The field of 3D reconstruction is one of the most important areas in computer
vision. It is not only of theoretical importance, but it is also increasingly
used in practical applications, be it in reverse engineering, quality control or
robotics. In practical applications, where high precision reconstructions are
required for a large variety of different objects, structured light reconstruction
is often the method of choice. It allows to achieve accurate and dense
point correspondences over the entire scene, regardless of object texture or
features. Techniques that project phase-shifted sinusoidals are widely used
because, based on the harmonic addition theorem, they theoretically allow
surface encoding in full camera resolution invariant to the object’s coloring.
In this thesis, a fully-automatic reconstruction pipeline based on the sinusoidal
structured light technique is presented. From the projection of the
fringe patterns for encoding the object’s surface, the robust matching of the
point correspondences in sub-pixel accuracy, the auto-calibration of the setup
including the active device, up to the fully-automatic alignment of the partial
reconstructions, all steps will be described and examined in detail. During
that, improvements will be achieved in the area of matching, obtaining highly
accurate and topologically consistent correspondences in sub-pixel precision
between all the devices used. Furthermore, the auto-calibration from point
correspondences, based on the epipolar geometry of the structured light system
is improved. Weaknesses of previous methods in the extraction of focal
lengths from the fundamental matrices are discovered and addressed. The partial
point clouds, reconstructed from the auto-calibrated devices, are finally
pre-aligned using a neural network approach, based on light-resistant optical
flow estimation and subsequently refined using a global approach.
The weaknesses of the structured light method itself will also be addressed
and partially fixed during the course of this work. Since it is an active reconstruction method, certain surface properties can affect the quality of the
reconstruction. It will be shown how these problems can be eliminated or at
least be reduced using an iterative approach that combines fringe patterns with
an inverse texture. Another weakness of the method is its time-consuming acquisition procedure. Typically, a large number of horizontal and vertical fringe
patterns are projected onto the scene to achieve high-precision encoding despite
the limited dynamic range and resolution of the projector. Therefore, a
method will be presented which allows to combine the horizontal and vertical
patterns for a simultaneous two dimensional surface encoding.
- Das Gebiet der 3D-Rekonstruktion ist eines der wichtigsten Gebiete des maschinellen Sehens. Es ist nicht nur von theoretischer Bedeutung, sondern wird auch zunehmend in praktischen Anwendungen eingesetzt, sei es im Reverse Engineering, der Qualitätskontrolle oder der Robotik. In praktischen Anwendungen, in denen hochpräzise Rekonstruktionen für eine Vielzahl unterschiedlicher Objekte erforderlich sind, ist die strukturierte Lichtrekonstruktion häufig die Methode der Wahl. Sie ermöglicht es, genaue und dichte Punktkorrespondenzen über die gesamte Szene zu erzielen, unabhängig von Objekttextur oder Szenenmerkmalen. Techniken, die phasenverschobene Sinuskurven projizieren sind weit verbreitet, da sie, basierend auf dem harmonischen Additionstheorem, theoretisch eine Oberflächenkodierung in voller Kameraauflösung ermöglichen, die invariant unter der Objektfärbung ist.
In dieser Arbeit wird eine vollautomatische Rekonstruktionspipeline vorgestellt, die auf sinusförmiger Streifenprojektion basiert. Von der Projektion der Streifenmuster zur Kodierung der Objektoberfläche, über das robuste Matching der Punkt-korrespondenzen mit Subpixelgenauigkeit, der Autokalibrierung des verwendeten Aufbaus, inklusive der aktiven Komponente, bis hin zur vollautomatischen Ausrichtung der Teilrekonstruktionen, werden alle Schritte detailliert beschrieben und untersucht. Dabei werden erhebliche Verbesserungen im Bereich des Matchings erreicht, indem hochgenaue Korrespondenzen in Subpixelgenauigkeit zwischen allen verwendeten Geräten erzielt werden, die gleichzeitig topologisch konsistent und besonders arm an Ausreißern sind. Darüber hinaus wird die Autokalibrierung aus verfügbaren Punktkorrespondenzen, basierend auf der epipolaren Geometrie des Structured Light Systems, erheblich verbessert. Schwachstellen bisheriger Methoden bei der Extraktion von Brennweiten aus den Fundamentalmatrizen werden aufgedeckt und behandelt. Die aus den autokalibrierten Geräten rekonstruierten Teilpunktwolken werden schließlich mit Hilfe eines neuronalen Netzes, basierend auf einer lichtresistenten optischen Flussmethode, vorausgereichtet und daraufhin mit einem globalen Ansatz verfeinert.
Auch die Schwächen des strukturierten Lichtverfahrens selbst werden im Laufe dieser Arbeit angesprochen, behandelt und teilweise behoben. Da es sich um eine aktive Rekonstruktionsmethode handelt, können bestimmte Oberflächeneigenschaften die Qualität der Rekonstruktion beeinflussen. Es wird gezeigt, wie diese Probleme durch einen iterativen Ansatz, der Streifenmuster mit einer inversen Textur kombiniert, beseitigt oder zumindest verringert werden können. Ein weiterer Schwachpunkt des Verfahrens an sich ist das zeitaufwändige Aufnahmeverfahren. In der Regel wird eine große Anzahl von horizontalen und vertikalen Streifenmustern auf die Szene projiziert, um trotz des begrenzten Dynamikumfangs und der begrenzten Auflösung des Projektors eine hochpräzise Kodierung zu erreichen. Dazu wird eine Methode vorgestellt, die es erlaubt die horizontalen und vertikalen Muster für eine gleichzeitige zweidimensionale Oberflächenkodierung zu kombinieren.