Interaction-Aware Maneuver and Lane Change Prediction Using Deep Learning Architectures for Autonomous Driving

  • Maneuver prediction is a critical component of decision-making in autonomous driving, particularly in complex urban environments where traffic participants continuously interact under uncertainty. Accurate and interpretable prediction of future driving maneuvers, such as lane changes, is essential for safe and anticipatory planning. This thesis investigates interaction-aware maneuver prediction from the ego-vehicle perspective using deep learning-based approaches that integrate spatial reasoning, temporal modeling, and multi-modal perception. The research presents a progression of architectures that address maneuver and lane change prediction at increasing levels of complexity. First, interaction-aware models based on graph neural networks (GNNs) and recurrent neural networks (RNNs) jointly capture spatial interactions between traffic agents and the temporal evolution of driving behavior for scene understanding. Building on this, a cognitively inspired two-layer hierarchical decision-making framework separates planned maneuvers from stimuli and cause reasoning to improve interpretability. Subsequently, a deep multi-modal architecture based on Edge-Featured Graph Attention Networks (EGATs) is developed for lane change prediction, integrating visual perception, spatial interaction graphs, ego-vehicle state signals, and lane-level information. To support this research, a new in-house multi-modal dataset, WylonSet, is introduced and later extended to WylonSet++, providing high-quality annotations for lane change maneuvers and, in its extended version, for maneuver phases in diverse urban traffic scenarios. Finally, a transformer-based multi-modal architecture is proposed for multi-horizon lane change and phase prediction. The model employs attention-based fusion across modalities and incorporates uncertainty estimation at the modality, fusion, and prediction levels, enabling interpretable and future-aware behavior prediction. Experiments on four real-world driving datasets show that interaction-aware, multi-modal, and attention-based architectures consistently improve prediction accuracy and temporal consistency compared with uni-modal and non-interaction-aware variants. The transformer-based architecture predicts lane change maneuvers and their phases across horizons of up to 3 s, achieving an overall macro F1-score above 97% on WylonSet++ and detecting lane change events on average about 1 s before their onset. Overall, this thesis contributes new models, datasets, and evaluation methodology for maneuver and lane change prediction, providing a foundation for interpretable and deployment-oriented decision-making systems in autonomous driving.
  • Die Prädiktion von Fahrmanövern stellt eine zentrale Komponente der Entscheidungsfindung im autonomen Fahren dar, insbesondere in komplexen urbanen Umgebungen, in denen Verkehrsteilnehmer kontinuierlich und unter Unsicherheit miteinander interagieren. Eine präzise und interpretierbare Vorhersage zukünftiger Fahrmanöver, wie beispielsweise Spurwechsel, ist entscheidend für eine sichere und vorausschauende Planung. Diese Dissertation untersucht die interaktionsbewusste Manöverprädiktion aus der Perspektive des Ego-Fahrzeugs mithilfe Deep-Learning-basierter Ansätze, die räumliches Schlussfolgern, zeitliche Modellierung und multimodale Wahrnehmung integrieren. Die Arbeit präsentiert eine Abfolge von Architekturen zur Manöver- und Spurwechselprädiktion mit zunehmender Komplexität. Zunächst erfassen interaktionsbewusste Modelle auf Basis von Graph-Neuronalen Netzen (GNNs) und Rekurrenten Neuronalen Netzen (RNNs) gemeinsam die räumlichen Interaktionen zwischen Verkehrsteilnehmern sowie die zeitliche Entwicklung des Fahrverhaltens zum Szenenverständnis. Darauf aufbauend trennt ein kognitiv inspiriertes, zweischichtiges hierarchisches Entscheidungsmodell geplante Manöver von der Reiz- und Ursachenanalyse, um die Interpretierbarkeit der Entscheidungsfindung zu verbessern. Anschließend wird eine multimodale Deep-Learning-Architektur auf Basis von Edge-Featured Graph Attention Networks (EGATs) zur Spurwechselprädiktion entwickelt, die visuelle Wahrnehmung, räumliche Interaktionsgraphen, Zustandssignale des Ego-Fahrzeugs und spurbezogene Informationen integriert. Hierfür wird ein neuer, hausintern erhobener multimodaler Datensatz, WylonSet, eingeführt und später zu WylonSet++ erweitert, der hochwertige Annotationen für Spurwechselmanöver und, in der erweiterten Version, für Manöverphasen in vielfältigen urbanen Verkehrsszenarien bereitstellt. Abschließend wird eine transformerbasierte multimodale Architektur für die Multi-Horizont-Vorhersage von Spurwechseln und deren Phasen vorgestellt. Das Modell nutzt aufmerksamkeitsbasierte Fusion über mehrere Modalitäten hinweg und integriert eine Unsicherheitsabschätzung auf Modalitäts-, Fusions- und Prädiktionsebene, wodurch eine interpretierbare und vorausschauende Verhaltensvorhersage ermöglicht wird. Experimente auf vier realen Fahrdatensätzen zeigen, dass interaktionsbewusste, multimodale und aufmerksamkeitsbasierte Architekturen die Vorhersagegenauigkeit und die zeitliche Konsistenz im Vergleich zu unimodalen und nicht interaktionsbewussten Varianten durchgängig verbessern. Die transformerbasierte Architektur sagt Spurwechselmanöver und deren Phasen über Horizonte von bis zu 3 s voraus und erreicht auf WylonSet++ einen Macro-F1-Wert von insgesamt über 97%; Spurwechselereignisse werden im Mittel etwa 1 s vor ihrem Beginn erkannt. Insgesamt leistet diese Dissertation mit neuen Modellen, Datensätzen und Evaluationsmethodik einen Beitrag zur Manöver- und Spurwechselprädiktion und schafft damit eine Grundlage für interpretierbare und einsatzorientierte Entscheidungsfindungssysteme im autonomen Fahren.
Metadaten
Author:Petrit RamaORCiD
URN:urn:nbn:de:hbz:386-kluedo-137131
DOI:https://doi.org/10.26204/KLUEDO/13713
Advisor:Naim Bajçinca
Document Type:Doctoral Thesis
Cumulative document:No
Language of publication:English
Date of Publication (online):2026/10/14
Year of first Publication:2026
Publishing Institution:Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau
Granting Institution:Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau
Acceptance Date of the Thesis:2026/04/30
Date of the Publication (Server):2026/10/19
Tag:Manöverprädiktion; Maschinelles Lernen; Spurwechselprädiktion; autonomes Fahren
autonomous driving; deep learning; graph neural networks; lane change prediction; maneuver prediction; multi-modal fusion; scene understanding; transformers
GND Keyword:Maschinelles Lernen; Autonomes Fahren; Fahrerassistenzsystem; Entscheidungsfindung
Page Number:XV, 160
Faculties / Organisational entities:Kaiserslautern - Fachbereich Maschinenbau und Verfahrenstechnik
DDC-Cassification:0 Allgemeines, Informatik, Informationswissenschaft / 004 Informatik
6 Technik, Medizin, angewandte Wissenschaften / 620 Ingenieurwissenschaften und Maschinenbau
Licence (German):Creative Commons 4.0 - Namensnennung, nicht kommerziell, keine Bearbeitung (CC BY-NC-ND 4.0)