Matthias Klar

• Die Fabriklayoutplanung ist ein auf Expertenwissen basierender, kreativer und zeitintensiver Prozess, der einen erheblichen Einfluss auf die Wirtschaftlichkeit und den Betrieb des Produktionssystems hat, sodass in der frühen Layoutplanungsphase häufig automatisierte Methoden als Unterstützungswerkzeug eingesetzt werden. Diese erfordern jedoch häufig eine analytische und vereinfachende Beschreibung des Produktionssystems, wodurch dynamische und layoutbestimmende Effekte unberücksichtigt bleiben. Mittels einer Materialflusssimulation (EDS) können diese Einflüsse realitätsnah abgebildet werden. Entwicklungen im Bereich des Reinforcement Learning (RL) zeigen, dass RL in der Lage ist, selbstständig Lösungsstrategien für komplexe Problemstellungen zu erlernen, deren Systemverhalten analytisch nicht vollständig beschreibbar ist. Die Kopplung von RL und EDS bietet somit das Potential, durch eine realitätsnahe Planungsgrundlage automatisiert optimierte Layoutvarianten zu erzeugen. Außerdem können Erklärbarkeitsansätze (XRL) genutzt werden, um Einblicke in das Lösungsverhalten des RL-Ansatzes zu erlangen. Ziel dieser Dissertation ist es, durch die kombinierte Nutzung von RL, EDS und XRL die Qualität in der frühen Layoutplanungsphase zu erhöhen. Hierzu findet eine konzeptionelle Entwicklung des RL-Ansatzes statt, die eine Modellierung des Entscheidungsproblems, der Aktionsräume, der Zustandsinformationen, der Belohnungsfunktion und der XRL-Ansätze umfasst. Anschließend wird der RL-Ansatz implementiert und es werden Experimente zur Leistungssteigerung durchgeführt, bevor er auf zwei Validierungsszenarien angewendet wird. Der Vergleich mit konventionellen Planungsansätzen zeigt, dass die Qualität der generierten Lösung durch RL gesteigert werden kann und dass die XRL-Ansätze eine detaillierte Analyse des Lösungsprozesses ermöglichen.
• Factory layout planning is a creative and time-consuming process based on expert knowledge that has a significant impact on the profitability and operation of the resulting manufacturing system. As a result, automated approaches are often used to support the early layout planning phase. However, these often require an analytical and simplified description of the production system, so that dynamic and layout-determining effects are not considered. These effects can be represented with the help of a discrete-event material flow simulation (DES). Besides, developments in the field of reinforcement learning (RL) show that RL can independently learn solution strategies for complex decision-making problems even in cases in which the system behavior cannot be fully described analytically. The coupling of RL and DES thus offers the potential to automatically generate realistic and optimized layout variants. In addition, explainability approaches (XRL) can be used to gain insights into the solution strategy of the RL approach. This dissertation aims to increase the quality of the early layout planning phase through the combined use of RL, EDS, and XRL. For this purpose, a conceptual development of the RL approach takes place first, which includes modeling the decision-making problem, the action space, the state information, the reward function, and the XRL approaches. The RL approach is implemented and experiments are conducted to improve the performance before it is applied to two validation scenarios. The comparison with conventional layout planning approaches shows that the quality of the generated solution can be increased using RL and that the XRL approaches allow a detailed analysis of the training and solution process.