Ko Watanabe

• This thesis explores how smart sensors can quantify the process of the knowledge transfer. Knowledge transfer is the transmission of mastered knowledge from one individual to another through communication. This intricate process depends on three critical facets of communication: the appearance and demeanor of the participants, verbal articulation, and nonverbal cues. Several projects worked on will be to analyze the full potential of quantifying and enhancing communication. Estimating individual domain knowledge is paramount to determining their ability to transfer knowledge. Web browsing analytics is a crucial in this endeavor, as it addresses the needs of our target audience to capture both new and existing knowledge. TrackThinkTS, an intuitive system, facilitates the seamless collection of web browsing logs by installing a Chrome extension. Our application using Random Forest algorithms to the collected data has resulted in an impressive average F1-score of 0.950 to estimate a domain knowledge. We extend this work to TrackThink Camera, allows collecting the webcam recordings synchronously while web browsing for appearance based eye-tracking. To enhance the visualization of respondent knowledge, we use force-directed diagrams, Sankey diagrams, and flowcharts, which are seamlessly integrated into the TrackThink Dashboard. In the DisCaaS project, we aim to quantify micro-behaviors that happen during meetings using cameras as sensors. In collaboration with a research group in Japan, we meticulously collected a dataset of 295 videos, totaling 21.7 hours, with 40 participants from online and onsite meetings. Remarkably, we achieved F1 scores of 0.812, 0.949, and 0.973 for nodding, talking, and smiling detection, respectively. The EnGauge project has been instrumental in quantifying engagement levels, a critical dimension of internal and cognitive human behavior. We collect data from 30 participants and achieved a result of engagement detection of 0.895 in the F1 score with leave-one-participant-out cross-validation. The concept of accelerating the knowledge transfer is done in several approaches. In the work DiscussionJockey, we apply dynamic background music and specific beats per minute change according to the meeting participants’ utterance information to control amount of speech. We also investigate a system Metacognition-EnGauge. The system allows to give self-and-group engagement level feedbacks in gauge-interface realtime. Several challenges exist in the accelerating knowledge transfer, which will be discussed. Applications have been shared with several labs, including the Immersive Quantified Learning Lab (iQL-Lab) at the German Research Center for Artificial Intelligence (DFKI), DFKI Lab Japan in Osaka Metropolitan University, Ubiquitous Computing System Laboratory (UBI-Lab) in Nara Institute of Science and Technology, and HumanoPhilic Systems laboratory in Kyushu University.
• In dieser Arbeit wird untersucht, wie Sensoren den Prozess des Wissenstransfers quantifizieren können. Wissenstransfer ist die Übertragung von erworbenem Wissen von einer Person zur anderen durch Kommunikation. Dieser komplizierte Prozess hängt von drei kritischen Aspekten der Kommunikation ab: dem Auftreten und Verhalten der Teilnehmer, der verbalen Artikulation und den nonverbalen Hinweisen. Im Rahmen mehrerer Projekte soll das gesamte Potenzial der Quantifizierung und Verbesserung der Kommunikation analysiert werden. Die Einschätzung des individuellen Fachwissens ist von entscheidender Bedeutung, um die Fähigkeit zum Wissenstransfer zu bestimmen. Die Web-Browsing-Analyse ist dabei von entscheidender Bedeutung, da sie die Bedürfnisse unserer Zielgruppe anspricht, um sowohl neues als auch vorhandenes Wissen zu erfassen. TrackThinkTS, ein intuitives System, erleichtert die nahtlose Erfassung von Web-Browsing-Protokollen durch die Installation einer Chrome-Erweiterung. Unsere Anwendung, die Random Forest Algorithmen auf die gesammelten Daten anwendet, hat zu einem beeindruckenden durchschnittlichen F1-Score von 0,950 für die Schätzung des Domänenwissens geführt. Wir erweitern diese Arbeit um TrackThink Camera, das es ermöglicht, die Webcam-Aufnahmen synchron zu sammeln, während man im Internet surft, um das Aussehen der Augen zu verfolgen. Um die Visualisierung des Wissens der Befragten zu verbessern, verwenden wir Force-Directed-Diagramme, SankeyDiagramme und Flussdiagramme, die nahtlos in das TrackThink Dashboard integriert sind. Im Rahmen des Projekts DisCaaS wollen wir Mikro-Verhaltensweisen, die während Besprechungen auftreten, mithilfe von Kameras als Sensoren quantifizieren. In Zusammenarbeit mit einer Forschungsgruppe in Japan haben wir einen Datensatz von 295 Videos mit einer Gesamtdauer von 21,7 Stunden mit 40 Teilnehmern aus Online- und Vor-Ort-Besprechungen akribisch gesammelt. Wir erreichten F1-Werte von 0,812, 0,949 und 0,973 für die Erkennung von Nicken, Sprechen und Lächeln. Das Projekt EnGauge hat entscheidend dazu beigetragen, den Grad des Engagements zu quantifizieren, eine wichtige Dimension des internen und kognitiven menschlichen Verhaltens. Wir haben Daten von 30 Teilnehmern gesammelt und ein Ergebnis der Engagement-Erkennung von 0,895 im F1-Score mit Leave-One-ParticipantOut-Kreuzvalidierung erzielt. Das Konzept der Beschleunigung des Wissenstransfers wird in verschiedenen Ansätzen umgesetzt. In der Arbeit DiscussionJockey verwenden wir dynamische Hintergrundmusik und spezifische Beats pro Minute, die sich entsprechend der Äußerungsinformationen der Sitzungsteilnehmer ändern, um die Sprechmenge zu steuern. Wir erforschen auch ein System Metacognition-EnGauge. Das System gibt Rückmeldungen über den Grad des Engagements von sich selbst und der Gruppe in Echtzeit über eine Messschnittstelle. Bei der Beschleunigung des Wissenstransfers gibt es mehrere Herausforderungen, die wir diskutieren werden. Die Anwendungen wurden mit mehreren Labors geteilt, darunter das Immersive Quantified Learning Lab (iQL-Lab) am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), das DFKI Lab Japan an der Osaka Metropolitan University, das Ubiquitous Computing System Laboratory (UBI-Lab) am Nara Institute of Science and Technology und das HumanoPhilic Systems Laboratory an der Kyushu University