TRR 318 - Verstehensprozess einer Erklärung beobachten und auswerten (Teilprojekt A02)

Der Vorstellung von Interaktion als zwischenmenschliche Verhaltensmuster folgend, liegt der Fokus des Projekts A02 auf dem Prozess des Verstehens. Durch das Zusammenführen von Expertise aus Bereichen, die sich mit Multimodalität befassen, ist der Ansatz dieses Projekts, verschiedene Ebenen des (Nicht-)Verstehens zu identifizieren und damit zur Implementierung eines engmaschigen „Monitoring“-Prozesses beizutragen. Diese Implementierung wird ein System hervorbringen, das in der Lage ist, reichhaltige multimodale Signale zu nutzen, um das Verständnis des Benutzers innerhalb eines Erklärprozesses zu unterstützen.

Wenn Menschen etwas erklärt bekommen, signalisieren sie ihr Verstehen oder Nicht-Verstehen zum einen mit verbalen Äußerungen und zum anderen mit nichtverbalen Kommunikationsmitteln, wie beispielsweise Gestik und Mimik. Wer nickt, kann der erklärenden Person verdeutlichen, dass er*sie verstanden hat. Das Nicken kann aber ebenfalls als Aufforderung gemeint sein, mit einer Erklärung fortzufahren, und ist im Kontext des Gesprächs einzuschätzen. Die Linguist*innen und Computerlinguist*innen untersuchen im Projekt A02, wie Personen – und zukünftig Maschinen – beim Erklären erkennen, dass ihre Gesprächspartner*innen sie verstehen oder nicht verstehen. Dafür betrachtet das Forschungsteam 80 Dialoge, in denen eine Person einer anderen ein Gesellschaftsspiel erklärt. Diese untersuchen die Wissenschaftler*innen auf kommunikative Feedbacksignale, die auf verschiedene Grade des Verstehensprozesses hindeuten. Die Ergebnisse aus den Analysen fließen in ein intelligentes System ein, das in der Lage sein soll, Feedbacksignale wie Kopfnicken zu erfassen und bezüglich des signalisierten Verstehens zu interpretieren.