In der heutigen Welt wird Kommunikation immer vielschichtiger und komplexer. Ein interdisziplinäres Forschungsteam von der Universität zu Köln hat nun einen innovativen Workflow entwickelt, der forscherische Ansätze in den Sprach- und Kommunikationswissenschaften entscheidend verbessern soll. Der Fokus liegt dabei auf der Integration nicht-sprachlicher Informationen, um die Transparenz und Nachvollziehbarkeit in der Forschung zu erhöhen.
Der kürzlich veröffentlichte Artikel „Data Collection in Multimodal Language and Communication Research: A Flexible Decision Framework“ in der Fachzeitschrift „Advances in Methods in Psychological Science“ beleuchtet, wie wichtig es ist, verschiedene Modalitäten – wie Handgesten, Mimik und Körperbewegungen – in die Untersuchung von Sprache mit einzubeziehen. Dieses Verständnis hat sich erst in den letzten Jahrzehnten durchgesetzt, nachdem die Komplexität der Multimodalität bis in die 1980er- und 1990er-Jahre weitgehend ignoriert wurde. Heute zeigt sich, dass eine multimodale Herangehensweise einen entscheidenden Vorteil in der Erfassung und Analyse von Kommunikationsprozessen hat.
Multimodalität in der Forschung
Das neue Rahmenkonzept für die Erhebung und Analyse multimodaler Daten wird an spezifische Forschungsfragen angepasst und unterteilt die Forschung in drei wesentliche Phasen: Zuerst gilt es, die Forschungsfrage und das Studiendesign zu klären. Anschließend erfolgt die Durchführung der Studie, wobei sowohl technische als auch ethische Aspekte in den Blick genommen werden. Schließlich steht die Planung der Datennutzung und -weitergabe auf der Agenda.
Ein zentraler Aspekt der Multimodalität ist die koordinierte Nutzung verschiedener Signale zur Bedeutungsübermittlung, sei es in textlichen, auditiven oder visuellen Modalitäten. Diese Herangehensweise findet nicht nur in der Linguistik Anwendung, sondern auch in der Informatik, wo multimodale Interaktion verschiedene Eingabemethoden wie Sprache, Gesten und Touchscreens umfasst. Die Möglichkeit, durch diese Vielfalt an Kommunikationsmethoden die Effizienz und Effektivität von Interaktionen zu steigern, ist besonders relevant im Unternehmenskontext.
Herausforderungen und Fallstudien
Allerdings bringt die Erfassung multimodaler Datensätze auch Herausforderungen mit sich. Oft sind solche Vorhaben aufwendig, kostenintensiv und methodisch anspruchsvoll. Umso hilfreicher ist der entwickelte Workflow, der auch praktische Fallstudien umfasst. Dazu zählen kontrollierte Laborexperimente, die Erstellung eines Gebärdensprachkorpus sowie Beobachtungen der Kommunikation bei nicht-menschlichen Primaten. Diese Beispiele verdeutlichen, wie der neue Ansatz in verschiedenen Kontexten angewendet werden kann.
Ein weiteres Highlight der aktuellen Forschung ist die steigende Relevanz der Multimodalitätsforschung, die auch von Publikationsforen wie Pathways to Multimodality unterstützt wird. Wissenschaftler*innen aus unterschiedlichen Disziplinen kommen hier zusammen, um empirische Arbeiten zu präsentieren, die große multimodale Datensätze nutzen. Das Ziel ist klar: die Kommunikation über verschiedene semiotische Modalitäten hinweg zu verstehen und zu verbessern.
Zusammenfassend lässt sich sagen, dass die Fortschritte in der Multimodalitätsforschung und der damit verbundene Entscheidungsrahmen von der Universität zu Köln einen bedeutsamen Schritt hin zu transparenterer und reproduzierbarer Forschung darstellen. Weitere Informationen zu den Entwicklungen stehen durch die Kontaktpersonen Dr. Anastasia Bauer und Prof. Dr. Petra Schumacher am Institut für Linguistik zur Verfügung.