Record #345496 - GSI Repository

DFG project G:(GEPRIS)523344822

Neurobiologische und algorithmische Mechanismen der audiovisuellen Sprachverarbeitung

Coordinator	Professorin Dr.-Ing. Dorothea Kolossa ; Professor Dr. Tobias Reichenbach
Grant period	2023 -
Funding body	Deutsche Forschungsgemeinschaft
	DFG
Identifier	G:(GEPRIS)523344822

Note: Mündliche Kommunikation ist in vielen Lebensbereichen von grundlegender Bedeutung. Das Verstehen von Sprache kann jedoch schwierig sein, insbesondere wenn, wie in einer lauten Bar oder einem vollen Restaurant, Hintergrund- und Nebengeräusche vorhanden sind. Solche komplexen akustischen Bedingungen stellen besonders für Schwerhörige ein Problem dar, welches auch durch das Benutzen von Hörgeräten nicht wesentlich vermindert wird. Ein möglicher Weg zu einer Verbesserung des Sprachverstehens in Hintergrundrauschen ist die Verwendung anderer Sinnesmodalitäten. Insbesondere das Sehen des Gesichtes eines Sprechers kann das Sprachverstehen deutlich verbessern, und auch die Höranstrengung vermindern. Die Spracherkennung eines Computers kann ebenso durch das Bereitstellen der Gesichtsbewegungen erheblich genauer werden. Die neurobiologischen Mechanismen, durch die wir Menschen die visuelle mit der auditorischen Information integrieren, sind jedoch noch weitgehend unbekannt. Ebenso fehlen uns immer noch Computeralgorithmen, um die Verstehbarkeit audiovisueller Sprache präzise voraussagen zu können. Außerdem erfordert die von uns vorgeschlagene Form audiovisueller Hörassistenz eine künstliche Erzeugung animierter Gesichter aus dem Sprachsignal, ein Thema, mit dessen Untersuchung erst kürzlich begonnen wurde. Dieses Projekt will die Lücken in unserem Verständnis und unseren Fähigkeiten durch die Kombination von neurobiologischen Untersuchungen und der Entwicklung von Computeralgorithmen angehen. Das Projekt wird deshalb von zwei Experten im jeweiligen Gebiet gemeinsam geleitet. In einem ersten Schritt werden wir Computermaße der Verständlichkeit audiovisueller Sprache untersuchen und sie mit neurobiologischen Mechanismen audiovisueller Sprachverarbeitung vergleichen. Letztere sollen dabei mittels Verhaltensexperimenten und elektroenzephalographischer Messungen (EEG) an menschlichen Probanden untersucht werden. In einem zweiten Schritt werden wir dann die Computermaße benutzen, um künstliche Gesichtsanimationen aus einem Sprachsignal zu erzeugen, die für das Verstehen von Sprache in komplexen akustischen Bedingungen optimiert sind. Als drittes Ziel werden wir die Effekte der künstlichen Gesichtsanimationen auf die Höranstrengung untersuchen und mit Computermaßen für diese Höranstrengung vergleichen. Das vorgeschlagene Projekt wird dazu beitragen, die neurobiologischen Mechanismen audiovisueller Sprachverarbeitung besser zu verstehen, insbesondere im Hinblick auf die kortikale Aktivität bezüglich Sprachrhythmen. Es wird weiterhin Computeralgorithmen entwickeln, die Verständlichkeit und Höranstrengung bezüglich audiovisueller Sprache besser vorhersagen können. Schließlich wird das Projekt Gesichtsanimationen generieren, die dafür optimiert sind, das Verstehen von Sprache in Hintergrundgeräuschen zu verbessern, mit möglichen Anwendungen in zukünftigen audiovisuellen Hörhilfen.

Recent Publications

There are no publications

Record created 2023-10-10, last modified 2024-09-28

Similar records

Add to personal basket
Export as Author List with IDs BibTeX (UTF-8), EndNote XML, EndNote Text, RIS, MARC, Print MARC, MARCXML, DC,
Request correction
Submit fulltext

GSI Homepage \| GSI Library \| English Deutsch \| guest :: login GSI Repository
Search	Submit	Personalize Your alerts Your baskets Your searches	Help