Spatialisierung von Ton

Menschen mit Hörverlust sind von Diskussionen isoliert, was ihr soziales und berufliches Leben stark beeinträchtigt. Sie könnten daher von der automatischen Spracherkennung (ASR) profitieren, die ihnen hilft, dem Verlauf eines Treffens zu folgen. Derzeit steht die ASR vor einigen Herausforderungen. Die gängigsten Systeme, wie sie in Software für Online-Meetings integriert sind, bieten hörgeschädigten Menschen keine nennenswerten Vorteile.

• Die Textausgabe ist in der Regel ungünstig am unteren Bildschirmrand platziert, sodass die Nutzer die Gesichtsausdrücke der Redner nicht sehen können.
• Diese Textausgabe versucht nicht, einen Eindruck davon zu vermitteln, wo sich die Teilnehmer befinden, und alle Redebeiträge werden einfach übereinander gestapelt, während die Personen sprechen.
• Und schließlich: Während Fernbesprechungen von ASR profitieren können, ist es weit weniger üblich, ähnliche Technologien in persönlichen Besprechungen einzusetzen. Der Einsatz von ASR in einem solchen Kontext ist schwierig, hauptsächlich weil die Teilnehmer mit einer einzigen Eingabequelle nicht richtig isoliert und „räumlich“ dargestellt werden können.

Die aktuelle Forschung befasst sich mit Algorithmen zur Verräumlichung, und in der Erwartung erfolgreicher Ergebnisse wollten wir deren Vorteile vorwegnehmen. Daher haben wir einen „wizard-of-oz“-Prototypen entworfen und implementiert sowie ein „subjektinternes“ Testprotokoll erstellt, um das Interesse hörgeschädigter Teilnehmer an dieser Technologie zu ermitteln.

Die Schnittstelle selbst ist eine Node.js-Anwendung, die die Bibliotheken des Spracherkennungsbrowsers und die Websockets nutzt. Sie übersetzt die tatsächlichen Eingaben im Verlauf des Prozesses und erwies sich als so genau, dass wir ihre Verwendung in Englisch und Französisch in Betracht ziehen.

Das Testprotokoll beruht auf einer einzigen unabhängigen Variablen: dem Gerät, auf dem die Benutzeroberfläche angezeigt wird. Wir hatten vor, das Interface auf einer AR-Brille anzuzeigen, mussten uns aber mit einem Tablet und einem Smartphone begnügen. Wir führten zwei Testsitzungen mit fünf Nutzern durch. Die Studie ergab überwiegend positive Rückmeldungen, zeigte interessante Trends und neue Wege auf, an die wir nicht gedacht hatten. Aufgrund der begrenzten Teilnehmerzahl und anderer Variationen, die im Laufe des Tests eingeführt wurden (Sprache, verfügbarer Platz auf dem Smartphone usw.), können wir jedoch keine korrekten quantitativen Ergebnisse liefern.

Eine solche Forschung in einer Webagentur durchzuführen, ist eine schwierige Aufgabe, da die meisten Mitarbeitenden nicht genügend Spielraum haben, um sich an die Hindernisse der Forschung anzupassen. Beispielsweise war die Rekrutierung von Teilnehmenden viel schwieriger als erwartet und wir mussten unsere Erwartungen zurückschrauben.

Die Implementierung einer erfolgreichen Schnittstelle war schnell erledigt. Wir sehen zwei Probleme bei Spracherkennungs-APIs: (1) Sie werden von Unternehmen mit ethischen Problemen bereitgestellt, wobei Open-Source-Technologien erheblich hinterherhinken, und (2) sie erkennen in der Regel keine technischen Begriffe und Namen. Die NReal-Brille erwies sich als schwierig zu bedienen. Wir konnten nicht genügend Zeit für die Einarbeitung aufwenden und waren schließlich nicht in der Lage, sie zu benutzen. Geräte, die von starken Unternehmen unterstützt werden, könnten eine sanftere Lernkurve bieten.
Durch den Austausch zwischen den Partnern konnten wertvolle Informationen gesammelt werden. Drei Beispiele: