Connecting4Good: Intelligenter Gebärdensprachassistent übersetzt Gesten für Alexa, Cortana und Co.

Connecting4Good: Intelligenter Gebärdensprachassistent übersetzt Gesten für Alexa, Cortana und Co.

Sprachassistenten verändern, wie wir einkaufen, nach Informationen suchen und kommunizieren. Aber was machen Menschen mit eingeschränktem Hör- und Sprachvermögen? Für sie hat der Verband junger Menschen mit Hörbehinderung e.V. jetzt den ersten Gebärdensprachassistenten vorgestellt. Wie das Tool namens Signs Gehörlosen und Taubstummen die Interaktion mit klassischen Voice Assistants ermöglichen soll, liest Du in unserer Reihe #Connecting4Good.

Menschen ohne Hörvermögen sprechen mit den Händen. Sprachgesteuerte Assistenten wie Alexa, Siri und Google Assistant verarbeiten aber bekanntlich nur hörbare Befehle und können optische Gesten nicht verstehen. Der erste Gebärdensprachassistent Signs soll diese Verständigungslücke schließen und Menschen mit einer Hörbehinderung helfen, mit konventionellen Sprachassistenten zu kommunizieren.

Dolmetscher für Gehörlose: Signs vermittelt zwischen Assistenzsystemen

Signs fungiert als eine Art Brückensoftware, die in Echtzeit deutsche Gebärdenzeichen übersetzt und für Sprachassistenten verständlich macht. Das Tool erkennt über eine Kamera Gesten und konvertiert diese in ein Datei-Format, das Alexa, Google Assistant und Microsoft Cortana verstehen. Die Sprachassistenten verarbeiten die Daten ebenfalls in Echtzeit und geben das gewünschte Feedback.  Die Antworten übersetzt der Gebärdensprachassistent dann wiederum für Menschen in Textform oder in visuelle Zeichen. Die Software basiert auf einem Machine- Learning-Framework, mit dem Signs kontinuierlich neue Gesten dazulernt. Künftig soll es auch andere Gebärdensprachen erkennen und übersetzen können.

Mehr Teilhabe und Inklusion im digitalen Alltag

Signs ist das Ergebnis einer Kooperation der Frankfurter Digitalagentur MRM//McCann und der Bundesjugend, dem Verband junger Menschen mit Hörbehinderung e.V. In der Innovationsabteilung LAB13 entwickelte das MRM//McCann-Team den ersten Prototypen, der die natürliche Kommunikation von Menschen unterstützen soll, die bisher nur eingeschränkt Zugang zu klassischen Assistenzsystemen haben.

„Das digitale Zeitalter birgt riesige Chancen für Inklusion. Aber es gibt auch zahlreiche Herausforderungen wie beispielweise bei Sprachassistenten für Menschen mit Hörbehinderung“, fasst die Leiterin der Bundesjugend, Michelle Mohring, zusammen.

Ein weiterer Schritt in Richtung digitale Barrierefreiheit

Martin Biela von MRM//McCann ergänzt: „Unser Ziel ist, dass jeder Mensch mit Hörbehinderung uneingeschränkt Zugang zu neuesten Technologien hat. Gerade jetzt, wo Sprachassistenten unsere Wohnungen, Autos und die Freizeitgestaltung erobern.“

Dieses Ziel haben die Entwickler mit ihrem Prototyp noch nicht final erreicht, aber den Grundstein für ein System gelegt, das zu digitaler Barrierefreiheit und Inklusion beitragen könnte. Gehörlose sollen das Tool künftig auf jedem Gerät mit einer integrierten Kamera nutzen können – auch als App auf dem Smartphone. Als frei zugängliche Software könnte Signs also ein wichtiger Schritt sein, um alle Menschen gleichermaßen am technischen Fortschritt teilhaben zu lassen.

Im digitalen Alltag von körperlich eingeschränkten Menschen können Sprachassistenten schon heute oft eine große Bereicherung sein. Menschen mit einer Sehbehinderung können zum Beispiel am Computer arbeiten und ihr Smartphone nutzen, ohne das Display zu sehen.

Hilf Vodafone, die Welt ein bisschen besser zu machen!

Kennst Du ein Projekt, eine App, ein Gadget oder eine technische Innovation, die wir im Rahmen dieser Reihe unbedingt vorstellen sollten? Dann hinterlasse uns Deinen Kommentar. Vielleicht handelt unsere nächste #Connecting4Good-Story ja davon?

Hier findest Du übrigens weitere spannende featured-Artikel zum Thema #Connecting4Good.

Hast Du weitere Apps und Tools entdeckt, die im digitalen Alltag mehr Barrierefreiheit schaffen? Wir freuen uns auf Deinen Tipp! 

Titelbild: MRM//McCann

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Das könnte Dich auch interessieren