Connecting4Good: Intelligenter Gebärdensprachassistent übersetzt Gesten für Alexa, Cortana und Co.

Sprachas­sis­ten­ten verän­dern, wie wir einkaufen, nach Infor­ma­tio­nen suchen und kom­mu­nizieren. Aber was machen Men­schen mit eingeschränk­tem Hör- und Sprachver­mö­gen? Für sie hat der Ver­band junger Men­schen mit Hör­be­hin­derung e.V. jet­zt den ersten Gebär­den­sprachas­sis­ten­ten vorgestellt. Wie das Tool namens Signs Gehör­losen und Taub­s­tum­men die Inter­ak­tion mit klas­sis­chen Voice Assis­tants ermöglichen soll, liest Du in unser­er Rei­he #Connecting4Good.

Men­schen ohne Hörver­mö­gen sprechen mit den Hän­den. Sprachges­teuerte Assis­ten­ten wie Alexa, Siri und Google Assis­tant ver­ar­beit­en aber bekan­ntlich nur hör­bare Befehle und kön­nen optis­che Gesten nicht ver­ste­hen. Der erste Gebär­den­sprachas­sis­tent Signs soll diese Ver­ständi­gungslücke schließen und Men­schen mit ein­er Hör­be­hin­derung helfen, mit kon­ven­tionellen Sprachas­sis­ten­ten zu kom­mu­nizieren.

Dolmetscher für Gehörlose: Signs vermittelt zwischen Assistenzsystemen

Signs fungiert als eine Art Brück­en­soft­ware, die in Echtzeit deutsche Gebär­den­ze­ichen über­set­zt und für Sprachas­sis­ten­ten ver­ständlich macht. Das Tool erken­nt über eine Kam­era Gesten und kon­vertiert diese in ein Datei-For­mat, das Alexa, Google Assis­tant und Microsoft Cor­tana ver­ste­hen. Die Sprachas­sis­ten­ten ver­ar­beit­en die Dat­en eben­falls in Echtzeit und geben das gewün­schte Feed­back.  Die Antworten über­set­zt der Gebär­den­sprachas­sis­tent dann wiederum für Men­schen in Textform oder in visuelle Zeichen. Die Soft­ware basiert auf einem Machine- Learn­ing-Frame­work, mit dem Signs kon­tinuier­lich neue Gesten dazulernt. Kün­ftig soll es auch andere Gebär­den­sprachen erken­nen und über­set­zen kön­nen.

Mehr Teilhabe und Inklusion im digitalen Alltag

Signs ist das Ergeb­nis ein­er Koop­er­a­tion der Frank­furter Dig­i­ta­la­gen­tur MRM//McCann und der Bun­desju­gend, dem Ver­band junger Men­schen mit Hör­be­hin­derung e.V. In der Inno­va­tion­s­abteilung LAB13 entwick­elte das MRM//M­c­Cann-Team den ersten Pro­to­typen, der die natür­liche Kom­mu­nika­tion von Men­schen unter­stützen soll, die bish­er nur eingeschränkt Zugang zu klas­sis­chen Assis­ten­zsys­te­men haben.

„Das dig­i­tale Zeital­ter birgt riesige Chan­cen für Inklu­sion. Aber es gibt auch zahlre­iche Her­aus­forderun­gen wie beispiel­weise bei Sprachas­sis­ten­ten für Men­schen mit Hör­be­hin­derung“, fasst die Lei­t­erin der Bun­desju­gend, Michelle Mohring, zusam­men.

Ein weiterer Schritt in Richtung digitale Barrierefreiheit

Mar­tin Biela von MRM//McCann ergänzt: „Unser Ziel ist, dass jed­er Men­sch mit Hör­be­hin­derung uneingeschränkt Zugang zu neuesten Tech­nolo­gien hat. Ger­ade jet­zt, wo Sprachas­sis­ten­ten unsere Woh­nun­gen, Autos und die Freizeit­gestal­tung erobern.“

Dieses Ziel haben die Entwick­ler mit ihrem Pro­to­typ noch nicht final erre­icht, aber den Grund­stein für ein Sys­tem gelegt, das zu dig­i­taler Bar­ri­ere­frei­heit und Inklu­sion beitra­gen kön­nte. Gehör­lose sollen das Tool kün­ftig auf jedem Gerät mit ein­er inte­gri­erten Kam­era nutzen kön­nen – auch als App auf dem Smart­phone. Als frei zugängliche Soft­ware kön­nte Signs also ein wichtiger Schritt sein, um alle Men­schen gle­icher­maßen am tech­nis­chen Fortschritt teil­haben zu lassen.

Im dig­i­tal­en All­t­ag von kör­per­lich eingeschränk­ten Men­schen kön­nen Sprachas­sis­ten­ten schon heute oft eine große Bere­icherung sein. Men­schen mit ein­er Sehbe­hin­derung kön­nen zum Beispiel am Com­put­er arbeit­en und ihr Smart­phone nutzen, ohne das Dis­play zu sehen.

Hilf Vodafone, die Welt ein bisschen besser zu machen!

Kennst Du ein Pro­jekt, eine App, ein Gad­get oder eine tech­nis­che Inno­va­tion, die wir im Rah­men dieser Rei­he unbe­d­ingt vorstellen soll­ten? Dann hin­ter­lasse uns Deinen Kom­men­tar. Vielle­icht han­delt unsere näch­ste #Con­nect­ing4­Good-Sto­ry ja davon?

Hier find­est Du übri­gens weit­ere span­nende fea­tured-Artikel zum The­ma #Connecting4Good.

Hast Du weit­ere Apps und Tools ent­deckt, die im dig­i­tal­en All­t­ag mehr Bar­ri­ere­frei­heit schaf­fen? Wir freuen uns auf Deinen Tipp! 

Titelbild: MRM//McCann