VR Basics: 3D-Sound und warum er Dein VR-Erlebnis noch besser macht

Virtuelle Real­ität hat den Weg in den All­t­ag gefun­den: YouTube bietet 360°-Live-Videos an. Bald erleb­st Du auch Konz­erte, Shows, Serien und Filme haut­nah durch Deine VR-Brille – manche Games sog­ar schon heute. Um die Immer­sion per­fekt zu machen, bedarf es aber auch neuer Soundtech­nolo­gie. Und die nen­nt sich 3D- oder VR-Sound.

Dig­i­tale Umge­bun­gen sind mit­tler­weile so facetten­re­ich wie die echte Welt. Und in dieser kann schon ein Schritt nach vorne oder hin­ten die Akustik – DEINE Akustik – kom­plett verän­dern. Um diesen Aspekt auch auf die virtuelle Welt zu über­tra­gen, sitzen diverse Entwick­ler an 3D-Sound-Lösun­gen, darunter Nvidia, Valve und das Fraun­hofer-Insti­tut.

Motion Sickness: Was hat Virtuelle Realität mit Deinen Ohren zu tun?

Dein Gehirn ist ein kom­plex­er, aber empfind­lich­er Hochleis­tungsrech­n­er. Das zeigt sich ganz deut­lich, wenn Du Dich ein­er VR-Erfahrung hin­gib­st. Die soge­nan­nte VR-Krankheit – ja, das klingt erst­mal stark – resul­tiert vor allem aus der Diskrepanz zwis­chen Sehen und Erleben: Du siehst, dass Du ger­ade durch das Spukhaus von Res­i­dent Evil 7 het­zt und geschleud­ert wirst. Dein Gle­ichgewicht­sor­gan merkt aber nur, dass Du still auf der Couch hockst. Mögliche Fol­gen kön­nen Übelkeit, Unwohl­sein und Schwindel sein.

Aber Abhil­fe ist in Sicht. Mit dem exper­i­mentellen Entrim-4D-Kopfhör­er kann Sam­sung bere­its gegen­s­teuern. Winzige Schwämm­chen am Kopfhör­er liegen hin­ter Deinen Ohren an. Gezielte Stro­mim­pulse – unbe­den­klich, weil schwach – geben Deinem Innenohr die richti­gen Gle­ichgewichtsin­for­ma­tio­nen zu der VR-Umge­bung. Im freien Fall bekommt Dein Gehirn also auch genau das ver­mit­telt. Das kann auf lange Sicht helfen. Es kann aber auch schon reichen, Deinen Kör­p­er auf diese neue Erfahrung schrit­tweise vorzu­bere­it­en, zum Beispiel indem Du jeden Tag ein paar Minuten länger in der VR bleib­st. Mehr über Entrim 4D und andere immer­sive VR-Hard­ware erfährst Du in unserem Artikel Immer­sion 2.0: Diese Tech­nik lässt Dich virtuelle Real­ität spüren.

Sam­sung going to Show­case its Hum On!, Waf­fle and Entrim 4D at SXSW 2016 #sam­sung #humon #waf­fle #entrim4d #sxsw2016 #vir­tu­al­re­al­i­ty #VR #music #mus­i­capp #sxsw2016

Ein Beitrag geteilt von GoAn­droid (@thegoandroid) am 13. Mär 2016 um 14:20 Uhr

3D-Sound: 360°-Immersion in Bild & Ton

Unab­hängig von den Prob­le­men der Motion Sick­ness ist die audi­tive Ebene oft das Zün­glein an der Waage – für oder gegen Immer­sion, sprich eine ganzheitliche Erfahrung. Hast Du eine tolle Grafik, eine tolle Sto­ry, aber einen Sound, der so gar nicht authen­tisch ist, kannst Du Dich nicht „fall­en“ lassen. Bewusst oder unter­be­wusst bemerkst Du diesen Bruch zur realen Welt.

Das Gebi­et der 3D-Sound-Technologie(n) unter­schei­det sich von anderen Soundsys­te­men, vor allem in den Anforderun­gen. Selb­st bei einem Hol­ly­wood-Block­buster mit aufwändi­ger Audio-Bear­beitung geben die Filmemach­er Dir vor, was Du wann zu hören hast. So kann in einem Hor­ro­film von rechts ein bedrohlich­es Geräusch ertö­nen, dann aber links die Schauergestalt auf­tauchen. The­o­retisch gin­ge das natür­lich auch in virtuellen Wel­ten. Aber das Ziel liegt ja zumeist darin, dem Nutzer die Erfahrung des „Ent­deck­ens“ zu über­lassen. Du entschei­dest, wohin Du gehst und schaust. Und mit dieser Frei­heit bedarf es Tech­nolo­gie, die diese Erfahrun­gen auch audi­tiv unter­stützt.

3D-Sound bedeutet also, dass Du beispiel­sweise bei der Live-Über­tra­gung eines Konz­ertes eine authen­tis­che Erfahrung machen kannst, weil Du das gle­iche hörst, wie ein Men­sch, der physisch auf diesem Konz­ert anwe­send ist. Für Videospiele und andere VR-Erfahrun­gen – ani­miert oder gefilmt – bedeutet 3D-Sound, dass sich die audi­tive Ebene an die Umge­bung anpasst. Es macht also kün­ftig auch akustisch einen Unter­schied, ob Du virtuell eine Höh­le erkun­d­est, in ein­er Gum­mizelle liegst oder wie es in den Wald hinein schallt.

3D-Sound für Games: Nvidia & Valve stellen Softwarepaket für Entwickler vor

Bleiben wir bei VR-Games und anderen ani­mierten, virtuellen Wel­ten. Hard- und Soft­ware-Riese Nvidia stellte dies­bezüglich auf der GPU Tech­nol­o­gy Kon­ferenz das VRWorks- Audio-SDK (Soft­ware Devel­op­ment Kit) vor. Entwick­ler sollen dieses Kit nutzen kön­nen, um virtuelle Sound­kulis­sen auf ein neues Lev­el zu heben. VRWorks Audio verortet dazu den Nutzer im virtuellen Raum. Daraus ergeben sich Abstände zu der indi­vidu­ellen Umge­bung. Selb­st das Mate­r­i­al der Wände und Dich umgebende Gegen­stände wer­den in die Berech­nung ein­be­zo­gen. Wie genau das ausse­hen beziehungsweise sich anhören kann, siehst Du in diesem Video.

Quelle: YouTube / NVIDIADeveloper

Auch HTC-Vive-Her­steller Valve möchte Entwick­lern dies­bezüglich neues Rüstzeug an die Hand geben. Mit gle­ichem Ziel vor Augen bietet Valve Entwick­lern mit Steam Audio, Zitat, „fortschrit­tlichen Raumk­lang für Spiele und VR-Anwen­dun­gen.“ Der Vorteil bei diesem SDK ist sicher­lich die Kom­pat­i­bil­ität: Das SDK funk­tion­iert plat­tfor­munab­hängig. Sprich, ob Du nun für Win­dows oder Mac, Android oder gar Lin­ux pro­gram­mierst, ist egal. Das Ergeb­nis bleibt das gle­iche. Das fol­gende Video zeigt ein Beispiel.

Quelle: YouTube / Impulsonic

Orpheus: 3D-Sound aus dem Fraunhofer-Institut

Das bekan­nte Fraun­hofer-Insti­tut forscht per­ma­nent an neuen Lösun­gen und Dateifor­mat­en, die dem Nutzer vol­lkom­men neue Möglichkeit­en eröff­nen. Das Pro­jekt Orpheus ist solch ein Pro­jekt, an dessen Ende aller­lei Neuerun­gen für den Markt ste­hen kön­nten.

Eine davon ist das Dateifor­mat MPEG-H. Dieses 3D-Audio­for­mat funk­tion­iert mit der Prämisse, dass objek­t­basierte 3D-Audio­pro­duk­tio­nen den diversen Objek­ten (also Per­so­n­en, Tieren, Gegen­stän­den) bes­timmte akustis­che Eigen­schaften wie zum Beispiel die Laut­stärke zuord­nen. Für die Stu­dios heißt das, dass sie nun bei VR-Games nicht ein­fach den Ton für 5.1 oder Stereo abmis­chen, son­dern dass die Eigen­schaften fix sind und das Pro­gramm den Ton selb­st­ständig auf die vorhan­de­nen Aus­gabegeräte aufteilt.

Für Dich bedeutet das, dass Du einen Kopfhör­er anschließen kannst, oder auch eine 7.1-Anlage: Die Objek­teigen­schaften der Per­so­n­en, etc. bleiben unverän­dert. Die Verteilung erfol­gt qua­si maßgeschnei­dert auf Dein Endgerät.

Im Ver­gle­ich zu anderen Raumk­lang­for­mat­en, wie zum Beispiel Dol­by Atmos, soll MPEG-H allerd­ings auch bei Live-Über­tra­gung im TV Vorteile bieten. Zum Beispiel ließen sich Kom­men­tar­spuren bei Sportevents gezielt aus­suchen, deren Laut­stärke frei regel­bar wäre.

Während diese TV-Nutzung eine Nachrüs­tung der Geräte erfordert, lässt sich die Nutzung für das Web ein­fach­er real­isieren. Das IRT (Insti­tut für Rund­funk­tech­nolo­gie) hat bere­its eine Browser­erweiterung veröf­fentlicht, die nicht nur MPEG-H ver­ar­beit­en kann, son­dern auch in Verbindung mit dem Smart­phone funk­tion­iert.

We’re work­ing on „Dum­my Head Stereo Reen­act­ment” (lega­cy #bin­au­r­al) and #object­based #audio tests in a radio dra­ma stu­dio at BR pic.twitter.com/MvWqTPDU6D

— OrpheusAudio (@ORPHEUS_AUDIO) 28. Novem­ber 2016

3D-Sound: Die Zukunft der auditiven Unterhaltung?

In manchen Punk­ten ist die 3D-Sound-Tech­nolo­gie der anderen VR-Tech­nik voraus. Sie muss nicht via bre­it­en Wer­bekam­pag­nen schmack­haft gemacht wer­den. Raumk­lang­for­mate wie Dol­by Atmos hörst Du jet­zt schon im Kino – beschw­eren tut sich natür­lich nie­mand über den besseren Sound. Vor allem aber bietet 3D-Sound das let­zte Mosaik­stückchen, um 360°-Livestreaming und voll­w­er­tige VR-Games endlich salon­fähig zu machen. Wir sind der Immer­sion im virtuellen Raum so nah wie nie.

Welche Erfahrun­gen hast Du schon mit 3D-Sound gemacht? Find­est Du die Tech­nik span­nend oder ist Dir das noch zu futur­is­tisch? Wir hören Deine Kom­mentare gerne an. Mit den Augen. Unter dem Artikel.