Autoría de audio para vídeos inmersivos: la diferencia entre vídeos 360 y RV

Contenido patrocinado

Por Luis Dongo

A pesar de que para muchos, los términos “Realidad Virtual” y “Vídeos 360º” son lo mismo, estas dos experiencias son bastante distintas. En ambos casos es necesario el uso de unas gafas de realidad virtual (HMD por sus iniciales en inglés) o algún dispositivo similar para ver el vídeo, pero tanto la experiencia del usuario como el proceso de producción son muy diferentes. Existe mucha información en línea acerca de este tema, pero para este artículo me gustaría aproximarlo desde la perspectiva de la producción de audio.

Dentro de un programa de realidad virtual, uno tiene control sobre la experiencia. Es posible moverse por los alrededores e interactuar con su entorno, por supuesto dentro de los límites trazados por el videojuego o software. Uno puede ir y venir a diferentes lugares, acercarse a objetos y moverlos de aquí para allá, interactuar con otros personajes, etc. Para permitir esta interacción es necesario el uso de algún tipo de controlador, ya sea una palanca de mando, guantes, armas, entre otros.

Por otro lado, un vídeo inmersivo generalmente proviene en su mayoría de una filmación del mundo real con una cámara multi-ángulo que pueda capturar las imagines tridimensionalmente. Cuando se ve un vídeo 360º uno puede cambiar el ángulo de observación, mirar hacia los alrededores, voltearse de izquierda a derecha o girar la cabeza de arriba hacia abajo dentro de un espacio esférico, pero siempre desde una posición fija.

Mientras que en RV es posible controlar todo lo que ocurre alrededor, en vídeos inmersivos uno es el espectador de lo que un cineasta ha producido. Los vídeos 360º son lineares, es decir que tienen un comienzo y un final predefinidos; mientras que la realidad virtual no requiere de estas restricciones, razón por la cual RV es usado a menudo en videojuegos o en simulaciones.

También es importante mencionar que RV es creado con software de animación, lo que le permite al usuario entrar en un mundo no existente, mientras que los vídeos 360º son creados con imágenes del mundo real. Esto hace posible visitar lugares remotos del planeta o experimentar nuevas aventuras como deportes de acción, conciertos, conducir coches deportivos, o hasta quién sabe, tal vez un día viajar al espacio.

Crear audio para RV es bastante similar a crear audio para un videojuego. La mayoría de los sonidos estarán atribuidos a algún objeto en el mundo virtual que se accionarán – de una manera predefinida – al interactuar con el usuario. Un objeto puede tener asociados muchos archivos de audio diferentes para evitar sonidos repetitivos y así crear la ilusión de realidad. Generalmente se usará un motor de videojuego o un middleware como Wwise, para asignar estos sonidos al objeto.

En contraste, producir audio para un vídeo 360º es otro tipo de proceso, más bien similar al flujo de trabajo de la posproducción tradicional, si bien necesitando a la vez posicionar sonidos a objetos específicos. Como ya mencioné anteriormente, un vídeo 360º es linear, lo que significa que los sonidos siempre serán reproducidos en un punto en el tiempo definido, sin importar la dirección en la que el usuario está viendo. El reto aquí es lograr identificar la dirección de la que está viniendo el sonido, y que esta dirección cambie en relación con el movimiento de cabeza del usuario.

Imagina que estás en el parque paseando a tu perro y que detrás tuyo hay una calle de un solo sentido. Tu perro está ladrando delante de ti y los coches van de derecha a izquierda detrás de tu espalda. Si te das la vuelta para mirar hacia la calle, los coches ahora se mueven de izquierda a derecha delante tuyo y tu perro está ladrando a tus espaldas. El productor no puede anticipar en qué momento tu vas a decidir mover tu cabeza mientras estás viendo el vídeo, así que se tiene que asegurar que cada objeto tenga el sonido correcto en todo momento y que la dirección de procedencia de este sonido se mueva en conjunto con la imagen. Adicionalmente, parámetros como reverberación y volumen también tienen que ser tomados en cuenta. Para lograr esto, el ordenador al que tu dispositivo de reproducción está conectado tendrá que exportar el audio y el vídeo por separado, pero al mismo tiempo sincrónico, y todo esto en tiempo real. Solo ordenadores de altísimo desempeño pueden soportar este tipo de demandas.

La mejor manera de disfrutar una experiencia de realidad virtual o un vídeo inmersivo es haciendo uso de un HMD de alta calidad y un buen par de auriculares. Esto asegurará que el espectador se encuentre realmente inmerso en el mundo virtual. Al mismo tiempo, el ingeniero de sonido también tendrá que usar gafas de RV y auriculares para poder mezclar el audio y para revisar que todo funcione correctamente.

En la actualidad existen muchas herramientas y plugins disponibles para software de audio y de vídeo que posibilita la autoría de audio para vídeos 360º, pero Steinberg Nuendo (y también Cubase) es el primer DAW en incluir todo un paquete de herramientas integradas que permite a los ingenieros de posproducción tradicional realizar este tipo de tareas sin tener que cambiar el flujo de trabajo al que están acostumbrados.

Empezando con un sistema de canales Ambisonics que permiten posicionar sonidos dentro de una esfera inmersiva, Nuendo ofrece un modo de panorama dedicado para asignar sonidos a objetos específicos ubicados dentro de esta esfera. También disponible se encuentra un plugin de HeadTracking que ofrece conexión a diferentes sistemas HMD, como Open VR y Oculus, que permite a ingenieros mezclar y/o prever sus mezclas con gafas de RV y auriculares. Por último, Nuendo incluye un decodificador en la sección de monitoreo que convierte la mezcla de Ambisonics en una señal binaural inmersiva para auriculares compatibles con HRTF o para una configuración inmersiva de altavoces.

RV y los videos a 360 aún se encuentran en pañales, pero en una etapa en la que dispositivos de reproducción se están volviendo más y más populares y la necesidad de crear contenido de alta calidad crece exponencialmente. Y aunque estas dos experiencias sean bastante impresionantes, definitivamente no son iguales, y no solo para el usuario sino también para los creadores de contenido. Y mientras la demanda para este contenido siga creciendo, la eficiencia de las herramientas de producción que se usarán para producirlo tomará un rol mucho más importante en el futuro por venir.