Holodecks: Estructura sonora

Holodecks es el nombre asignado a un proyecto basado en el estudio de la transformación del sonido a través de diferentes medios, creándose las llamadas estructuras sonoras, transformando el sonido en objetos físicos en 3D, primero a través de un software y posteriormente con su impresión.

El estudio comienza con una aplicación personalizada incluida en openFrameworks,^[1]​ en ella una canción determinada (Zebra) se conecta con la figura creada, la forma de esta figura para visualizar esta conexión con el sonido es la de un disco, asociada con los formatos de almacenamiento de música, cono discos compactos o discos de vinilo. Los datos de audio de la canción desplazan la geometría del disco para crear un eco visual del audio que suena, se crea así una estructura a través del audio, de la música en este caso.

El sonido se transforma, pasando los datos de audio puro, a un software de visualización, para posteriormente visualizarse, es decir, trasladarse del mundo virtual e informático al mundo real a través de una Impresora 3D. Una transformación final se lleva a cabo aumentando la escultura sonora impresa en 3D utilizando un dispositivo móvil para ver otra capa de elementos visuales derivados del audio.

Se trata de una aplicación personalizada hecha usando openFrameworks. El usuario puede cargar un archivo de sonido y la aplicación lo analiza para alcanzar la forma del audio de la composición. Se trata, simplemente, de una especie de ecualizador de audio, que descompone el sonido en una serie de barras que rebotan hacia arriba y hacia abajo con la música.

ofxFFT^[2]​ es un complemento desarrollado para el análisis de audio y permite controlar los valores de sonido que llegan. La aplicación utiliza los valores de audio para generar una malla 3D en tiempo real, que persigue con movimientos en la figura creada, el ritmo del audio, representando lo que podría definirse metafóricamente como el movimiento del sonido.

ofMesh , un programa que crea vértices en espacios 3D, aglomera todas las funciones necesarias para la generación de mallas OpenGL y la posibilidad de exportar mallas en el formato .PLY.

La creación de un prototipo inicial se realiza en el replicador de MakerBot 2. El MakerBot, ha sido una herramienta muy útil para el prototipado rápido con buena calidad, permitiendo así imprimir rápidamente, a la vez que permite probar experimentos en 3D. El proceso de impresión de capas de la MakerBot hace plantear, sin embargo, algunas limitaciones en el diseño 3D. Limitaciones que se dejan ver en el diseño de la estructura, por ello se ha creado una fórmula de escultura sonora más simple para que los objetos siempre crezcan hacia arriba y disminuyan hacia la parte superior, lo que hace que sea fácil de imprimir en el MakerBot. Una vez que las pruebas de prototipos con MakerBot alcanzan las ambiciones establecidas por los creadores, la estructura será pasada a Shapeways para la impresión profesional utilizando los procesos SLS (sinterización selectiva por láser).

Se explora cómo la AR (realidad aumentada) puede interactuar con los objetos impresos anteriormente en 3D, se explora, por lo tanto, la interactuación de la realidad aumentada con la estructura sonora creada. Se puede determinar la poca adaptación de esta realidad aumentada en nuestra rutina, el seguimiento 3D en los dispositivos móviles aún es muy pobre, por ello se ha utilizado la etiqueta de  holodecks como marcador plano 2D, éste se adhiere a la parte inferior de la escultura sonora.

Una aplicación móvil de realidad aumentada construida usando openFrameworks y ofxQCAR fue utilizada para trackear, es decir, para seguir el movimiento del marcador y asignarle un mapa virtual 3D sobre la escultura, sobre lo real. Esta técnica permite crear la sensación de una escultura física audio reactiva, pareciendo que el sonido y la figura están realmente conectados entre sí, ya que cada triángulo cambia el tamaño y el color en respuesta a la música reproducida^[3]​