Qualcomm dijo lo que experimentará la humanidad cuando el Snapdragon 845 ingrese al espacio virtual. O cómo no golpear la pared y salir de la ventana con gafas de realidad virtual.
Hugo Swart, director senior de gestión de productos de Qualcomm, es generoso y se felicita a sí mismo (en adelante, sus comentarios están en cursiva).
Hugo esta contento con todo
Imagine cómo se verá el mundo cuando los límites del mundo físico y digital se difuminen gracias a la realidad virtual ilimitada (VR) y la mejora de los objetos existentes a nuestro alrededor (AR).
En la Augmented World Expo a principios de este año, llegamos a la conclusión de que 'XR' es un término nuevo que ya se está utilizando para describir la suma de AR, VR y todo lo demás. XR es un mercado móvil de rápido crecimiento, según TechCrunch, con un mercado combinado de 108.000 millones de dólares para 2021 si se combinan VR y AR.
En reconocimiento de esto, hemos lanzado más de 20 plataformas XR para Head Mounted Display (HMD) y teléfonos inteligentes compatibles con XR para nuestros clientes, y el desarrollo de nuevos conceptos y dispositivos está ocurriendo ahora mismo. Trabajamos en estrecha colaboración con algunas de las empresas relacionadas con XR más influyentes del mundo, incluidas Google HTC Vive y Oculus. También apoyamos Facebook, Samsung, ODG y muchos más. Además, contamos con un programa de Aceleración de la Realidad Virtual y Aceleración de la Fabricación que ayuda a los clientes a comercializar rápidamente con diseños de referencia, ODM calificados y coautores de tecnología.
Lo anterior debería clasificarse como 'para inversores y clientes', pero a principios de este año Qualcomm solo está brindando información y respondiendo preguntas más interesantes.
¿Cómo no meter la cabeza en una pared real mientras estás en un espacio virtual?
Cuando estamos en realidad virtual, nuestro dispositivo debe ser capaz de crear y actualizar un mapa del espacio circundante en tiempo real y al mismo tiempo rastrear su ubicación dentro de él.
Etapa 1: captura de imágenes
Para resolver este problema, el Snapdragon 845 está equipado con un sistema de exploración y navegación de 6 posiciones (6DoF con SLAM). Es imposible nombrar este complejo de dispositivos de otra manera, y el término inglés Room-Scale no es muy adecuado para leerlo en ruso.
Etapa 2: escanear el espacio y construir su mapa 3D
Con el sistema Snapdragon 845 '6DoF con SLAM', verá y evitará obstáculos cuando se acerque demasiado a ellos. También puede calcular el tamaño de una habitación, escanear objetos en ella para evitarlos e integrar objetos del mundo real en su mundo virtual. Si eres 'Trekkie' (una jerga para un fanático de las series de ciencia ficción), notarás cierto parecido con la sala holográfica de la nave espacial Enterprise (holodeck):
Etapa 3: superposición del fondo en los límites físicos del espacio virtual
Qualcomm Snapdragon 845 es capaz de transmitir una imagen a 4 millones de píxeles por ojo. Para comprender el problema, frente a cada ojo habrá un monitor con una resolución de 2560 × 1440 píxeles (3,7 MP). Para implementar esta difícil tarea informática, un procesador central no es suficiente, todas las unidades informáticas, incluida la señalización Qualcomm Spectra 280 ISP y Qualcomm Hexagon 685 DSP, contribuyen al Snapdragon 845.
Etapa 4: aplicación de texturas a los muebles. Puedes sentarte en una piedra y admirar las vistas a la montaña.
Poniendo nuestras manos en el espacio virtual
Para una interacción completa con el entorno virtual, simplemente es necesario que el dispositivo de realidad virtual rastree la posición de nuestras manos, porque es difícil encontrar una mejor versión de los manipuladores virtuales.
Hay muchas tecnologías para resolver este problema, y Qualcomm ha apostado por la cooperación con todas las empresas de desarrollo especializadas, dando preferencia a Leap Motion. El siguiente video muestra la implementación de la interacción manual en un espacio virtual utilizando el ejemplo del programa de capacitación para futuros cardiólogos 'Think F.A.S.T.' Los alumnos están inmersos en un espacio virtual con el que pueden interactuar con sus propias manos. Tenga en cuenta que no hay cables, sensores ni antenas en las manos:
La principal tarea que resuelven los desarrolladores es minimizar los retrasos en el 'reconocimiento' de la máquina de objetos como manos humanas.
Hocus pocus con enfoque
El ojo humano no ve el mundo entero frente a sí mismo con la misma calidad. Más cerca de la periferia de la visión, la imagen siempre se procesa con menor calidad que en el enfoque. Mientras tanto, todas las gafas y cascos de realidad virtual ofrecen la misma calidad de imagen en toda el área de visualización. Qualcomm ha desarrollado e implementado la tecnología 'Adreno Foveation' en el Snapdragon 845.
Su esencia radica en que el dispositivo de realidad virtual rastrea la dirección de la mirada del usuario y construye una imagen en este lugar con el máximo detalle del objeto. Esto libera recursos informáticos y acelera todos los procesos de renderizado. Y hace que el mundo virtual se parezca aún más al real.
Nuevos destinos en XR
La interfaz de voz será importante para la próxima generación de dispositivos XR, especialmente para la realidad aumentada (AR). Las gafas AR pueden tener un módulo de control de voz que funcionará de forma continua, con el reconocimiento de frases clave como 'Hey Snapdragon' para activar las gafas o activar una acción específica. Las futuras gafas de RA podrían utilizar las tecnologías de reconocimiento facial y visión por computadora de Snapdragon junto con una red neuronal entrenada en el dispositivo para identificar a las personas en una habitación. Con esta información, las aplicaciones de gafas AR pueden recomendar acciones o realizar acciones automáticamente, como mostrar información útil sobre las personas en la sala.
La RA también podría transformar las compras y los pagos móviles. Por ejemplo, puede agregar artículos a su carrito de compras simplemente mirándolos y tocando los vasos (o tocándolos con el dedo). Cuando llegue el momento de pagar, las gafas lo identificarán (escanearán su retina) y liberarán fondos para pagar.
Ecos en una habitación diminuta y sensación de amplitud
Un entorno de sonido completo es un requisito previo para sumergirse en el espacio virtual. Desde hace mucho tiempo se ha demostrado que el oído humano percibe señales de sonido con una frecuencia de aproximadamente 16 a 20.000 Hz (vibraciones por segundo), así como el hecho de que, basándose en el sonido recibido, el cerebro es capaz de determinar las dimensiones del espacio, la dirección, etc. El sonido envolvente 100% falso es lo que necesita para sumergirse por completo en el espacio virtual.
Sabiendo esto muy bien, los desarrolladores de Qualcomm en el Snapdragon 845 han implementado un sonido 3D completo, que se somete a un procesamiento especial antes de la reproducción en función de las condiciones y características del entorno virtual.
Si está en una cueva virtual, escuchará las reverberaciones y reflejos de su voz como en una cueva real.
Conclusión
Todos los nuevos conjuntos de chips de Qualcomm, tarde o temprano, terminan en dispositivos de gama alta en áreas relacionadas. Por ejemplo, Snapdragon APQ8064 (600) pasó a llamarse 8065 y se instaló en costosos enrutadores Wi-Fi, Snapdragon 835 se instaló en lentes de realidad aumentada ODG R-8 y 9. El mismo destino le espera a Snapdragon 845. El fabricante ofrece un chipset listo para usar, con muchos incorporados dispositivos y software sofisticado, y el cliente solo necesita desarrollar un diseño y contratar programadores (que puedan usar las herramientas de software de Qualcomm) para crear una interfaz propietaria.
¿Cómo afectará esto a los usuarios de teléfonos inteligentes con Snapdragon 845 a bordo? ¿Aparecerán todos estos nuevos chips virtuales de Qualcomm al iniciar aplicaciones de realidad virtual estándar desde Google Play? Tarde o temprano estas preguntas serán respondidas, pero por ahora propongo discutir cuestiones más importantes. ¿Cómo la realidad virtual masiva y accesible puede cambiar nuestro mundo? ¿Llevar gafas de realidad virtual se convertirá en una condición para cumplir con el código de vestimenta en las grandes empresas? ¿Quién será el primero en ingresar al mundo virtual?