VR和AR究竟需要什么样的硬件

漫步云端之上2022-06-25 13:00:57

VR 讲究的是沉浸感、交互性和构想性。构想性的关键在内容设计,而沉浸感和交互性的关键在硬件实现。要想实现完美的沉浸式体验,就必须在虚拟世界里去感知真实 世界的景象,而感知世界的最直接的就是视觉。虽然显示技术前进的步伐从未停止(从2D到3D,从1080P到4K),但是目前无论是LTPS,还是 OLED,任何一个显示技术都不能原原本本地还原真实世界的色彩,视频图像的处理及显示技术成为了VR硬件的重中之重。

  以Oculus Rift为例,Oculus Rift“GTX 970/R9 290显卡+8GB内存+OLED 1080P显示屏”的高配置目的就是最大程度解决视频图像的处理及显示技术,还原真实的世界。

  AR 讲究的是现实世界的叠加虚拟世界,实现“虚实结合”,技术实现难度远大于VRAR除了要求解决显示技术(全息投影、透明显示等)外,还要注重感知技术。 因为,AR的感知不仅仅是对人输入信息的感知,还包括对周围环境的感知。AR只有感知周围现实世界,才能将知道虚拟世界的图像应当叠加到现实世界的哪个具体位置。

  以微软Hololens为例,Hololens通过激光雷达、光学摄像头、深度摄像头、惯性传感器等各种传感器获取应用场所的视觉信息、深度信息、自身的加速度和角速度等现实数据,然后通过算法确定用户位置和路面位置,从而地图的构建,并将处理的虚拟数据与探测的现实数据实时结 合,形成动态“虚实结合”的画面。这里面的硬件的关键在于显示和感知,软件的关键在于算法。

  本章将重点分析VR/AR的关键元器件:视频处理芯片、显示屏、传感器件、微投器件。

  (一)VR/AR之芯片:出色的视频处理才能带来极致视觉体验

  1、视频处理芯片在VR/AR扮演关键角色

  大部分VR体验者都会感觉到晕眩,它被认为是VR走向主流的最大障碍。在VR/AR世界里,与传统的视频图像处理技术不同,虚拟现实的视频图像处理是用于近 似还原真实的世界,其对视频图像的渲染要求更为严格,因此对芯片运算能力和图像处理能力的要求更高,当所有的信息以视频化的方式呈现并放大数倍呈现于用户眼前时,数据运算能力与数据传输速度、屏幕刷新率便成为技术实现的重要瓶颈。

  比如说,你将眼睛每秒钟接收的信息数据化,可以想象这是多么大的数据量,这些海量数据又需要实时传输到显示设备,让用户沉浸于VR世界,这需要多大的数据处理能力。而AR需要将虚拟世界的数据与现实世界的数据结合显现,它所需的算法、数据库、应用等等要求比VR要高出一个段位。VR设备工作时,需要将两幅相同的高分辨率图像(一幅图片对应一只眼睛)渲染成90FPS,同时保证电脑和虚拟现实系统之间的延时不超过20毫秒。一般显卡渲染两个1080p场景会非常吃力,再加上FPS和延时要求,一般显卡已经完全不能工作,甚至可以说,目前任何一款显卡都不能完完全全地胜任VR完美体验。因此,视频处理芯片是VR/AR流畅运行的核心保障。

  2、芯片厂商争锋,抢占VR/AR先机

  虚拟现实被认为下一个计算平台,从PC时代的英特尔,到智能手机时代的高通,VR/AR领域或许也将诞生一些重量级的芯片平台。目前各家厂商已经开始抢占VR/AR市场先机,其中以视频处理芯片厂商占据了明显优势。

  NVIDIA&AMD:VR旗舰配置,GPU显卡双王推出VR解决方案

  在VR旗舰产品Oculus Rift显卡配置中,Oculus团队推荐配置Nvidia GTX 970/AMD 290级别或者更高的显卡,该两款显卡都是NVIDIA和AMD各自厂商的高端产品。

  2015年11月份,NVIDIA发布了Gameworks VR(面向游戏开发人员)及DesignWorks VR(面向设计人员)两种VR开发工具。用以降低延时率,加快立体渲染性能,从而提升VR沉浸体验。

  2015 年9月,AMD分拆的图形芯片部门Radeon Technologies Group,重点瞄准了游戏和虚拟现实领域的机会。AMD推出了VR解决方案——LiquidVR,LiquidVR技术包含数据锁定、异步着色引擎、多 GPU异步渲染等全新功能,能够以更低的延迟来实现更优质的画面,提高VR的沉浸体验。

  高通:CPU+新一代GPU,面向VR发力

  2015 年12月,高通发布了Snapdragon 820。该芯片是高通首款定制设计的64位四核CPU,内部集成了新一代GPU(型号为Adreno 530),能够呈现从立体摄像机实时拍摄的高清晰视频,能够识别图片和场景中超过1000种不同的类别,保证虚拟显示头盔内身临其境的体验再一次进化。

  全志科技&瑞芯微:利用视频处理优势图谋VR市场

  2015 年,瑞芯微联合ARM发布了旗下最新款芯片解决方案RK3288芯片,VR开发者可以基于RK3288,搭载ARM Mali T764 GPU,针对安卓系统中所有2D游戏,无需对游戏图形渲染架构进行的修改,用户在体验时只要调用“3D游戏引擎”,RK3288就可以同时计算和渲染左右 双眼的图像并显示出来,达到极好的VR体验。腾讯已经与瑞芯微展开了合作,腾讯miniStation游戏机搭载了RK3288芯片方案,也基于瑞芯微 RK3288方案开发腾讯VR一体机。

  全志科技在VR领域储备已久,偶米科技的首款Uranus one VR一体机全志科技的H8芯片方案。该芯片支持8核心并能够2.0GHz同时高速运行,其4K的解码能力支持高解析度的游戏与视频。

  视频处理芯片在VR/AR中起到关键作用,关乎终端产品的运行流畅性、系统延时性。国内全志科技、瑞芯微在视频处理芯片技术领先,中颖电子正在布局AMOLED驱动芯片,华为正在研发虚拟现实芯片。

  (二)VR之显示:AMOLED破解VR晕眩难题

  1、让你晕眩的VR背后是什么?

  VR导致眩晕的因素之一是延时

  随着VR渐渐兴起,国内外众多厂商纷纷加入VR阵营。体验过VR头显的朋友最深刻的感受就是晕眩甚至恶心、呕吐,它被认为是VR走向主流的最大障碍。

  为什么我们会经历这种感觉呢?简而言之,当用户使用VR头显的时候,全部视野都被VR头显所覆盖,VR也极力欺骗你进入虚拟世界,此时眼前一块屏幕展示的画 面将给你强于普通画面10倍的视觉感受。这种情况下,造成晕眩的因素主要有两大点:一是身体的运动和视野中所观测到的运动不匹配;二是头部运动和视觉观测 到的头部运动的不匹配。而延时恰恰是导致不匹配的主要成因。

  屏幕显示延时是延时主因,而AMOLED显示屏成最佳解决方案

  延时包括屏幕显示延时、计算延时、传输延时以及传感器延时。其中屏幕显示延时是VR设备延时的最主要因素,也即产生眩晕感的最重要因素之一,以Oculus Rift为例,Oculus Rift总延时为19.3ms,其中屏幕显示延时13.3ms,延时占比达到69%。

  降低屏幕显示延时的最简单方法就是提高刷新率,减少帧间延时,AMOLED的响应时间是LCD的千分之一,显示运动画面绝对不会有拖影的现象,恰恰是解决屏幕显示延时的最好解决方案之一。

  此外,VR设备还可以通过降低余晖的方法来减少帧内延时。LCD显示屏的显示原理是通过液晶翻转来选择性透过光线,而液晶翻转的响应时间最快也有2-4ms,而AMOLED每个像素都是主动发光的,可以做到低余晖,进一步降低延时,减少眩晕。

  目前,Oculus Rift CV1和HTC Vive采用了90hz刷新率,而Sony Project Morpheus采用的是120hz刷新率,都是采用AMOLED显示屏。

  2、AMOLED厂商已为VR做好了准备

  AMOLED是有源矩阵有机发光二极体面板,它是自发光,不像LCD显示屏采用了背光源。AMOLED具有更薄更轻、主动发光、无视角问题、高清晰、高亮度、响应快速、能耗低、使用温度范围广、抗震能力强、成本低和可实现柔性显示等优势。

  AMOLED 屏幕主要用于部分高端智能手机上。相比于智能手机、PC、可穿戴电子设备,VR硬件产品出货量尚少,远未进入大众应用市场。以Oculus Rift消费者版、SONY PlayStationVR等为代表的旗舰型产品需要等到明年才推出,预计将带动VR产业进入新的发展阶段。从 AMOLED显示屏的角度来看,目前不仅VR产品出货量少,而且只有高端旗舰型产品才采用AMOLED作为显示屏,大多VR产品仍采用LCD显示屏。但是,随着Oculus、SONY等VR旗舰产品纷纷采用AMOLED,越来越多的VR产品也将采用AMOLED显示屏。

  (三)AR之显示:微投影将虚拟融入现实

  1、微投技术将为AR显示扮演重要角色

  光学式AR和视频式AR是增强现实两种显示实现方式

  AR显示讲究的是虚拟物体与真实世界的混合显示,主要分为光学透视式显示增强现实装置(以下简称“光学式AR”)和视频透视式显示增强现实装置(以下简称“视频式AR”)。它们主要的区别在于真实环境的显示方式,类似于单反相机的光学取景器与电子取景器的区别。

  光 学式AR是把光学融合器放置在用户眼前,该融合器是部分透光的,用来直接获取真实环境的信息,同时部分是反射的,用来由投影仪将虚拟物体投射到融合器上再 反射到用户眼里。光学式AR对真实环境几乎是无损显示,真实场景几乎完整地呈现给用户,所获得的信息可靠全面,但是也使得真实环境与虚拟环境的融合变得困 难,代表产品如google glass和微软的hololens。

  视频式AR是用封闭的视频头盔与两个视频摄像机结合到一起,视频摄像 机为用户获取真实环境的信息,然后将真实环境信息与虚拟物体信息同时合并到显示屏上。视频式AR是通过对真实环境的复现,然后在与虚拟图像进行融合,实现 会容易得多,但真实环境的显示受多种因素干扰而存在一定的失真。

  由 于视频式AR的显示器是由显示屏近眼来实现的,属于沉浸式体验,这与VR的显示屏没有区别,以AMOLED显示屏为优选。再加上,无论此前的Google Glass还是现今的Microsoft HoloLens都是以光学式AR为主流,本节主要讨论光学式AR的显示器件。

  微投影承担着光学式AR的核心显示功能

  光学式AR的显示主要靠投影器件将虚拟物体视频源投射到半透半反的光学棱镜上,进而与真实环境相融合。微投影器件是光学式AR的核心,承担了将虚拟物体叠加到真实环境显示的功能。

  在 消费娱乐领域,光学式AR的先驱Google Glass采用微投影作为显示技术,通过一个微型投影仪加上棱镜来实现,棱镜一方面将微投发出的图像投射到视网膜上,另一方面又将图像叠加到现实场景,展 现在用户面前的是一个叠加图案。而今被寄予厚望的Microsoft HoloLens采用DLP投影技术,采用一个半透玻璃,从侧面DLP投影显示,与Espon的眼镜显示器或Google Glass方案类似。

  此外,在专业的增强现实领域,投影仪也扮演着重要角色。车载抬头显示(HUD)大大改善了汽车驾驶体验,微型投影仪将导航信息直接投射在驾驶者前方,用户无 需转移视线去关注中控平台显示屏上的导航信息,提升了驾驶安全性。飞机抬头显示(HUD)可以将飞行和作战信息提取后,由微型投影仪将影像信息投射到驾驶员前方的玻璃上,提高了飞行安全性和作战能力。

  DLP和LCOS将成为增强现实两种主流微投技术

  投影技术主要包括LCD投影技术(液晶投影机)、DLP投影技术(数字光学处理器投影机)和LCOS投影技术(反射式液晶投影机)。

  LCD投影机利用金属卤素灯或UHP(冷光源)提供外光源,将液晶板作为光的控制层,通过控制系统产生的电信号控制相应像素的液晶,液晶透明度的变化控制了通过液晶的光的强度,产生具有不同灰度层次及颜色的信号,显示输出图像。

  DLP技术由由德州仪器公司研发(专利为德州仪器公司拥有),采用微镜反射投影技术,在投影效果上,亮度和对比度明显提高,体积和重量明显减小。

  LCOS投影机的基本原理与LCD投影机相似,只是LCOS投影机是利用LCOS面板来调变由光源发射出来欲投影至屏幕的光信号。

  DLP投影系统的核心是DMD数字微镜设备芯片,其主要特性是投影效果佳,延迟少。

  一 块DMD通常有多达130万个铰接安装的微镜组成的矩形阵列,每个微镜比头发丝的1/5还小,一个微镜对应一个像素,可以单独调制的,与色序照明同步,以 生成出令人惊艳的显示效果,目前投影像素已从7.5微米降低到5.4微米,亮度从50lm提升到200lm。此外,DLP投影在利用图像追踪用户动作的视 频游戏等应用中,其产生的图像延迟性极低在输入帧率为120hz的情况下显示延迟仅为8.33ms,这也是增强现实视频图像显示亟待解决的问题。DLP投 影的种种特性使之适合于无屏电视显示领域(微投影)和可穿戴显示(沉浸式)领域。德州仪器向微投影市场推出了DLP Pico 0.47英寸TRP全高清1080p芯片组,适用于微投产品和沉浸式显示应用,特点是尺寸更小,更适用于VR/AR应用。

  LCoS属于新型的反射式微型LCD投影技术(体积比LCD投影小得多),其主要特性是功耗低、生产难度低,更适用于移动应用。

  它 是在液晶LCD的基础上改造发展起来的,采用反射式投射,较少了液晶面板中的晶体管电路层阻挡的部分光线,因此光利用效率可达40%以上,远高于LCD投 影的3%,可以大幅节省耗电。此外,LCoS投影还可以利用CMOS制作技术来生产,无需额外的投资,可随半导体制程快速的微细化,逐步提高解析度。因 此,DLP投影和LCoS投影非常适合增强现实的所需要的低功耗、微型化的要求。

  苹果不会放过微投影这个关键角色

  2015年12月,苹果近期获得一项名为“自适应投影仪”的专利。从描述中可以看出,该投影仪上的摄像机能扫描房间、办公司等周遭环境,然后建立空间的数字模型,并检测出能支持图像投射的物面载体。该投影仪可以实现增强现实功能,可以改变用户所看见的场景。

  这种投影仪可作为头戴式设备或者独立装置工作,能将电子书、电影等数字内容投射到真实世界中的物面载体上,可在用户读书时提供和电子书类似的高亮功能,甚至可以提供电子书购买服务,改善生活体验。

  我们暂不能判断苹果将采用何种微投方案,但巨头的布局反映了微投的关键性。

  (四)VR/AR之传感器:人机交互的核心

  1、传感技术是VR/AR人机交互的核心

  无论是VR还是AR,都强调用户的交互性,离不开传感器。传感器就是VR/AR的五官,而且VR要想制造身临其境的感觉,AR要想实现虚拟世界与现实世界无缝衔接,它们都对传感器提出了更高的要求。

  与智能手机等传统智能硬件相比,VR/AR产品的种类众多,大致包含体视觉传感技术、体感识别技术、眼球追踪技术、触觉反馈技术等,它们传感器通过人体动作追踪,对周围位置环境感知,进而对用户形成动作反馈,从而完成用户在视觉、听觉、触觉、嗅觉的全部人体感知体验。

  在VR/AR产品中,除了拥有智能手机里面已经存在的加速度传感器、磁力传感器、光线传感器等普通传感器外,我们应当重视VR/AR中关键的传感器件。

  体感识别:激光雷达、摄像头在位置追踪中扮演重要角色

  体感识别是VR/AR最重要的交互技术。人体动作是用户与设备之间交互的最基础的信息输入方式,设备通过捕捉人体动作的位置,识别人体动作的类型,从而对输 入的信息进行处理,进而对用户反馈输出信息。要实现体感交互,首先需要位置传感器识别用户自身所处的环境,然后需要捕捉用户的动作进行信息反馈。

  提到体感识别与交互,不得不提微软的Kinect、索尼的PS Move、任天堂的Vii,它们都是体感交互产品的先驱。其实现手段主要包括惯性感测、光学感测以及惯性和光学联合感测。

  以 微软的Kinect为例,Kinect系统主要包括转动电机系统、音频采集系统和视频成像系统,通过CMOS红外传感器感知周围环境,形成环境景深图像, 并通过相关指令完成对用户身体某一部位的简单3D模型采集。之后在模型匹配中完成对骨架追踪,从而识别用户所采取相关的交互动作。在微软Kinect的体 感识别与动作捕捉过程中,Kinect的三个摄像头极为关键,一个彩色摄像头提供了彩色图像;两个红外摄像头通过发射/接收红外线,来提供深度数据。

  微软的Kinect的体感识别交互方式是典型的代表,我们认为摄像头是体感识别的重要载体,结合视频图像算法可以实现良好的体感交互功能。很多VR/AR产品都采用摄像头作为体感识别的关键元器件,应当积极关注摄像头厂商在虚拟现实产品的应用。

  Valve 软件公司是一家专门开发电子游戏的公司,也是超强的内容生产商和平台服务提供商。Valve进军虚拟现实领域并开发了SteamVR系统,其最有特色的功 能就是基于Lighthouse激光追踪系统来实现房间追踪。Lighthouse激光追踪率先被应用在HTC和Valve联合推出的Vive虚拟现实头 盔上,该设备集成了44个位置追踪传感器,并且在墙上放置两颗激光传感器,通过激光追踪运动系统获得佩戴者的位置和方向信息,可以再特定环境下准确追踪用 户的移动,其用户的移动空间可达4.5米。

  Oculus Rift DK2内置了很多位置跟踪传感器,原理是在机身前部上集成几个红外灯,发射的红外信号到接收器,接收器安装到显示器上方,或者固定在三脚架上,其空间移动距离1.5米,用户必须处于红外摄像头的可视范围内可以实现实时位置追踪。