AR/VR技术那些事

735 2017-09-05

AR/VR概要

 

AR/VR出世已经有些日子了,相信大家或多或少都对其有一定的了解,AR/VR应用得最多的就是在显示设备上了,不多说我们直奔主题吧。

 

AR/VR区别

 

AR:增强现实(Augmented Reality,简称AR)

 

它通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

 

AR=真实世界 + 数字化信息

 

微信图片_20170905140247.jpg

 

VR:虚拟现实(Virtual Reality,简称VR)

 

是利用电脑模拟产生一个三维空间的虚拟世界,提供使用者关于视觉、听觉、触觉等感官的模拟,让使用者如同身历其境一般,可以及时、没有限制地观察三度空间内的事物。

 

VR=虚拟世界

 

微信图片_20170905140637.jpg

 

 

AR显示方式

AR共有3种显示方式,从距离眼睛近到远分别为头戴式(head-attached)、手持式(hand-held)、空间展示(spatial)。

 

 手持式(hand-held)

 

即用手机或任何移动终端的摄像头获取现实世界的图像,并在移动终端的现实世界图片、视频中叠加虚拟信息。当前基于手机端的AR游戏、大量的AR卡均是采取这种形式。手持式的呈现方式由于门槛低,大量简单的AR呈现可以采取这种方式,手持式采取显示原理与下文中的“视频式”相同。

 

当然,还有另外如透明手持式AR展示设备(opticalsee-through hand-held devices)等,由于当前并不常见,在此不做赘述。

 

 空间展示(Spatial)

 

只要是通过非手持、非头戴的AR展示,我们在此都归类为Spatial,包括用显示器展示AR、演唱会、商业展示、博物馆、游乐园等通过AR技术进行公共的虚拟形象的展示,或以其他屏幕呈现增强现实信息。

 

可穿戴式(head-attached)

 

需要通过佩戴AR眼镜类设备进行呈现。可以分为如下几种:

 

①光场显示或其他视网膜显示技术(Retinal Displays):

 

技术原理在于设备将虚拟光线直接投射进用户的视网膜上,从而形成以假乱真的效果。优点在于视角广、亮度高、画面好等。光场式被称为AR显示的终极形式。

 

不需要屏幕做载体,通过光场呈现物体全方位深度的图像,从而实现用户观察近景或远景均可以实现不同景深的切换。

 

该显示技术是最为仿真视觉呈现原理的一种显示技术。目前,Magic Leap宣称采用光导纤维投影仪这套方案。 

 

②头戴式显示技术(Head-Mounted Displays):

 

视频式:这种显示方式原理为设备通过外置的摄像头获取真实世界的信息,并根据机器视觉等技术同时叠加虚拟信息,使得用户通过配置在用户眼前的AMOLED屏等显示屏幕看到的真实世界和虚拟叠加信息。在视频式的显示技术中,用户看到的均为从设备摄像头所获取的图像,也就是说真实世界的光源是通过设备的摄像头,再通过设备的屏幕呈现给用户的。

 

这种显示技术的优点在于沉浸感,因此受外界的干扰比较少,以当前的情况来看,视频式的呈现方式与VR头显是一脉相承的,市场角也比Hololens等AR眼镜大。但缺点在于,分辨率比光源直接来自真实世界要低,且若屏幕产生一定程度的延迟将导致眩晕。这种显示方式本质为视频式的显示技术,我们认为当前的VR头盔、手持终端如手机等均可以采取这种技术方便地融入AR功能。

 

光学式:这种显示技术的原理在于,用户通过人眼前的透镜看到真实世界,而计算机生成的虚拟信息则通过一系列的光学系统投射入人眼中,从而实现在真实世界的光源下叠加虚拟信息的效果。这种显示技术的优点在于真实世界的信息真实、分辨率高、相对轻便,缺点在于虚拟信息的显示效果容易受环境光源强弱的变化。再者,根据我们对Hololens等AR眼镜的体验,当前的视场角还尚未达到VR设备的那种大视场角体验。

 

 

AR应用领域

 

广告媒体领域

教育领域

工业领域

医疗领域

旅游领域

电子商务领域

建筑领域

互动娱乐领域

 

 

VR核心部件、厂商

 

VR主控芯片平台:

1、高通骁龙820;

2、联发科Helio x30;

3、三星Exynos8890;

4、意法半导体STM32微控制器;

5、瑞芯微Rockchip RK3288;

6、全志科技H8/A80;

7、盈方电子定制化VR芯片;

8、炬芯(S900VR / V500);

9、英特尔CherryTrail平台(Z8350/Z8700);

10、NVIDIA(Tegra K1);

......

 

AMOLED显示屏:三星、LGD、Sony、JDI、京东方、和辉光电、天马、维信诺、华星光电、国显光电、信利、友达光电......

 

3D/摄像头:Gopro、Wearality、Zeiss、Canon、Nikon、Largan......

 

微投影器件生产商:TI、3M、美光、苹果、晶景光电(水晶光电)、长江力伟(长江通信)......

 

传感器生产商:Kinect、PS Move、Vii中颖电子、华为、PrimeSense(被苹果收购)、Softkinetic(被索尼收购)、Lumedyne(被谷歌收购)......

 

九轴传感器:ST、德州仪器、InvenSense、Bosch、Leap Motion......

 

语言识别:科大讯飞、百度、云知声......

 

定位器:HonHai、HTC、Pegatron、Flex、Jelbi、诺伊藤......

 

Memory(DRAM SSD):美光、三星、SK海力士、东芝......

 

 

详解十大主控芯片平台

 

1、高通晓龙820

作为业内最为知名的芯片供应商,高通的芯片无疑是最被热捧的。

 

微信图片_20170905141219.jpg

 

骁龙820采用了高通自主设计的64位架构,采用了四个Kryo核心,最高主频2.2GHz,使用三星14nm FinFET工艺生产,支持快速充电3.0技术,搭载的图形处理芯片为Adreno 530,DSP数字信号处理器为Hexagon 680,在影像处理能力上采用了全新的Spectra 14-bit双ISP处理器,最高能够支持2800万像素/30fps,吞吐量可以达到1.2GPix/sec(每秒12亿像素)。

 

骁龙820支持双通道内存LPDDR4-1866,支持eMMC 5.1、UFS2.0(Gear3)、SD 3.0(UH S-I),支持USB 3.0输入输出,并且支持通用贷款压缩技术。

 

骁龙820处理器基带芯片参数:820继续强势领跑,搭载全新的X12 LTE调制解调器,采用了WTR3925第四代LTE多模收发器,支持全球频段,支持全频段的TDD-LTE和FDD-LTE,支持WCDMA (DB-DC-HSDPA/DC-HSUPA)、TD-SCDMA、CDMA 1x/EVDO以及GSM/EDGE,支持LTE Cat.12,下载最高速度600Mbps、支持LTE Cat.13,上传速度最高达150Mbps,并且搭配WTR3950收发器还可以支持未授权频谱上的LTE-U。

 

骁龙820处理器无线网络参数:骁龙820搭载了高通VIVE 802.11ac,支持三频段Wi-Fi,支持高通夏天推出的2X2 MU-MIMO(多用户多入多出)技术。

 

2、联发科Helio x30

Helio X30在2016年年中正式发布,规格方面除了继续十核心(六个A72加四个A53),还会将内存从LPDDR3升级到支持LPDDR4,并加入高速存储标准UFS。官方消息称,“Helio X30”会改为10nm制程,由台积电操刀。

 

微信图片_20170905141334.jpg

 

Helio X30配备了四颗应对重度任务的Cortex-A72核心(主频为2.5GHz)。此外,它还配备了两颗主频为2.0GHz的Cortex-A72核心、两颗主频为1.5GHz的Cortex-A53核心和两颗主频为1.0GHz的Cortex-A35核心。同时,Helio X30还将整合ARM最新的Mali-T880显卡。Helio X30还会通过插入手机的方式,支持2K×2K分辨率的VR虚拟现实技术。

 

3、三星Exynos8890

三星在官网正式发布新一代旗舰处理器Exynos 8890,14mm FinFET LPP工艺制造,八核心big.LITTLE架构设计,首次采用四个自主定制的大核心(代号“猫鼬”Mongoose)+四个Cortex A53小核心,算是半自主架构。相比上一代Exynos 7420,性能提升30%以上,功耗降低10%。

 

8008.jpg

 

GPU方面是绝对的亮点,和华为麒麟950一样选择了Mali-T880,但后缀是“MP12”,开了12个核心(完整16个),性能自然有大幅度提升。相比之下,麒麟950只有4个核心。与上一代Mali-T760 GPU相比,Mali-T880性能提高1.8倍、能效提升40%。原生10位色差支持高保真4K显示,完全支持当前和下一代API。基带方面与骁龙820一样,支持Cat.12/Cat.13标准,理论下载速度提升到600Mbps,上传150Mbps。

 

xynos 8890是三星首次自主设计GPU架构的芯片,拥有四个Mongoose自主架构大核心、四个A53公版架构小核心,虽然这样的成绩并不低,但似乎Mali-T880 MP12这样的表现显然不太正常,基本上也就是和上代Mali-T760 MP12差不多,可能是并未优化到位。

 

4、意法半导体STM32微控制器

据说三星的虚拟现实设备Gear VR采用的主控芯片正是意法半导体的微控制器32F401 A5009V0 TW 435,也就是STM32F4系列的STM32 32-bit ARM Cortex-M4微控制单元。

 

基于ARM Cortex-M4的STM32F4系列MCU采用了意法半导体的NVM工艺和ART加速器,在高达180 MHz的工作频率下通过闪存执行时其处理性能达到225 DMIPS/608 CoreMark,这是迄今所有基于Cortex-M内核的微控制器产品所达到的最高基准测试分数。

 

由于采用了动态功耗调整功能,通过闪存执行时的电流消耗范围为STM32F410的89 μA/MHz到STM32F439的260 μA/MHz。

 

STM32F4系列包括八条互相兼容的数字信号控制器(DSC)产品线,是MCU实时控制功能与DSP信号处理功能的完美结合体:

 

微信图片_20170905141738.jpg

 

高级系列

STM32F469/479 – 180 MHz CPU/225 DMIPS,高达2 MB的双区闪存,带SDRAM和QSPI接口,Chrom-ART Accelerator?、LCD-TFT控制器和MPI-DSI接口

 

STM32F429/439 – 180 MHz CPU/225 DMIPS,高达2MB的双区闪存,具有SDRAM接口,Chrom-ART Accelerator?和LCD-TFT控制器

 

STM32F427/437 – 180 MHz CPU/225 DMIPS,高达2 MB的双区闪存,具有SDRAM接口、Chrom-ART Accelerator?、串行音频接口,性能更高,静态功耗更低

 

基础系列

STM32F446 – 180 MHz/225 DMIPS,高达512 KB的Flash,具有Dual Quad SPI和SDRAM接口

 

STM32F407/417 – 168 MHz CPU/210 DMIPS,高达1MB的Flash,增加了以太网MAC和照相机接口

 

STM32F405/415 – 168 MHz CPU/210 DMIPS,高达1MB的Flash、具有先进连接功能和加密功能

 

基本型系列

STM32F411 – 100 MHz CPU/125 DMIPS,具有卓越的功率效率,更大的SRAM和新型智能DMA,优化了数据批处理的功耗(采用批采集模式的动态效率系列)

 

STM32F410 – 100 MHzCPU/125 DMIPS,为卓越的功率效率性能设立了新的里程碑(停机模式下89 μA/MHz和6 μA),采用新型智能DMA,优化了数据批处理的功耗(采用批采集模式的动态效率?系列),配备真随机数发生器、低功耗定时器和DAC

 

STM32F401 – 84 MHz CPU/105 DMIPS,尺寸最小、成本最低的解决方案,具有卓越的功耗效率(动态效率系列)

 

5、瑞芯微Rockchip RK3288/RK3399

在去年的CES上,瑞芯微正式推出基于RK3288芯片的VR解决方案。

 

微信图片_20170905141909.jpg

 

详细参数

工艺:低漏电,高性能28nmHKMG 工艺

CPU:超强四核Cortex-A17,频率高达1.8GHz

GPU:ARM Mali-T764 GPU,支持TE,ASTC,AFBC 技术

图像处理:支持OpenGLES1.1/2.0/3.0,Open VG1.1,OpenCL,DirectX11

内嵌高性能2D 加速硬件

支持4K H.264 和 10bits H.265视频解码,1080P 多格式视频解码

1080P 视频编码,支持H.264,VP8 和MVC

图像增强处理

 

硬件提升低功耗下显示效果

显示: 最高支持3840X2160分辨率显示,以及HDMI2.0

安全:硬件安全系统,支持HDCP 2.X

内存:双通道DRAM 控制器,64 bits 存储接口

支持DDR3L,LPDDR2,LPDDR3

接口:内嵌13M ISP 及 MIPI-CSI 接口

 

丰富的外围接口支持

RK3399的CPU采用big.LITTLE大小核架构,双Cortex-A72大核+四Cortex-A53小核结构,对整数、浮点、内存等作了大幅优化,在整体性能、功耗及核心面积三个方面都具革命性提升。

 

RK3399的GPU采用四核ARM新一代高端图像处理器Mali-T860,集成更多带宽压缩技术:如智能迭加、ASTC、本地像素存储等,还支持更多的图形和计算接口,总体性能比上一代提升45%。

 

 

6、全志科技H8/A80

全志科技在VR领域储备已久,偶米科技的首款Uranus one VR一体机采用全志科技的H8芯片方案。全志H8八核基于台积电最新领先的28纳米制造工艺,采用8个ARM Cortex-A7内核,支持8核心同时2.0GHz高速运行,同时搭配Imagination 旗下强劲的PowerVR SGX544 图像处理架构, 工作频率可达700M左右。 

 

多媒体方面, H8支持多格式1080p@60fps视频编解码,支持H.265/HEVC视频处理,集成8M ISP图像信号处理架构,可支持800万像素摄像头。显示方面,H8支持HDMI 1080p@60fps显示,支持HDCP V1.2协议,支持HDMI CEC。此外,H8集成了全志新一代丽色显示技术,图像显示质量进一步提升。事实上,H8芯片最早是应用于电视盒子。

 

微信图片_20170905142906.jpg

微信图片_20170905142900.jpg

微信图片_20170905142912.jpg

 

睿悦信息在2015年底推出的Nibiru基于Nibiru VR ROM的VR一体机产品采用了全志A80芯片作为CPU。

 

微信图片_20170905143205.jpg

微信图片_20170905143211.jpg

微信图片_20170905143216.jpg

 

  • CPU型号:全志A80 Octa

CPU型号:全志A80 Octa

CPU架构:ARM Cortex-A15[2]  R4P0(A15R4P0是A15的2014最新改进版本,性能提升,功耗降低,解决先前版本的固件Bug)[3]  & ARM Cortex-A7 withbig.LITTLE(HMP架构可以使8个CPU核心同时运行)

CPU频率:2016MHz

CPU核心:八核心

GPU芯片:ImaginationPowerVR G6230

制造工艺:28纳米

支持内存:DDR3 / LPDDR3(2GB或以上)

封装:1.8cm×1.8cm(约)

无线网络:2.4GHz / 5GHz Wi-Fi

蓝牙:支持,蓝牙4.0

摄像头:最大1600万像素

最大支持分辨率:4K(3显示屏)

视频输出:HDMI 1.4

视频格式:支持H.265等格式

音频解码芯片:AC100

电源管理:CoolFlex

接口:以太网、串口、Camera、USB3.0 OTG、2×USB2.0、HDMI、GPIO等

能够支持的最新系统:Android 4.4.2、Windows RT 8.1、Chrome OS,etc

 

7、盈方电子定制化VR芯片

2015年11月9日,腾讯miniStation微游戏机发布,经拆解后发现主芯片上醒目地印有两个Logo:Tencent、INFOTM。

 

微信图片_20170905143831.jpg

 

其中INFOTM是“上海盈方微电子”的公司的英文名称,这是一家专业集成电路设计公司,专注于移动互联网终端应用处理器芯片的研发。典型应用为平板电脑、智能手机、相机及摄像头等;同时它也为合作方提供集成度高的涉及系统、软件、芯片的综合解决方案。

 

如此看来,这块定制芯片应该就是腾讯委托盈方微电子设计、加工而成,然后双方在芯片上共同留有Logo,形成双品牌。

 

这颗定制的芯片的基本信息和功能:

 

内部采用高性能128位的处理器,据称不同于目前主流的64位处理器,在数据处理方面执行效率更高;所以可以实现超低延迟的数据处理。

 

可并行处理多通道多媒体数据,包括音频、视频和互动数据。

 

采用了先进的图像处理和传输技术;这些应该都是实现超高无线跨屏传输的重要技术。

 

针对VR技术进行了专门的算法优化。

 

        也不排除盈方微电子的定制化芯片的成功将带动该公司逐渐推出通用产品面向广大VR厂商销售的情况。

 

8、炬力/炬芯(S900VR / V700/V500)

炬芯也很早就杀入这块市场,最开始是与哆哚合作,但是产品却迟迟没有量产,所以整体延缓了进度。

 

目前炬芯针对VR市场主要有S900VR、V700和V500。

 

9、英特尔CherryTrail平台(Z8350/Z8700)

在依托于主机和PC的VR设备市场,英特尔有很大的优势。不过在便携式VR一体机市场,英特尔方案用的人则相对较少。而且有用的主要也是其14nm的CherryTrail平台。

 

比如,暴风于去年11月发布的魔王一体机采用的就是英特尔Z8700四核。今年年初曝光的3Glasses W1同样也是CherryTrail平台的四核。

 

不过即便是14nm的英特尔CherryTrail平台,用在VR上,发热也还是很感人的。特别是对于性能较强的Z8700来说。

 

或许正是由于发热的原因,所以亿道旗下的亿境VR一体机选择了CherryTrail平台的Z8350四核。

 

10、NVIDIA(Tegra K1)

虽然NVIDIA已经退出了手机市场,但是其移动处理器产品线依然存在,而且还活跃在掌机市场,比如NVIDIA自己推的SHIELD游戏机。

 

虽然Tegra K1早在2014年就发布了,但其依然是NVIDIA目前最高阶的移动处理器。对于做显卡出身的NVIDIA来说,Tegra K1在图形处理器能力上非常的强悍。

 

Tegra K1一共有两个版本,一款是基于Cortex-A15架构的32位四核心版本,最高主频为2.3GHz;另一款则是基于64位ARMv8架构的双核丹佛(Denver)CPU核心,最高主频可达2.5GHz。这两款处理器均搭载了192核心的开普勒GPU,支持基于DirectX11.1的虚幻4游戏引擎,能让移动设备实现PC级的游戏特效。

 

基于Tegra K1强悍的图形处理能力,已有一些国产VR一体机厂商选择采用Tegra K1方案(Cortex-A15四核版)。比如Idealens VR一体机以及掌阅旗下的星轮Viulux VR-X一体机。

 

 

VR核心技术

 

1)实时三维计算机图形

 

相比较而言,利用计算机模型产生图形图像并不是太难的事情。如果有足够准确的模型,又有足够的时间,我们就可以生成不同光照条件下各种物体的精确图像,但是这里的关键是实时。例如在飞行模拟系统中,图像的刷新相当重要,同时对图像质量的要求也很高,再加上非常复杂的虚拟环境,问题就变得相当困难。

 

2)虚拟场景显示技术

 

人看周围的世界时,由于两只眼睛的位置不同,得到的图像略有不同,这些图像在脑子里融合起来,就形成了一个关于周围世界的整体景象,这个景象中包括了距离远近的信息。当然,距离信息也可以通过其他方法获得,例如眼睛焦距的远近、物体大小的比较等。

 

在VR系统中,双目立体视觉起了很大作用。用户的两只眼睛看到的不同图像是分别产生的,显示在不同的显示器上。有的系统采用单个显示器,但用户带上特殊的眼镜后,一只眼睛只能看到奇数帧图像,另一只眼睛只能看到偶数帧图像,奇、偶帧之间的不同也就是视差就产生了立体感。

 

用户(头、眼)的跟踪:在人造环境中,每个物体相对于系统的坐标系都有一个位置与姿态,而用户也是如此。用户看到的景象是由用户的位置和头(眼)的方向来确定的。

 

3)头部追踪技术

 

在传统的计算机图形技术中,视场的改变是通过鼠标或键盘来实现的,用户的视觉系统和运动感知系统是分离的,而利用头部跟踪来改变图像的视角,用户的视觉系统和运动感知系统之间就可以联系起来,感觉更逼真。

 

另一个优点是,用户不仅可以通过双目立体视觉去认识环境,而且可以通过头部的运动去观察环境,这样当我们在现实世界中移动,虚拟现实世界中的我们也就能同样地移动。

 

当我们向左看,头部追踪技术能够识别这一动作,这时硬件就会即时渲染出左边的场景,这样,我们往左看就能看到左边的场景,往右看则能看到右边的场景,而不会发生场景跟着我们移动的意外。

 

4)眼球追踪技术

 

其实,即使是手机VR盒子,都具备上述的几个关键硬件技术(手机通过陀螺仪模拟头部追踪),但眼球追踪,在VR领域中还算是比较稀有的玩意。

 

眼球跟踪技术是通过追踪我们的瞳孔实现的,

眼球跟踪技术是通过追踪我们的瞳孔实现的,算法能够根据我们注视的景物来变换景深,从而带来更出色的沉浸体验。

 

比如,伸出一只手指举在眼前,当我们注视着它时,手指前方的景物便会变得模糊,而当我们注视背景,手指又会变得模糊,这正是景深不同带来的变化。眼球追踪技术能够知道我们在看哪里,从而模拟景深的变化,让体验更加出色。

 

提起VR领域最重要的技术,眼球追踪技术绝对值得被从业者们密切关注。Oculus创始人帕尔默•拉奇就曾称其为“VR的心脏”,因为它对于人眼位置的检测,能够为当前所处视角提供最佳的3D效果,使VR头显呈现出的图像更自然,延迟更小,这都能大大增加可玩性。

 

同时,由于眼球追踪技术可以获知人眼的真实注视点,从而得到虚拟物体上视点位置的景深。所以,眼球追踪技术被大部分VR从业者认为将成为解决虚拟现实头盔眩晕病问题的一个重要技术突破。

 

5)声音技术

 

人能够很好地判定声源的方向。在水平方向上,我们靠声音的相位差及强度的差别来确定声音的方向,因为声音到达两只耳朵的时间或距离有所不同。

 

常见的立体声效果就是靠左右耳听到在不同位置录制的不同声音来实现的,所以会有一种方向感。现实生活里,当头部转动时,听到的声音的方向就会改变。但目前在VR系统中,声音的方向与用户头部的运动无关。

 

6)感觉反馈技术

 

在一个VR系统中,用户可以看到一个虚拟的杯子。你可以设法去抓住它,但是你的手没有真正接触杯子的感觉,并有可能穿过虚拟杯子的“表面”,而这在现实生活中是不可能的。解决这一问题的常用装置是在手套内层安装一些可以振动的触点来模拟触觉。

 

7)语音技术

 

在VR系统中,语音的输入输出也很重要。这就要求虚拟环境能听懂人的语言,并能与人实时交互。而让计算机识别人的语音是相当困难的,因为语音信号和自然语言信号有其“多边性”和复杂性。

 

8)手势跟踪技术

 

使用手势跟踪作为交互可以分为两种方式:第一种是使用光学跟踪,第二种是将传感器戴在手上的数据手套。

 

光学跟踪的优势在于使用门槛低,场景灵活,用户不需要在手上穿脱设备,未来在一体化移动VR头显上直接集成光学手部跟踪用作移动场景的交互方式是一件很可行的事情。但是其缺点在于视场受局限,以及使用手势跟踪会比较累而且不直观,没有反馈。这需要良好的交互设计才能弥补。

 

数据手套,一般在手套上集成了惯性传感器来跟踪用户的手指乃至整个手臂的运动。它的优势在于没有视场限制,而且完全可以在设备上集成反馈机制(比如震动,按钮和触摸)。

 

它的缺陷在于使用门槛较高:用户需要穿脱设备,而且作为一个外设其使用场景还是受局限:就好比说在很多移动场景中不太可能使用鼠标。

 

不过这些问题都没有技术上的绝对门槛,完全可以想象类似于指环这样的高度集成和简化的数据手套在未来的VR产业中出现,用户可以随身携带随时使用。

 

 

目前VR技术难点

 

VR虚拟现实的理想状态是让使用者如同身临其境一般,可以及时、没有限制地观察三度空间内的事物,但目前我们的技术还并没有完全达到,那么虚拟现实VR技术还存在哪些技术难点需要攻克呢?

 

1)大范围多目标精确实时定位

 

当前,虚拟现实产品的定位主要依靠Light House来完成。Light House包括红外发射装置和红外接收装置。

 

红外发射装置沿着水平和垂直两个方向高速扫描特定空间,在头盔和手柄上均布有不少于3个红外接收器,且头盔(手柄)上所有的红外接收器之间的相对位置保持不变。

 

当红外激光扫过头盔或手柄上的红外接收器时,接收器会立即响应。根据多个红外接收器之间的响应时间差,不仅可以计算出头盔(手柄)的空间位置信息还能得出姿态角度信息。

 

目前虚拟现实产品

目前虚拟现实产品只能工作于一个独立的空旷房间中,障碍物会阻挡红外光的传播。而大范围、复杂场景中的定位技术仍需突破。多目标定位对于多人同时参与的应用场景至关重要。

 

当前的虚拟现实系统主要为个人提供沉浸式体验,例如单个士兵作战训练。当多个士兵同时参与时,彼此希望看见队友,从而到达一种更真实的群体作战训练,这不仅需要对多个目标进行定位,还需要实现多个目标的数据共享。

 

2)“沉浸体验”和“真实感”的平衡

 

沉浸体验常被作为衡量虚拟现实好坏的一个重要指标,然而在当前的技术条件下,沉浸体验却成了另一个衡量指标——画面“真实感”(即清晰度)的“天敌”。想要画面变得更真实,就需要高清晰度来支持,如果清晰度提高了,那么画面就会离人眼更远,从而降低沉浸体验。

 

之所以会如此,主要是因为屏幕分辨率的限制。我们可以理解为,离屏幕越近,颗粒感越强,而颗粒感,通过透镜放大后进一步明显,从而使得人眼获取的实境比较模糊。如果分辨率没有高到一定程度,就无法解决这个难题。

 

3)屏幕刷新率

 

刷新率,就是显卡将显示信号输出刷新的速度,比如60Hz就是每秒钟显卡向显示器输出60次信号,刷新率是由显示器决定的,刷新率越高画面延迟就越低。

 

120HZ的屏幕刷新率是保证VR画面接近于现实的最低要求,当前手机屏幕的刷新率基本还停留在60HZ水平,PC显示器可以满足。

 

同时,刷新率的提升,会对芯片的计算、功耗造成很大压力, 这对设备的硬件提出了更高要求。

 

4)眩晕感和人眼疲劳

 

目前,虚拟现实体验上的最大问题就是眩晕感。体验者在适应全新的感官环境时,可能会出现类似晕车的状况。虽然一些研究人员表示在虚拟影像中添加一个鼻部图像,可能会帮助体验者更好地适应,但目前尚未得到虚拟现实设备及软件厂商的支持。

 

虽然一些高端设备在不同程度上解决了眩晕感的问题,

虽然一些高端设备在不同程度上解决了眩晕感的问题,但因体验者自身身体状况、适应能力的影响,还是无法完全避免眩晕感的产生,目前所有在售的虚拟现实产品都存在导致佩戴者眩晕和人眼疲劳的问题,其耐受时间与虚拟现实画面内容有关,且因人而异,一般耐受时间为5~20min,对于画面过度平缓的VR内容,部分人群可以耐受数小时。

 

5)更丰富的感知

 

视觉是人体最重要、最复杂、信息量最大的传感器。人类大部分行为的执行都需要依赖视觉,例如日常的避障、捉取、识图等。但视觉并不是人类的唯一的感知通道。虚拟现实所创造的模拟环境不应仅仅局限于视觉刺激,还应包括其他的感知,例如触觉、嗅觉等。

 

6)视频编辑缝合效果

 

谈到虚拟现实,最近几年VR视频编辑也是大火。单单从拍摄的角度来说,VR视频拍摄与传统拍摄最大区别就是在于后期的工作,传统拍摄后期只有2~3个环节,就是剪辑,渲染加一些效果沉淀,虚拟现实全景拍摄制作的环节除了传统环节之外,更重要的是缝合的技术。

 

移动和固定的机位最大的不同就是固定的机位缝合的时候都是固定的机位缝合一遍之后,缝完第一帧之后都是固定机位,复制到以后的时间就可以了,但是移动的机位每一时每一刻甚至于每一帧都是不同的,都需要去缝合的。

 

虽然现在市面上一些制作者或者公司用的缝合技术都是通过国外比较成熟的软件来实现,但是这些软件缝合的效果也是有瓶颈的,还有使用者使用这些软件的一些使用经验也会影响到缝合的最终效果。

 

当然我们也有一些手段去处理这个问题,但是不管如何处理,多多少少都会有一些痕迹在里面。

 

虽然目前虚拟现实技术的发展还不够成熟,存在着许多争议,但随着时间的推移,这一切都会有所改观。虚拟现实技术将会成为一种重要的新媒介、新的平台,无论是对于游戏还是社交,亦或是其他更多领域。

 

 

VR应用领域

 

VR技术的应用领域:

 

游戏领域

影视娱乐领域

工业制造和产品设计领域

军事训练领域

教育培训领域

医疗保健领域

 

 

 

 

 

商城科技公众号.png