大朋VR作为国内领先的虚拟现实企业,今年又率先推出全球首款可量产的VR一体机,短短两年,业界声望、市场地位持续飙升。除却战略和团队的因素之外,背后理所当然存在不少为其“撑腰”的大咖,其中包括为大朋VR一体机提供AMOLED屏和Exynos 7420处理器的三星公司、技术上合作进行GPU核心算法优化的ARM公司。
2016年3月24日,大朋VR一体机发布会上,ARM全球高级副总裁Dennis Laudick亲自到场站台。他表示,ARM 和大朋 VR 核心团队的合作,对 MaliGPU 做了大量渲染优化。
ARM高管为大朋VR一体机站台
2016年3月17日,三星半导体业务总裁兼总经理Kinam Kim率团访问了大朋VR,并体验了大朋VR一体机。Kim对大朋VR一体机的Launcher和VR游戏表示称赞,对清晰、极低延迟的体验感给与了高度的肯定。
Kinam Kim在体验大朋一体机
大朋VR、三星、ARM三者的关系也经由大朋VR一体机上的合作产生更深入的交集,2016年6月14日,三星中国研究院的院长兼副总裁David Wu、大朋VR 创始人陈朝阳共同出席了深圳ARM技术论坛。David Wu及陈朝阳都认为,移动VR一体机以后的发展规模更大。
大朋VR陈朝阳在ARM技术论坛上
以下为电子发烧友整理的David Wu演讲内容,他简要描述了三星半导体的现状和对VR领域的布局,详细介绍了针对VR推出的Exynos VR系列应用处理器和Samsung Exynos VR解决方案的技术优势:
很高兴有这个机会来跟大家分享三星半导体Exynos Soc在VR方面的一些解决方案。三星半导体大家应该都听说过,但由于三星的业务面比较广泛,所以大家接触最多应该还三星的手机。三星半导体作为三星电子的核心部门,它在业界的地位还是很领先的,这一点从存储器的销售额方面可以反映出来——十几年来三星的销售额一直是排名第二,仅次于Intel。
业务角度上,三星半导体最具优势的是存储器,包括各种存储卡及现在的固态硬盘SSD;但除此之外,在非存储领域即我们所称的“System LSI”,在业界也是很领先的,其中具有代表性的产品有应用处理器(例如Samsung7460)、CMOS Image Sensor等。
三星半导体最独特的优势在于工艺制程,拥有全球首个成功量产的14nm FinFET LP工艺芯片,自有Foundry保障工艺制程和流片产能,也可以做代工。去年三星半导体的总销售额已经超过四百亿美元,成长速度还算不错。
和业界其他半导体厂商不同的是,三星半导体提供一站式芯片供应及解决方案。针对Smartphone我们能够提供很好的处理器、存储器等。
而现在我们进入移动互联网/IoT时代,“Smart”包含的产品除了智能手机、智能手表,还出现了医疗可穿戴设备、智能家居、无人驾驶汽车等等,这时候芯片研发和一站式的解决方案、构建生态系统等都是非常关键的,今天我们就以目前比较火的VR领域为例来进行讨论。
从数据图中可以看到不同硬件设备的销量,从PC到平板再到智能手机,其中智能手机的销量目前是最大的;但是我们也可以发现,VR设备用户数量的增长速度是非常可观的。
目前VR产品有几种形态:台式机VR、基于手机的VR、移动VR设备(一体机)。不同形态VR设备的数据趋势可能会不太一样,但总体上VR的发展还是挺不错的。目前比较主流的媒体报告都认为,移动VR一体机以后的发展规模更大。
我们来回顾一下VR的定义,一般是指利用计算机技术为使用者创造身临其境的用户体验,最基础的是立体显示技术。立体显示技术是包含了立体视觉、透镜、处理、生成、交互以及内容产生的一种综合技术。其中显示交互技术是非常关键的,通过交互技术实现场景的及时反馈。
这些计算技术以前也有,为什么VR现在才突然火起来,很重要的一点原因是半导体工艺的发展,使芯片的集成度增高、计算能力增强,让VR设备的移动化成为可能,一体机这时候开始爆发。
三星半导体针对VR推出Exynos VR系列应用处理器,目前最成熟的、已经开始量产的产品是我们的Exynos VR7,是去年推出的第一款采用14nm FinFET超低功耗制程的产品。今年我们推出了第二代产品Exynos VR8,CPU处理器采用了定制的Mongoose M1,从性能、功耗上都有很大提升。
------◆------
上部分主要讲芯片,那从我们熟悉的角度来看,Samsung Exynos VR的解决方案基本上分为几个层次:
1、H/W Platform开发板
-基于Exynos 处理器的成熟硬件平台,增加VR特性,做相关优化
-AP,WI-FI/BT Audio Codec,Sensor,Charger.。。
-参考整机第一个版本6/E释放
2、BSP Platform
-基于S/Phone的BSP平台增加VR特性的支持,并做相关裁剪
-Exynos7420平台已经在客户中经过检验,持续优化中
3、SDK Platform
-支持客户自主SDK开发
-通过同第三方合作提供整体解决方案
做VR产品有几个关键的要素,也可以说叫做难点。
第一个是虚拟感。要实现虚拟感很重要的一点是低延迟,即随着人的视线变化显示画面要很快的同步刷新。一般要求视野回传的延迟低于20ms,要求更高一点要达到15-16ms。人类对于头部转动和相对应的视野的变化非常敏感,据研究统计,超过20ms就会有明显的画面不同步。而目前常规的架构都不能达到这个要求,包括Android display等。
VR的体验实际上需要复杂的技术处理流程,从传感器采集、传输、游戏引擎处理、驱动硬件渲染画面、液晶像素颜色切换,最后到人眼看到对应的画面,中间经过的每一个步骤都会产生一个Latency(我们称之为延迟)。
第二个重点是低余辉。像素的余晖时间长就会有拖影,低余辉更接近实际的物理世界,目前采用OLED显示屏有很大的优势
第三,VR产品的性能也是很关键的。CPU/GPU的稳定输出是画面稳定的保障,例如今天的主办方ARM的Mali GPU的技术在这方面也是很领先的。正是采用了这些先进技术的GPU,所以产品性能得到了保障;另一方面,散热方案也起到了重要作用。
针对以上几个关键要素,我们来看看Samsung Exynos VR解决方案的技术优势有哪些,谈谈解决和优化。
一、3D/Disliay的优化
刚刚提到,为了减少眩晕感的一个很重要因素就是低延迟,而ARM Mali GPU本身就针对VR做了很多优化。Multi view 技术可以支持双眼立体显示,Ccmtext priority、 AFBC等这些技术都是为了使视野变化时画面可以马上更新。
芯片上,Front Buffer Rendering 使更新的画面经过1帧即可显示,快速触发,强制更新。
二、Sensor优化
Sensor交互技术也是非常关键的。常规的加速器、陀螺仪、磁感应器一个个加,加了之后所有的数据再传输给应用处理器进行处理,但这样处理产生的功耗比较大,也会导致一些误操作,不是很有效。
而Sensor Hub是把几个Sensor集中在一起,本身里面有一个MCU,会做一些前期处理,再将一些有效数据传输到CPU进行处理,这就是提供了一个融合算法。做得比较好的话可以在1MS内完成采样,然后把融合的结果提供到上层的应用处理器去处理。
三、散热技术
VR产品的性能很重要,为了持续稳定的性能,散热技术是很关键的。举个例子,Exynos 7420全速工作时功耗是5W,如果采用热管技术可以做到7W的散热。对内核调频策略做优化,能确保AP更多时间工作在最高性能。
最后总结一下,三星提供的是针对VR产品的整体解决方案,最大好处是能缩短VR产品从启动到量产的时间,产品开发门槛低;技术方面,三星拥有顶尖的硬件/软件技术水平,例如已经量产的Exynos 7、最新的Exynos 8;三星和ARM都是国际性的大公司,在VR项目上也开展了非常紧密的合作,开放、合作的实验室针对中国客户可以提供很好的支持。