高通对虚拟现实和增强现实感兴趣,但对当前技术还不满意。该公司正在开发最新的移动处理器和其他技术,希望让VR和AR可以变得“无拘无束”、并能以更高的分辨率显示图像、使用更好的显示器、让其轻量化和提高节能效果,从而使得我们可以长时间佩戴头显。随着时间的推移,高通希望将所有必要的技术都嵌入到一个更小、更舒适的设备中。
负责实现该愿景的人之一是Tim Leland,高通产品管理副总裁。Venturebeat在旧金山举行的VRX会议上采访了Leland,探讨了高通对虚拟现实、至今为实现高质量无线VR所取得的进步、以及对增强现实的看法。以下是YiVian为大家整理的采访片段:
可以总结一下你在台上分享的内容吗?
高通相信VR正在发生。它会在2017年实现增长,然后不断壮大。随着新技术的发展,尤其是显示技术的发展,VR和AR将最终合并,AR会涵盖VR。如果你想进入VR模式,显示屏可转换成不透明。AR和VR将是同一个设备。我不认为我们会过分担心增强现实、混合现实或融合现实中的术语的连续性。这就是所有一切发展的方向。你会有虚拟对象,你可以放置在这个增强的世界中,并与之进行交互。它们会被正确地锚定。
我们认为AR的未来属于移动,因为这是消费者想要的事情。消费者不想被任何东西束缚。在延迟方面,在运动—光子和光子—光子的延迟方面存在对应用性能的物理限制,但这会得到解决。如果你让渲染系统与惯性或位置追踪系统分离,限制就会出现。你希望这些系统可以紧密耦合,你可以,至少在同一个印刷电路板(PCB)中,但在理想情况下是处于同一个系统单晶片(SOC)。
在未来的产品中,我们将会提高3D图形和多媒体性能,提高能耗效率,所以你不会遇到这么一个情况:必须在视觉质量+缆线和较低视觉质量+无线这两个选项中作出选择。
我见过Facebook和英特尔都在研发他们的无线头显,一体化头显,没有PC电脑。你认为这会发生吗?
我们有大约20个关于以一体化为主要目的的VR头显设计,要在VR头显市场中我们竞争,你必须能够在5瓦或更小的能耗下完成所有必要的处理。我们不认为,在没有针对异常发热问题的解决方案下,主要针对PC构建的这些架构可以引入到拓扑中。我们也不认为你可以得到四或五个小时的续航时间。我们在这方面有很多经验,这是我们通过Daydream和其他头显开发所积累得到的。
你是如何看待一体化头显和智能手机插槽的VR设备。
在一些要求上,一体化头显和智能手机插槽的VR设备之间并无太大不同,很多要求都是一样。我们一直在努力实现六个自由度,运动追踪,由内而外追踪。要发挥其作用,你不会想被任何东西所束缚
我们认为VR的未来是与AR的融合,而这会是移动化。智能手机的定义也会随着时间的推移而变化。所有这些都可以是某种高度集成的移动可穿戴设备。
(高通和微软都宣布你的)骁龙芯片能够运行Windows 10。我想在某个时候,你们关心的不再会是哪个单独的平台,而是兼容所有的平台。VR适合那个更大的策略吗?
我们与微软合作,与Facebook合作,也有与谷歌合作。我们认为将有一些VR云端应用程序,所以你想要能够来回传输云端的数据。你希望本地能处理有特定数量的任务。你会希望机器学习的某些元素在本地执行,而与云端服务对话。
5G时代即将到来,这会是一个很棒的技术,可减少无线客户端和服务器之间的延迟,并增加了上行链路和下行链路带宽的数量,这些设备将生产大量的数据。例如,我们录制了大量的视频数据,并将其发送回去,加上最高为8K分辨率的流媒体内容的下载。集成连接组件、多模式5G连接、以及集成Wi-Fi和Wi-gig技术这样的组合很棒。这与用于显示管理的传感器采样和渲染子系统非常接近。相当多的集成。
你有听(Epic Games创始人)Tim Sweeney的演讲吗?
我有听
我想知道他提到的某些技术在可行性上有几许。他提到单眼显示为8K的奥克利眼镜(Oakley)。
我认为分辨率可以实现。如果你希望它们一次性长时间运行,在主机和PC领域所采用一些强力方法需要改变,以满足这些轻薄化设备的部分要求。一些漂亮的视觉效果,那些你需要花费额外四五瓦功率才能实现的花哨着色效果,需要付出代价。这可能不是正确的决定。我们认为一些中间件,如游戏引擎,将会进化,所以你不会得到像‘嘿,看看这些出色的视觉效果’的体验,但你会有一根缆线连接到一台2000美元的PC上。
我们需要比背包式PC做得更好,因为这并非消费者想要购买的东西。我们需要关注消费者想要购买的产品,也就是超轻薄化的眼镜,让你可以同时使用AR和VR功能。你在AR模式可以获取有趣和有用的数据;你也可以选择进入VR模式,并感受一个优秀的体验:舒适、轻量级、永远无线。
Tim Sweeney提到现在的显示器主要是为智能手机所设计,如果你专为VR开发内容,你可以使用不同的东西来实现高分辨率和低成本。
不仅只是分辨率,色域也是。这跟注视点渲染类似,所以你不必强行通过更多的像素进行渲染。相反,你把渲染处理的重点放在眼睛实际聚焦的地方,在这个宽广的视场中,你聚焦的区域并不大。这就是我所说的,不能仅使用传统的主机和PC渲染方法来处理视觉数据。VR行业必须灵活地实现这一点。我们必须共同努力,使这一切成为现实。
你认同Sweeney关于Metaverse(超元域)的看法吗?
他看过我们的一些图形demo。当我们在骁龙820,Unreal引擎4中展示时,他对在移动平台上可实现的视觉质量感到非常惊讶。
至于Metaverse?对的,我喜欢他所说的比喻。在过去,你需要知道如何编写HTML和各种基本的编码才能创建网页,并把视觉信息发布到互联网。随着时间的推移,该工具集变得更加通用,所以每个人都可以创建自己的网站。当谈到朝向一个单一设备的趋同时,我和他的感觉很接近。很难说虚拟世界的网站的最终形态是什么,但我同意他所谈论的几个概念。
谈到我们即将公布的内容,对于骁龙835,我们做出了一些改进。其中一些在相机子系统中。有些是为了确保我们为客户提供的相机功能解决方案的完整性。例如,在相机子系统中,我们现在支持Zig-zag HDR(HDR:高动态光照渲染),这是一种空间方法,多路复用不同的曝光级别、不同的曝光时间,因此你可以得到这种HDR效果,并通过骁龙处理器在内部进行处理。这可以更好地映射出最高亮度下的阴影。你会得到更好的阴影分辨率。
我们还对支持10位显示器的高动态范围做了一些改进。我们不仅能够以每秒60帧的速度解码4K HDR 10视频,而且我们也可以输出该视频。无需降低到标准动态范围的10位显示器,可以一直保持高动态范围。
我们提高了图形性能。我们一直在努力加快我们的Vulkan性能研发。我们将在骁龙835展示一些优秀的VR demo,我们新的骁龙芯片参考设计会使用高端3D图形和4K HDR视频。我们尚未透露具体的类容,只能说这是一个“新芯片”。
我们对视频编码子系统进行了一些改进,因此我们正在做诸如感知量化这样的事情。我们没有对编码场景中的每个可能的宏块进行统一量化,我们根据的事实是:如果你有这堵墙,你可能会对一些编码工件更敏感,而不是诸如灌木和树木这样的纹理,或者是移动速度非常快的东西。我们在骁龙835的Adreno 540子系统中的新视频编码器采用的是感知量化,而非统一的量化方法。
在模块方面,我们一直与模块制造商合作,预先优化三个不同的模块。其中一个是1600万像素的PDAF传感器,具有出色的光学元件,非常高的图像质量。另一种是双摄像头的单Bayer传感器,用于最大程度的低光摄影。第三种是具有宽视场的光学变焦双摄像机解决方案。你在另一个传感器上有一个望远镜镜片,用于最大缩放。我们还增强了一些缩放框架。我们可以在光学变焦和数码变焦之间来回无缝转换。
我们对电子图像稳定进行了一些改进,这在你进行缩放时尤其有用。我们有新的轨迹算法,可以更准确地采样一些传感器数据,以预测运动和衰减振动。
你认为这些事情会让(Oculus技术总监)约翰·卡马克等人更开心吗?他到目前为止都很挑剔。
我们一直在与卡马克进行对话。总的来说,他在Twitter上说过对骁龙非常有利的言论。我们有兴趣获得他对一些开发工具的反馈,因为他们开始做制作原型产品,并确保他们能在骁龙上获得最好的性能。