当人们沉浸在VR视觉的震撼效果中时,很多人似乎都忽略了VR的声音。在VR内容中沉浸感不仅产生于视觉部分,还来源于听觉部分。在腾讯科技与时代拓灵创始人孙学京博士的对话中,孙博士告诉记者,有效利用全景声的VR内容,音频可以占到沉浸感体验的50%。简而言之,声音在VR里尤为重要。
VR内容产业链最上游是拥有原始版权的IP方,最下游是头盔等可显示内容的头显,这中间内容如何产生。正是孙学京博士与其团队正在研究的事情。内容为王的时代,时代拓灵以内容为落脚点切入到VR这个领域,旨在用技术解决VR内容匮乏的问题。这不仅基于其多年以来的技术优势,还来源于创始团队70后成员的文艺情怀。
时代拓灵的英文名字为Twirling in Time,是一首来自凯文.科恩的钢琴曲,意为时光流转,记录声音和过去珍贵的回忆。时代拓灵致力于VR音视频的制作,同时对全景视频和音频发力,尤其是在VR 音频方面填补了国内的空白。
留美博士放弃高薪工作 热爱音乐用声音改造VR
孙学京清楚的记得公司注册日期为2015年5月22日,而他辞职的日期为2015年6月1日。孙博士说,把自己技术方面的经验用到更大的平台上,这是一直以来的想法,创业是需要基因的。
孙学京北大本科以后直读美国西北大学博士,毕业后在美国科技企业从事声音处理前沿算法研究多年,拥有了 90 多篇学术论文和专利技术,期间担任过杜比实验室 Dolby Voice 项目的主要负责人,最大蓝牙芯片厂商 CSR 音频 CVC 套件核心开发人员。
这样一位拥有丰富技术经验的博士放弃掉自己高薪稳定的工作,开始他真正的创业人生。
故事还得从那年北大图书馆前的草坪谈起,那时这是北大学子的圣地,大家聚在一起弹弹吉他,玩摇滚音乐,释放文艺情怀。孙学京回忆起,那个年代是中国摇滚非常繁荣的一段时期,像郑钧,高晓松,唐朝,黑豹都是那时火起来的。作为活跃的音乐爱好者,他曾经为了举办一场摇滚音乐节注册一个社团,最后却因种种原因未能成行。
这种情怀,也就驻扎在孙学京的心里。海外工作13年,每逢春节回到家中,孙学京就会和家人拿起自己擅长的乐器,合奏一曲。他利用自己的技术经验往往将这种珍贵的声音录成环绕声。
在之前的工作中,孙学京也尝试过进行VR项目的内部孵化。这一次他拉上了和他相熟已久的原麦田(微博)守望者乐队主创刘恩。基于对音乐的热爱和文艺的情怀,他们一拍即合,做和声音相关的VR,顺理成章,更是兴趣使然。
团队的三位创始人分别有自己擅长的方面,孙学京拥有丰富的技术经验,刘恩作为娱乐圈的一员,主要做市场部分,另一位创始人张旭,则偏向运营方面。这三人的组合令团队迅速运转起来,从去年5月至今,技术方面的研发和艺术方面的合作如火如荼的开展起来。
孙学京说,像我们这种年龄比较大的人创业,就是要尝试想要做的事情。Follow your heart。
VR除了视觉还有听觉 音频可达沉浸感体验的50%
孙学京说当时刘恩和我们在想音乐能搞点什么,音频是大家关注比较少的一点,但是在VR里音频的重要性得到了极大的提升。像美国做音视频质量较高的公司,音频可以占到沉浸感体验的50%。
虚拟现实里,尤其是全景,如果没有声音,沉浸感就会下降。既然虚拟现实,那么就要模拟现实的百分之百,声音也是非常重要的一部分。
目前孙学京和他的团队致力于全景声和全景视频,主要发力在全景音视频的制作上。 时代拓灵目前拥有自主开发的视频拼接技术、一个可以实时捕获三维环境声音的 360 声场一体录制机,还将推出面向全球的支持批量生产全景音视频内容的云服务。
当然孙学京和他的团队最为突出的还是在音频方面,VR声音制作一般分为两步,一是用声场录制机现场录立体声,类似于同期声。他的团队研发的360 声场一体录制机适用于VR,对声场进行操控,突破了地点的限制,同时还便于携带,这属于内容的入口。
二是做后期处理,把很多轨音拿过来,按照意图方位远近然后用景声渲染引擎加工。每个声音在任何一个时刻,在三维空间里的位置,是需要精确的。用三维就是要描述一个对象在空间里的轨迹,有数据就可以用算法渲染出来。在VR里面还需要得到陀螺仪和头盔,人的头部运动的信息,把这些角度的信息也给渲染工具,根据信息来调整物体的所有位置。
目前一个难点在于VR声音的修改,VR的音频还没有完全的标准化。如何与艺术家合作,怎么让这个道路更顺畅,要定义一个流程。孙学京说,我们是早期的,就得吃这个苦,得去摸索一个路。他表示团队中有自己的算法工程师,同时也有第一批混音师,可以在文件里面改参数,不断打磨流程。追求高品质内容是孙学京团队的目标,但是这将通过与内容方合作来实现。
有录制这一端,也有播放这一端。他们要做的接下来就是一个软件,其实就是播放器。现在这个阶段还没有一个标准,VR声音只能用SDK打包到播放器内播出。并且这种架构不会卡不会顿,优势很大。把SDK规模化,只要符合的格式,都可以用他们团队的渲染引擎去做,最终可发展为深度定制优化。这是一个潜在的赢利点,同时这是孙学京和他的团队今后要探索的路。
除此之外孙学京和他的团队还掌握了自主开发的视频拼接技术,可进行全景视频的制作。他透露他们一整套内容方面的服务已和多家内容制作方在合作中,时代拓灵要争取在一个月内正式上线商用。
VR将成为生活的一部分 市场会验证VR的未来
VR今年很火,但其实在消费者群体里并没有那么普及。时代拓灵做了VR里更细致的一部分——音频。从音频切入,在国内还是比较少见,而国外其实已经有非常多精致的作品运用了全景声音,国内大部分还是立体声,这是非常脱节的。
孙学京说目前他们的团队领先其他团队一段时间,希望未来可以保持技术上的优势。现在的发展情况完全证明了他们当初成立公司的一个预见,VR声音在中国属于稀缺品。他谈到在美国现在普通老百姓对VR的认知程度比较高了,长远来说中国的市场其实足够大。
VR声音这是一个具有前瞻性的东西,最早看全景音乐会就可以体会到一定是这样的形式。孙学京回想起当初对VR声音的判断。VR可能一周消费一次,和传统的东西并存,并且会成为家居和生活的一部分。
VR实际上带来了一个新奇的体验,并且适用面非常广,不同的人有不同的需求,目前的火爆是有一定原因的。孙学京表示市场是对的,现在有很多人在看这个市场,大方向就摆在这里。虽然目前体验尚待提升,但是VR还是有自己的存在价值的。而他们看好此方向,对未来的云服务的想象也是可见的,让所有制作VR内容的人进入这个领域门槛更低。目前面向TO B,而TO C 则可能做平台做社区甚至移动社交,这还是比较遥远的事情。
投身到VR这样一个新的平台上,孙学京说,70后创业和年轻人会差很多,我们会比较稳定,心理上更成熟一些,但是在创业上我们还是新手。目前公司的发展速度已经基本达到预期,而今后孙学京说要在技术上保持领先性,还要积极在VR音视频标准上参与,成为领导者。成为一个主要的服务提供者,这是他们的长期目标。
最后,作为一名70后创业者,孙学京对创业给了一些恳切的意见:
一、年轻人创业是非常好的一件事,现在整体环境非常有利于年轻人创业。他奉劝年轻人不要盲目,不要为了创业而创业。要衡量好自己是个什么样的人,要做的事是不是自己想做的事。
二、同时如果不创业,年轻的时候去跟非常优秀的人合作和学习,有这样的经验将来也会少走很多弯路,如果完全靠创业磨练自己,时间会比较长。
三、创业严格来讲没有什么失败,其实都是一份工作,失败其实得到一个不一样的经验,不要把失败当作一个很大的负担。
孙学京说我们不能预测未来。但是至少目前来说创业对他而言还是一种非常享受的心态。虽然辛苦,每天都在经历比较困难的时候,每天都在想着找钱找人,但是他在做自己喜欢的事情。
年纪大的人和年轻的人创业的差别,也许就是剧情没有那么跌宕起伏,他们用平常心去做这件事。孙学京说创业是一份新的工作,也是他特别热爱的工作。