12月22日,抖音通过新版本上线的“尬舞机”功能成功登顶app store的免费榜。在此之后,行业内的其他许多产品也推出了类似功能,但是都没有抖音这样风靡全国的效果。除去抖音一年来努力的厚积薄发,“尬舞机”功能中独特的技术也是这项功能在抖音手中大火特火的重要原因。
“尬舞机”研发上的技术支持来自今日头条人工智能实验室(简称AI lab)。对此,抖音产品负责人王晓蔚在接受采访时表示,“尬舞机”功能其实是人体关键点检测技术的应用。依靠这项技术,抖音能够检测到图像中所包含人体的各个关键点的位置,从而实现从用户姿态到目标姿态的准确匹配。
要想做好这个功能,需要解决两个难题。第一,人体的形变范围比较大,受衣服变化、物体遮挡等影响严重,在日常场景下准确地检测人体关键点一直是计算机视觉领域中的一个热点问题。第二个难点是,要实现精准检测,需要耗费高昂的计算资源,无法在手机端实现日常场景应用。由于这两个难点的存在,市面上很多产品的类似功能只能实现半身检测,甚至人脸检测。这样功能的实现效果上会大打折扣,玩法上也会有很多限制。
得益于今日头条AI lab的技术支持。相比于业界流行的自顶向下(Top-Down)的方案, 创意的采用了自底向上(Bottom-Up)的方案。核心是抖音针对移动端设备自研的网络结构,极大地减少计算量,同时让准确率大幅提升,实现了在移动端的实时无损运行。
因其业界领先水平的人体关键点模型,抖音在国内首次在实现效果上,把检测范围扩大到了全身。而对于更简单,也更广泛实用化的人脸关键点检测技术,可以对视频进行实时检测。也积累了很大的人脸库,可以很准确的识别人脸。
今日头条与北京大学共同完成的“互联网信息摘要与机器写稿关键技术及应用”项目获得了吴文俊人工智能技术发明奖。吴文俊奖被外界誉为“中国智能科学科技最高奖”。 而背后有头条AI lab的支持,让抖音开发团队的很多想法有机会落地。也是抖音相对于其他同类产品的优势。正是由于抖音创新的技术水平,精益求精的严苛追求,才让其从市场中脱颖而出,获得了年轻人的喜爱和欢迎。