您的位置:首页>>互联网

虎牙直播发布黑科技AI弹幕 可自动闪避人像

发布时间:2018-11-13 15:44:58  来源:鹰眼新闻    采编:黄静  背景:

  时至今日,我们在观影、追剧、直播时,发弹幕已成为大部分用户的行为习惯。常规弹幕目前实现了弹幕与视频分离,用户可二选一,很好的规避了弹幕满天飞的混沌状态。但在直播、二次元等诸多的场景中,用户更希望在不压缩视频质量的情况下同时享受“看”与“说”。

  “(Dan)幕”这个词源于射击游戏,弹幕网站也源于此, Niconico视频网站是相对较早拥有弹幕功能的网站。随后,弹幕网站凭借共鸣性、易操作性,及人人都能享受的再创作娱乐化与对话语权等特性风靡。

  自动躲避人像的弹幕

  近日,游戏直播平台虎牙发布了AI智能弹幕功能,满足了用户“看”与“说”同时进行的需求,当用户在弹幕设置中选择该功能后,弹幕就会自动躲避人像。也就是说,在直播过程中,用户可以清晰的看到主播的整个脸以及整个轮廓。

  虎牙AI产品总监表示,在“大主播直播间、上电视玩法进行时”等场景下,常常会出现高密度弹幕的现象,高密度弹幕会遮挡住主播,对于希望看到主播的用户来说是一种干扰,而关闭弹幕又让用户无法看到精彩弹幕内容且无法与其他用户进行互动交流。为了改善这种现状,许多视频企业开发出了精简弹幕、半屏显示以及调节弹幕透明度等多种手段,但这些依然不是最完美的解决方案。

  虎牙直播采用背景分割技术,能较好处理人和背景分离,实现智能弹幕。这项功能在虎牙娱乐品类得以实践,而在有效分割了游戏主角和背景方面,虎牙表示后续该功能会继续在游戏品类进行尝试拓展。

  AI智能弹幕背后的那些技术

  虎牙AI技术负责人表示,AI智能弹幕功能背后有两大核心技术,智能识别人像和人像掩码的智能压缩。

  实时端上智能识别人像。实时端上智能人像动态识别的技术原理是利用计算机图像分析、模型理论、人工智能及模式识别技术的非接触性高端模式识别技术,从复杂的图像场景中检测出特征人脸信息,并进行匹配识别的智能分析过程。

  人像掩码的智能压缩。 利用人工智能技术识别出 “人像”区域像素集掩码(mask),把掩码用智能压缩技术 压入视频流,观众端再把掩码跟视频帧同步解压。帧跟掩码一一对应,就可以知道帧中人像的精确位置。

  在专访中,虎牙AI技术负责人还向我们介绍了AI智能弹幕功能的特点:

  1、常规处理弹幕的做法是“离线(Offline)”和云上处理,需要面对的只是识别问题;而虎牙是针对直播进行实时端上处理;

  2、有的网站采用类似PS蒙版技术,采用人工方式为特定视频添加蒙版来模糊弹幕;而虎牙则采用人景分离技术,让人物与场景分离,让弹幕在人物之后,场景之前;

  3、AI智能弹幕与传统直播弹幕相比,在几乎不增加带宽的前提下,把每帧的mask随视频流编码。而常规方法在视频点播的中则需要大量的流量来支撑弹幕传输。

  用“黑科技”营造极致用户体验

  当问及识别、掩码压缩、帧与掩码对应等一系列操作,尤其在直播环境下,运维方面是不是要花费很大精力,也就是说,怎样确保用户体验不受到智能弹幕功能的影响?

  虎牙AI技术负责人这样回答,端上对AI体验最大的影响是计算量。 在虎牙设计AI弹幕功能时,就考虑到了算力受限的问题。故把人像识别,mask编码放在主播端进行实时计算,不会影响到用户的体验。在用户端,仅需要增加计算解码mask和mask掩码生成,计算量非常小。但是涉及到AI背景分割技术,游戏直播中落地的可能性还有待研究。

  当前,AI技术已经在直播行业内容的生产、分发、消费、商业变现等多个关键环节进行尝试和落地。前期主要的贡献在于提升内容分发的效率,未来则会进一步变革直播内容的生产方式,提升生产效率。AI的核心技术包括语音识别、图像识别、自然语言处理,虎牙也会进一步把这些技术落地到直播视频的生产和分发中。

  直播行业发展至今,从“千播大战”到“大浪淘沙”,再到“激烈厮杀”,直播平台签约头部主播从来都不惜重金。经过很长时间争夺,游戏直播市场格局逐渐稳定,AI智能弹幕功能更是为虎牙直播锦上添花。




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:鹰眼新闻

本文评论
灰度认知社曹升:深度!盘点2018年互联网产业十大逻辑
2018年,中国企业赴美国上市创历史新高,中概股高达63只。其中,最引人侧目便是成立仅3年的社交型电...
日期:12-25
广东卫视 | 回顾广东消防40年,科达实战指挥系统智启未来
2018 年12月9日,广东广播电视台新闻频道《聚焦119》栏目报道了改革开放40年以来,广东消防事业立足...
日期:12-25
空间小游戏与QQ玩一玩举办开发者峰会  超级流量助力行业发展
2018年是小游戏的爆发年,游戏开发者以热情争相入局,而社交平台巨头的加码更是让行业呈现出百花齐...
日期:12-25
华为云EI 赋能文化传承,这道“数字中国”赛题邀你来解
日前,以“软件赋能数字经济 创新驱动数字中国”为主题的2019(首届)数字中国创新大赛启动...
日期:12-24
深化教学应用  希沃助力自贡市教仪电教馆举办多媒体应用培训活动
再先进的信息化教学设备,如果老师用不起来也只是摆设。信息技术与教育教学的融合应用难点,既是老...
日期:12-24
圣诞节网购钓鱼诈骗花招多,教你一眼看穿真假https
当你沉浸在圣诞节的狂欢中时,你可曾想过,其实骗子们也等待这一刻许久了。
日期:12-24
拉勾奇妙夜暨2018拉勾年度TOP雇主颁奖盛典完美落幕
12月21日,由中国最大的互联网垂直招聘网站拉勾举办的拉勾奇妙夜暨2018拉勾年度TOP雇主颁奖盛典在北...
日期:12-24
学习巨人理财人生双赢态度  陈文达专注目标永不言弃
实体企业家出身的陈文达深知,不管是什么工作,都要认真对待,真正决定你到达什么位置的是你的眼界...
日期:12-24
日本大津市与途家、NESIC签订旅游合作协议
——推进吸引中国游客,助力地区经济发展
日期:12-24
畅游全世界  新年“惠”不同
随着生活水平的不断提高,出境游已经成为了不少人在长假期间的选择,不论是就近赴日韩俄,还是远度...
日期:12-24
如何优雅薅“羊毛”?Get这招轻松hold住所有信用卡优惠
作为最潮最IN社会人,
  相信大家已经把信用卡优惠用得很溜了,
  但是薅“羊毛&rdq...
日期:12-24
阿尔法蛋机智侠重磅上市 艾淘“A.I.+新零售”助力智能教育普及
在每一次时代变革中,教育都不曾缺席;而在每一轮教育变革中,儿童教育始终是人们关注的焦点。
日期:12-23
互联网行业泡沫退去  谁将剩者为王?
前言:
  行业瞬息万变,浪潮滚滚而来,我们终于要告别2018年,迎来2019年。泡沫退去,谁将...
日期:12-23
冷爱获评“微博2018十大新锐情感大V”
12月22日,微博影响力峰会大幕拉开,在“情感V时代”分论坛上,花镇联合创始人冷爱先生的...
日期:12-23
2018爱奇艺游戏合作伙伴冬季游享会圆满落幕《延禧攻略》等众多IP将被改编为游戏
12月22日,以“IP筑造精品、未来大有可玩”为主题的2018爱奇艺游戏合作伙伴冬季游享会在...
日期:12-23
精品驱动、扬帆海外,网易揽获“游戏十强”六项大奖
2018年12月19日-21日,备受关注的中国游戏产业年会在海口举办。本届盛典同时公布了2018年度中国“...
日期:12-22
为刺激AR游戏开发者,Niantic将提供100万美元奖励
虽然目前AR游戏市场,远不能谈普及,但是当前各个科技巨头、游戏巨头都在积极布局AR Cloud平台,《...
日期:12-22
腾讯第15款短视频上线,这次微信亲自上阵
微信7.0来了,来得如此猝不及防。
  12月21日,周五的傍晚,就在大家纷纷下班的时候,微信在...
日期:12-22
艾媒咨询:中国手机浏览器用户将超7亿  UC浏览器活跃用户占比第一
12月21日,知名第三方数据挖掘和分析机构艾媒咨询(iiMedia Research)发布《2018-2019中国手机浏览器...
日期:12-21
新华网专访恒信东方董事长孟宪民:儿童娱教产业的布局之道
当前,儿童娱乐与教育赛道备受市场青睐,儿童娱教产业发展快速。然而,目前中国市场上能够为儿童同...
日期:12-21