您的位置:首页>>互联网

虎牙直播发布黑科技AI弹幕 可自动闪避人像

发布时间:2018-11-13 15:44:58  来源:鹰眼新闻    采编:黄静  背景:

  时至今日,我们在观影、追剧、直播时,发弹幕已成为大部分用户的行为习惯。常规弹幕目前实现了弹幕与视频分离,用户可二选一,很好的规避了弹幕满天飞的混沌状态。但在直播、二次元等诸多的场景中,用户更希望在不压缩视频质量的情况下同时享受“看”与“说”。

  “(Dan)幕”这个词源于射击游戏,弹幕网站也源于此, Niconico视频网站是相对较早拥有弹幕功能的网站。随后,弹幕网站凭借共鸣性、易操作性,及人人都能享受的再创作娱乐化与对话语权等特性风靡。

  自动躲避人像的弹幕

  近日,游戏直播平台虎牙发布了AI智能弹幕功能,满足了用户“看”与“说”同时进行的需求,当用户在弹幕设置中选择该功能后,弹幕就会自动躲避人像。也就是说,在直播过程中,用户可以清晰的看到主播的整个脸以及整个轮廓。

  虎牙AI产品总监表示,在“大主播直播间、上电视玩法进行时”等场景下,常常会出现高密度弹幕的现象,高密度弹幕会遮挡住主播,对于希望看到主播的用户来说是一种干扰,而关闭弹幕又让用户无法看到精彩弹幕内容且无法与其他用户进行互动交流。为了改善这种现状,许多视频企业开发出了精简弹幕、半屏显示以及调节弹幕透明度等多种手段,但这些依然不是最完美的解决方案。

  虎牙直播采用背景分割技术,能较好处理人和背景分离,实现智能弹幕。这项功能在虎牙娱乐品类得以实践,而在有效分割了游戏主角和背景方面,虎牙表示后续该功能会继续在游戏品类进行尝试拓展。

  AI智能弹幕背后的那些技术

  虎牙AI技术负责人表示,AI智能弹幕功能背后有两大核心技术,智能识别人像和人像掩码的智能压缩。

  实时端上智能识别人像。实时端上智能人像动态识别的技术原理是利用计算机图像分析、模型理论、人工智能及模式识别技术的非接触性高端模式识别技术,从复杂的图像场景中检测出特征人脸信息,并进行匹配识别的智能分析过程。

  人像掩码的智能压缩。 利用人工智能技术识别出 “人像”区域像素集掩码(mask),把掩码用智能压缩技术 压入视频流,观众端再把掩码跟视频帧同步解压。帧跟掩码一一对应,就可以知道帧中人像的精确位置。

  在专访中,虎牙AI技术负责人还向我们介绍了AI智能弹幕功能的特点:

  1、常规处理弹幕的做法是“离线(Offline)”和云上处理,需要面对的只是识别问题;而虎牙是针对直播进行实时端上处理;

  2、有的网站采用类似PS蒙版技术,采用人工方式为特定视频添加蒙版来模糊弹幕;而虎牙则采用人景分离技术,让人物与场景分离,让弹幕在人物之后,场景之前;

  3、AI智能弹幕与传统直播弹幕相比,在几乎不增加带宽的前提下,把每帧的mask随视频流编码。而常规方法在视频点播的中则需要大量的流量来支撑弹幕传输。

  用“黑科技”营造极致用户体验

  当问及识别、掩码压缩、帧与掩码对应等一系列操作,尤其在直播环境下,运维方面是不是要花费很大精力,也就是说,怎样确保用户体验不受到智能弹幕功能的影响?

  虎牙AI技术负责人这样回答,端上对AI体验最大的影响是计算量。 在虎牙设计AI弹幕功能时,就考虑到了算力受限的问题。故把人像识别,mask编码放在主播端进行实时计算,不会影响到用户的体验。在用户端,仅需要增加计算解码mask和mask掩码生成,计算量非常小。但是涉及到AI背景分割技术,游戏直播中落地的可能性还有待研究。

  当前,AI技术已经在直播行业内容的生产、分发、消费、商业变现等多个关键环节进行尝试和落地。前期主要的贡献在于提升内容分发的效率,未来则会进一步变革直播内容的生产方式,提升生产效率。AI的核心技术包括语音识别、图像识别、自然语言处理,虎牙也会进一步把这些技术落地到直播视频的生产和分发中。

  直播行业发展至今,从“千播大战”到“大浪淘沙”,再到“激烈厮杀”,直播平台签约头部主播从来都不惜重金。经过很长时间争夺,游戏直播市场格局逐渐稳定,AI智能弹幕功能更是为虎牙直播锦上添花。




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:鹰眼新闻

本文评论
#我和新浪的故事#霸屏微博话题榜 讨论量超1600万
12月2日,新浪董事长兼CEO、微博董事长曹国伟发起有奖征文,面向网友公开征集#我和新浪的故事#。活...
日期:12-14
网友嫌魅族16th R角太大 黄章:这样做是为了更好的握感
12月13日消息,有网友在魅族社区发帖表示,魅族16th的R角太大,看着整机不够协调,对此魅族科技创始...
日期:12-14
腾讯云数盾、云镜双双荣获WitAwards2018互联网安全年度创新产品大奖
12月12日,互联网安全领域最具影响力的年度峰会之一——FreeBuf互联网安全创新大会(FIT20...
日期:12-13
“三十而立 伴随成长”  金山WPS苹果用户线下欢聚会举行
日前,以“三十而立,伴随成长”为主题的WPS苹果用户线下欢聚会在深圳举行。在成立30周年...
日期:12-13
车轮上的40年—— 从 自行车到“ 自行 ” 车
在1868年11月24日出版的《上海新报》中,报纸的编辑描写了上海街头出现的一桩新奇景象——有...
日期:12-13
2018机械革命壕任性电竞赛战队大招募!
在近一年里,英雄联盟似乎被绝地求生抢了风头,不论从玩家数量还是话题热度上,绝地求生更多的出现在人...
日期:12-13
亚马逊新开40平米迷你无人店  未来或引入机场
12月13日消息,据国外媒体报道,美国电商亚马逊今日宣布推出一种新型的无人收银商店,比标准的Amazo...
日期:12-13
2018年海南“互联网+”创新创业节开幕 四大互联网巨头“链”上海南
12月11日,以“离岸创新、链接自贸”为主题的2018年海南“互联网+”创新创业节...
日期:12-12
腾讯安全:以“安全大脑”为核心构建闭环防御体系 助力医疗行业新发展
随着智慧医疗的兴起,“电子社保卡”、“一卡通”等便民诊疗措施得到应用,&ld...
日期:12-12
创业邦100榜单出炉  斗鱼直播连续三年斩获中国创新成长企业100强
以“突破·变革”为主题的创业邦100未来领袖峰会暨2018创业邦年会于近日在北京国家...
日期:12-12
微博开启2018年度最强盘点
12月11日,2018微博之夜线上投票正式启动。网友可以在事件、流行和人物三个榜单投票,选出心里的201...
日期:12-11
应用宝双12“套鸭”活动火爆开启 玩家爆击1212元免单大奖
本年度最后的购物狂欢盛宴“双十二大促”即将来临,电商平台摩拳擦掌,各大出行、美食、...
日期:12-11
陌陌“糖系营销”引爆GDMS:社交很甜 广告也可以很甜
12月6日,GDMS全球数字营销峰会五周年盛典在上海宝华万豪酒店举行,陌陌广告销售部全国运营总经理刘...
日期:12-11
TMD小巨头的大变局
TMD的格局在2018年末颇具新意。
  近日,印度版今日头条深陷政治风波,今日头条被抨击拥有流...
日期:12-11
社科院发布报告:百度DuerOS提升了人民生活幸福感
更便捷的生活方式,更美好的生活质量,是民众最根本的诉求,也是科技企业在发展过程中创造社会价值...
日期:12-10
社科院:百度风控核心技术保卫网络社会安全
近些年,在移动互联网和科技的驱动下,内容平台进入黄金时代,据统计数据显示,全球信息数据总量目...
日期:12-10
社科院评百度搜索社会价值:打破数据鸿沟 引领人工智能
近日,中国社会科学院社会学研究所发布了《AI如何创造社会价值?2018百度社会价值报告》(...
日期:12-10
社科院报告:百度是一家“全面社会价值”公司
企业业务发展与科技创新能力对于社会价值创造的关系可一言以蔽之:能力越大,责任越大。作为社会经...
日期:12-10
飞宇科技亮相CCTV专题片  诠释科技企业创新精神
导语:改革开放40周年、广西壮族自治区成立60周年之际,CCTV 特别策划大型专题片《壮美广西》正在热播。...
日期:12-10
隔空畅玩“飞机大战” 腾讯音视频实验室上演指尖“戏法”
在许多科幻电影中,主人公凌空操作计算机的场景令人心生向往,而这一对未来科技的憧憬正在成为现实...
日期:12-10