您的位置:首页>>互联网

虎牙直播发布黑科技AI弹幕 可自动闪避人像

发布时间:2018-11-13 15:44:58  来源:鹰眼新闻    采编:黄静  背景:

  时至今日,我们在观影、追剧、直播时,发弹幕已成为大部分用户的行为习惯。常规弹幕目前实现了弹幕与视频分离,用户可二选一,很好的规避了弹幕满天飞的混沌状态。但在直播、二次元等诸多的场景中,用户更希望在不压缩视频质量的情况下同时享受“看”与“说”。

  “(Dan)幕”这个词源于射击游戏,弹幕网站也源于此, Niconico视频网站是相对较早拥有弹幕功能的网站。随后,弹幕网站凭借共鸣性、易操作性,及人人都能享受的再创作娱乐化与对话语权等特性风靡。

  自动躲避人像的弹幕

  近日,游戏直播平台虎牙发布了AI智能弹幕功能,满足了用户“看”与“说”同时进行的需求,当用户在弹幕设置中选择该功能后,弹幕就会自动躲避人像。也就是说,在直播过程中,用户可以清晰的看到主播的整个脸以及整个轮廓。

  虎牙AI产品总监表示,在“大主播直播间、上电视玩法进行时”等场景下,常常会出现高密度弹幕的现象,高密度弹幕会遮挡住主播,对于希望看到主播的用户来说是一种干扰,而关闭弹幕又让用户无法看到精彩弹幕内容且无法与其他用户进行互动交流。为了改善这种现状,许多视频企业开发出了精简弹幕、半屏显示以及调节弹幕透明度等多种手段,但这些依然不是最完美的解决方案。

  虎牙直播采用背景分割技术,能较好处理人和背景分离,实现智能弹幕。这项功能在虎牙娱乐品类得以实践,而在有效分割了游戏主角和背景方面,虎牙表示后续该功能会继续在游戏品类进行尝试拓展。

  AI智能弹幕背后的那些技术

  虎牙AI技术负责人表示,AI智能弹幕功能背后有两大核心技术,智能识别人像和人像掩码的智能压缩。

  实时端上智能识别人像。实时端上智能人像动态识别的技术原理是利用计算机图像分析、模型理论、人工智能及模式识别技术的非接触性高端模式识别技术,从复杂的图像场景中检测出特征人脸信息,并进行匹配识别的智能分析过程。

  人像掩码的智能压缩。 利用人工智能技术识别出 “人像”区域像素集掩码(mask),把掩码用智能压缩技术 压入视频流,观众端再把掩码跟视频帧同步解压。帧跟掩码一一对应,就可以知道帧中人像的精确位置。

  在专访中,虎牙AI技术负责人还向我们介绍了AI智能弹幕功能的特点:

  1、常规处理弹幕的做法是“离线(Offline)”和云上处理,需要面对的只是识别问题;而虎牙是针对直播进行实时端上处理;

  2、有的网站采用类似PS蒙版技术,采用人工方式为特定视频添加蒙版来模糊弹幕;而虎牙则采用人景分离技术,让人物与场景分离,让弹幕在人物之后,场景之前;

  3、AI智能弹幕与传统直播弹幕相比,在几乎不增加带宽的前提下,把每帧的mask随视频流编码。而常规方法在视频点播的中则需要大量的流量来支撑弹幕传输。

  用“黑科技”营造极致用户体验

  当问及识别、掩码压缩、帧与掩码对应等一系列操作,尤其在直播环境下,运维方面是不是要花费很大精力,也就是说,怎样确保用户体验不受到智能弹幕功能的影响?

  虎牙AI技术负责人这样回答,端上对AI体验最大的影响是计算量。 在虎牙设计AI弹幕功能时,就考虑到了算力受限的问题。故把人像识别,mask编码放在主播端进行实时计算,不会影响到用户的体验。在用户端,仅需要增加计算解码mask和mask掩码生成,计算量非常小。但是涉及到AI背景分割技术,游戏直播中落地的可能性还有待研究。

  当前,AI技术已经在直播行业内容的生产、分发、消费、商业变现等多个关键环节进行尝试和落地。前期主要的贡献在于提升内容分发的效率,未来则会进一步变革直播内容的生产方式,提升生产效率。AI的核心技术包括语音识别、图像识别、自然语言处理,虎牙也会进一步把这些技术落地到直播视频的生产和分发中。

  直播行业发展至今,从“千播大战”到“大浪淘沙”,再到“激烈厮杀”,直播平台签约头部主播从来都不惜重金。经过很长时间争夺,游戏直播市场格局逐渐稳定,AI智能弹幕功能更是为虎牙直播锦上添花。




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:鹰眼新闻

本文评论
汉仪字库出品,OPPO发布最新品牌字体OPPO Sans!
2019年4月10日,OPPO发布了他们全新的影像新旗舰机型OPPO Reno,而随之共同亮相的则是OPPO全新的品...
日期:04-10
超越想象 富士施乐数字印刷创新应用亮相广印展
(2019年4月9日,北京)今天,第四届中国(广东)国际印刷技术展览会(以下简称“广印展”)在...
日期:04-10
Black Hat Asia 2019 | 芯片安全依然会“融毁”百度安全披露最新Meltdown攻击变种
世界上有没有一种安全漏洞,广泛存在于各种电子设备之中,破坏力极强并且难以被修复?2018年1月,Goo...
日期:04-10
走路也能做公益 轻松筹小程序推出捐步数献爱心功能
近日,轻松筹小程序上线了“走路行善”的功能,用户可通过行走兑换爱心券,为大病患者贡...
日期:04-10
朋友圈广告@好友功能被吐槽?你可能被误导了
微信每当有新动作都会引发热议。
  昨晚,“微信广告助手”公众号发布文章,官宣...
日期:04-09
民歌嘹亮修路忙!趣头条扶贫广告带你聆听“镇巴好声音”
4月9日,“趣头条脱贫攻坚战暖阳行动”新发布了一支由陕南民歌贯穿始终的扶贫广告片&mdas...
日期:04-09
制版技术可达2倍 爱司凯AURORA 256强势登场
在《印刷业“十三五”时期发展规划》中提出了“绿色化、数字化、智能化、融合化&rdq...
日期:04-09
创维3月出货量再创第一,408全球电视节掀起焕新热潮
4月8日,创维408全球电视节盛大开启,多款创维自主研发的OLED系列产品全渠道开售,变色龙AI独立画质...
日期:04-09
韩国商用5G反馈:5G真的很快!但信号不稳定?
韩国三大电商正式推出了5G商用网络,用户只需要购买一台5G手机,并且在平台注册登记,即可体验5G的...
日期:04-09
日媒评价5G试运营:网速很快 信号太弱
“5G 肯定比 4G 网络要快,但前提是你能找到信号。”周五,韩国三大运营商 SK Telecom、K...
日期:04-08
爱奇艺《青春有你》收官,新一代青年励志团体UNINE正式走向市场
由爱奇艺打造的中国首档青年励志综艺《青春有你》4月6日正式迎来收官。经过历时长达3个多月的系统性...
日期:04-07
承担春晚208亿红包互动,百度首度揭晓技术全过程
  今天,有一群程序员像往常一样穿梭在西二旗的地铁,不一样的是他们在奔赴一场大咖分享、硬通货十足...
日期:04-05
爱奇艺《青春有你》践行大众公益责任 节目热度引发全球十余国家用户关注
由爱奇艺打造的国内首档青年励志综艺《青春有你》本周五即将迎来精彩合作舞台,训练生与导师、教练互选...
日期:04-04
百度安全亮相Black Hat Asia 2019:当云端深度学习模型失去“黑盒保护”
摘要:在3月26日-29日于新加坡召开的Black Hat Asia 2019上,来自百度安全对于深度神经网络(DNN)模...
日期:04-03
“抢大PING”刷爆朋友圈,网友:苏宁又有啥神操作?
电视剧《都挺好》虽已落幕,但苏大强的故事却余音绕梁。入住女儿明玉豪宅之后,苏大强百般新鲜,却...
日期:04-03
小度车载OS赋能福特全新车型 百度副总裁李震宇:百度要成为福特的“王炸”
中国上海,2019年4月3日,福特中国正式发布与百度在车联网领域首个合作项目——智行信息...
日期:04-03
工业爆炸、森林失火频发,5G 和无人驾驶能做什么?
3月21日,盐城响水化工厂爆炸,已致78人遇难。
  3月31日,昆山工厂发生爆炸,7死5伤,令人...
日期:04-03
大数据时代,你的隐私谁来保护?快快网络给你答案!
又一起重大数据泄露事件在互联网界内敲起了安全警钟... ...
日期:04-03
微软提供Win10 V1809 Build 17763.379
早些时候我们提到微软认为 Windows 10 Version 1809 版已经趋于稳定因此决定面向企业级分支用户推出...
日期:04-02
ZoomEye BE正式上线,知道创宇全面助力企业资产安全管理
ZoomEye作为全世界网络空间测绘的先行者,从诞生起,近十年来一直引领着行业方向,并为信息安全从业...
日期:04-01