您的位置:首页>>业界动态

腾讯优图提出半监督对抗单目深度估计,被人工智能顶级期刊TPAMI收录

发布时间:2019-08-06 09:49:23  来源:智企新闻网    背景:

  作为国内计算机视觉人工智能领域的领先者,腾讯优图实验室团队在单目深度估计上取得了新的研究进展。

  腾讯优图与厦门大学联合团队,共同提出了半监督对抗单目深度估计,有望充分利用海量的无标签数据所蕴含的信息,结合少量有标签数据以半监督的形式对网络进行训练。据悉,该研究成果已被人工智能领域最顶级的国际期刊TPAMI收录。

  长期以来,基于深度卷积神经网络的分类、回归任务大多依赖大量的有标签数据来对网络进行训练。而在实际的算法部署中,往往只有海量的无标签数据以及非常少量的标签数据。如何充分利用这些少量的标签数据,使其达到和大量有标签数据下训练的模型相近的效果,对学术界和工业界来说一直都是一个难题。

  据腾讯优图的研究员介绍,该项研究的核心难点在于,如何从无标签数据中获取监督信息。传统方法一般需要同一场景的图像序列作为输入,通过构建立体几何关系来隐式地对深度进行重建。这种方法要求同一场景至少包含两张以上的图像,一般需要双目摄像头或视频序列才可以满足。腾讯优图与厦门大学联合团队,提出在一个对抗训练的框架中,解除图像对判别器对真假样本必须为同一图像的要求,“真样本对”采用有标签数据的RGB图像以及对应的真实深度图,“伪样本对”采用无标签RGB图像以及用生成器网络预测出的深度图,由判别器网络区分预测出的深度图与对应RGB直接是否符合真实的联合概率分布,进而从无标签数据中收获监督信息。与此同时,通过添加深度图判别器,来约束预测的深度图与真实深度图的分布一致性。该方法输入可以为任意无关联图像,应用场景更加广泛。而从实验结果也发现,当主流的深度估计网络作为一个生成器网络安插在半监督框架中时,都可以收获显著的效果提升。

image.png

  (图1:腾讯优图与厦门大学联合团队提出的半监督对抗框架。图中的生成器网络接收两个判别器网络的反馈来更新自己的网络参数。)

  在研究的量化指标上,利用半监督对抗框架,当有标签数据很少(500张)的情况下,仅使用250张无标签RGB图像就可以收获优于其他state-of-the-art方法的效果。当固定有标签数据量(500张),持续增加无标签RGB图像可以进一步对效果带来提升,最终当利用五万张无标签RGB图像后,该方法在各项指标上都远超当前的state-of-the-art方法。

image.png

  (表1:当有标签数据很少(500张)的情况下,仅使用250张无标签RGB图像就可以收获优于其他SOTA方法的效果。)

image.png

  (图2:当固定有标签数据量(500张),持续增加无标签RGB图像可以进一步对效果带来提升)

image.png

  (图3. 仅使用500张有标签数据训练的模型效果。从左到右依次为RGB图像、真实深度图和优图算法预测的深度图。通过利用额外的无标签RGB数据,优图算法仅使用少量数据就可以达到较好的视觉效果)

  据腾讯优图的研究员介绍,该研究方法虽然以单目深度预测为实验,但过程中发现对于语义分割任务也有相似的效果提升。与此同时,当模型训练与算法部署的环境存在差异时(即存在Domain Shift),若有标签数据为源域中的数据,而无标签数据为算法部署的目标域中的数据,该方法还可以起到Domain Adaptation的效果,提升模型在目标域的部署效果,该观察也在非同源场景下的ReID任务中得到了初步的验证。

  总的来说,该项研究的核心在于充分挖掘无标签样本所蕴含的信息,减少对标签数据的依赖,未来有望在场景重建、非同源场景ReID等多个方案中进行应用。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:智企新闻网

本文评论
头号玩咖参展2019世界VR产业大会 国务院副总理刘鹤莅临指导
2019年10月19日-21日, 2019世界VR产业大会在江西南昌举行。在同期举办的2019 VR/AR产品和应用展览...
日期:10-19
世界VR产业大会开幕 玖的揽获「中国VR50强企业」「VR/AR年度创新奖」两大奖项
10月19日,以“VR让世界更精彩——VR+5G开启感知新时代”为主题的第二届世界VR...
日期:10-19
开发者服务起风了:2019极光开发者大会,聚焦开发价值!
2019年10月19日,“2019极光开发者大会”在深圳召开,数千位互联网公司技术领袖、合作伙...
日期:10-19
华为:希望把VR/AR打造成下个智能手机产业
10月19日消息,2019世界VR产业大会在江西省南昌市举行。华为轮值董事长郭平发表了《打造VR/AR信息高...
日期:10-19
华为云受邀参加2019IDC中国数字化转型年度盛典,“5G+云+AI”助力企业数字转型
2019年10月18日,由IDC中国主办的“2019 IDC数字化转型年度盛典暨第四届中国数字化转型领军用...
日期:10-19
语音识别大拿Daniel Povey正式加入小米,将组团队开发下一代Kaldi
10月19日消息 据小米集团副总裁、小米技术委员会主席@崔宝秋-小米 消息,语音识别大拿Daniel Povey...
日期:10-19
蚂蚁金服共享智能平台打破数据孤岛,荣获“2019CCF 科技进步优秀奖”
10月18日,在2019中国计算机大会上,“蚂蚁金服隐私保护共享智能平台”荣获“CCF科...
日期:10-19
我国研发5款自主产权3D显卡:支持国产处理器及操作系统
   继国产处理器获得突破之后,国产GPU/显卡也取得了重大进展。
日期:10-19
华为开发者大会2020将于明年2月11日在深圳召开
10月19日消息 今日上午,据华为中国官方消息,华为开发者大会2020将于2020年2月11日-12日在深圳召开...
日期:10-19
Digitimes:英特尔将在2020年中发布Xe独显,采用10nm工艺
10月19日消息 根据TPU的报道,接近Digitimes的消息人士透露,英特尔将很快推出其首个10纳米独立显卡...
日期:10-19
AMD有望在11月5日发布新款线程撕裂者和TRX40芯片组
10月19日消息 根据VideoCardz的独家爆料,AMD计划发布三款Threadripper 3000处理器,分别是 3960X,...
日期:10-19
英特尔将于月底推出新款超低压处理器:10nm工艺,3D封装
10月19日消息 根据Notebookcheck的报道,英特尔将于2019年10月23日和24日在加州圣克拉拉的凯悦酒店...
日期:10-19
政企智能转型升级正当时 华为云打造西安智慧产业新高地
10月17日,由华为公司主办的“西安·选择不凡 华为云城市峰会2019”在西安如期举行...
日期:10-19
华为云依托5G+云+AI技术 加速政企转型升级
10月17日,“西安·选择不凡 华为云城市峰会2019”如期在西安举行。西安市市长李明...
日期:10-19
西安航天基地华为云人工智能创新中心正式发布
10月17日,西安·选择不凡 华为云城市峰会2019在西安举行,针对Cloud 2.0时代下的政企上云需...
日期:10-19
人才培养正当时,华为云联合7大高校发布西北鲲鹏人才培养计划
  10月17日,西安·选择不凡 华为云城市峰会2019在西安拉开帷幕,着眼西北地区科技创新发展,华...
日期:10-19
爱奇艺创新CDN系统奇速播荣获中国计算机学会 “CCF科学技术奖科技进步杰出奖”
10月17日-19日,由中国计算机学会(CCF)创办的2019中国计算机大会在苏州举办,爱奇艺融合边缘云的新...
日期:10-19
世界互联网大会开幕,UCloud优刻得展示企业上云新科技
10月18日上午,第六届世界互联网大会“互联网之光”博览会在浙江乌镇拉开帷幕。国家互联...
日期:10-19
Breeno语音“万物互融”丰富覆盖渠道,为开发者提供更多品牌精准客群
10月15日「OnePlus 7T 系列新品发布会」在北京举办。此次发布会除了发布了硬件端旗舰级一加手机,也...
日期:10-18
哈弗H6斩获第76个月销冠,不断刷新SUV市场销量记录
进入2019年下半年后,中国汽车市场发生了微妙的变化,轿车相较2018年依旧呈现下跌态势,而SUV异军突起,...
日期:10-18
  专栏介绍
海露 的专栏
海露发表的文章
积分:
自我介绍 :