您的位置:首页>>业界动态

图普科技:如何用TensorFlow实现物体检测的像素级分类

发布时间:2018-04-16 16:00:13  来源:互联网   编辑:张宏伟  背景:

  TensorFlow 的「物体检测 API」有了一个新功能,它能根据目标对象的像素位置来确定该对象的像素。换句话来说,TensorFlow 的物体检测从原来的图像级别成功上升到了像素级别。

  使用 TensorFlow 的「物体检测 API」图片中的物体进行识别,最后的结果是图片中一个个将不同物体框起来的方框。最近,这个「物体检测 API」有了一个新功能,它能根据目标对象的像素位置确定该对象的像素,实现物体的像素分类。

云图片

TensorFlow 的物体检测 API 模型——Mask-RCNN

  实例分割

  「实例分割」是物体检测的延伸,它能让我们在普通的物体检测的基础上获取关于该对象更加精确、全面的信息。

  在什么情况下我们才需要这样精确的信息呢?

  • 无人驾驶汽车

  为了确保安全,无人驾驶汽车需要精确定位道路上其他车辆和行人。

  • 机器人系统

  机器人在连接两个部件时,如果知道这两个部件的确切位置,那么机器人的操作就会更加高效、准确。

  「实例分割」的方法有很多,TensorFlow 进行「实例分割」使用的是 Mask RCNN 算法。

  Mask R-CNN 算法概述

云图片

Mask RCNN 算法架构

  在介绍 Mask RCNN 之前,我们先来认识一下 Faster R-CNN。

  Faster-RCNN 是一个用于物体检测的算法,它被分为两个阶段:第一阶段被称为「候选区域生成网络」(RPN),即生成候选物体的边框;第二阶段本质上是 Fast R-CNN 算法,即利用 RolPool 从每个候选边框获取对象特征,并执行分类和边框回归。这两个阶段所使用的特征可以共享,以更快地获得图像推算结果。

  Faster R-CNN 对每个候选对象都有两个输出,一个是分类标签,另一个是对象边框。而 Mask-RCNN 就是在 Faster R-CNN 的两个输出的基础上,添加一个掩码的输出,该掩码是一个表示对象在边框中像素的二元掩码。但是这个新添加的掩码输出与原来的分类和边框输出不同,它需要物体更加精细的空间布局和位置信息。因此,Mask R-CNN 需要使用「全卷积神经网络」(FCN)。

  「全卷积神经网络」是「语义分割」中十分常见的算法,它利用了不同区块的卷积和池化层,首先将一张图片解压至它原本大小的三十二分之一,然后在这种粒度水平下进行预测分类,最后使用向上采样和反卷积层将图片还原到原来的尺寸。

  因此,Mask RCNN 可以说是将 Faster RCNN 和「全卷积神经网络」这两个网络合并起来,形成的一个庞大的网络架构。

  实操 Mask-RCNN

  • 图片测试

  你可以利用 TensorFlow 网站上的共享代码来对 Mask RCNN 进行图片测试。以下是测试结果:

云图片

Mask RCNN on Kites Image

  • 视频测试

  最有意思的是用 YouTube 视频来测试这个模型。从 YouTube 上下载几条视频,开始了视频测试。

  视频测试的主要步骤:

  1. 使用 VideoFileClip 功能从视频中提取出每个帧;

  2. 使用 fl_image 功能对视频中截取的每张图片进行物体检测,然后用修改后的视频图片替换原本的视频图片;

  3. 最后,将修改后的视频图像合并成一个新的视频。

  Mask RCNN 的深入研究

  下一步的探索包括:

  • 测试一个精确度更高的模型,观察两次测试结果的区别;
  • 使用 TensorFlow 的物体检测 API 在定制的数据集上对 Mask RCNN 进行测试。




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

  声明:本文仅为传递更多网络信息,不代表ITBear观点和意见,仅供参考了解,更不能作为投资使用依据。


返回网站首页 本文来源:互联网

美团的下一步动作 继续融资还是IPO?
近期,多家媒体报道“美团启动新一轮30亿美元私募融资,估值400亿美元...
日期:04-16
图普科技:如何用TensorFlow实现物体检测的像素级分类
TensorFlow 的「物体检测 API」有了一个新功能,它能根据目标对象的像素位置来确定该对象的像素。
日期:04-16
亮相互联网+峰会 永辉打造科技零售企业
 4月12日,互联网+数字经济领域规模最大的高端峰会—2018中国“互联网+”数字经济峰会在重庆召开。
日期:04-16
年轻就要秀出自己  OPPO R15星空紫特别版预约开启
上周,OPPO正式公布了 R15星空紫特别版,打动了大批追求个性、时尚的年轻人。而在今日,OPPO官微正...
日期:04-16
听看唱玩一体化,酷狗超级k歌机开创娱乐新时代
音乐是生活的调味剂,随着科技的发展,人们对音乐的各种需求也越来越多。酷狗作为国内最受欢迎的在...
日期:04-16
互联网公司爱上刷墙,盘点农村刷墙标语哪家强?
早在2015年,阿里巴巴集团创始人马云就自豪地宣称,阿里在农村潜力巨大;小米科技公司创始人雷军也在...
日期:04-16
你的Apple Watch电池鼓包吗?苹果将免费维修
具体来说, Sport、Nike +、Hermès 和 Edition 系列的 42mm 机型都在保修范围之内,Series 1、Series 3 和所有38mm 型号不在保修范围内。
日期:04-16
苹果小米华为无线充电器 2018 相继上线,各品牌的无线充选哪个好?
自从去年苹果发布了 iPhone8/8 Plus 和 iPhone X 均支持无线充电,并发布了无线充电板AirPower 之后...
日期:04-16
iPhone X新配色偷跑:看起来如何?
看样子,今年新一代iPhone X必然会推出新的配色啊,iPhone 8、8 Plus上的那种金色如何?
日期:04-16
努比亚红魔手机邀请函到 竟然是空投箱
4月19日,努比亚即将在北京召开新品发布会,正式发布首款游戏手机——努比亚红魔游戏手机...
日期:04-16
最烧流量行为血泪史,你中枪了吗?
导语:还我500块流量费
  小伙伴们每个月大概要用多少手机流量呢?是直接包几个G的流量包,还...
日期:04-16
品质生活优先享受 滴滴X有品用出行赋予生活新质感
近期,一款“加班侠必测“的H5因对加班一族的真实还原而大火于网络。繁忙加班后是泡面打...
日期:04-16
“2018 Unreal Open Day 虚幻引擎技术开放日”Epic Games演讲主题曝光
今年5月23日及24日,年度盛会“2018 Unreal Open Day虚幻引擎技术开放日”将与全国的开发...
日期:04-16
广交会速递:海信2017年海外业绩创新高,同比增长22.3%
4月15日,在有着外贸“晴雨表”之称的第123届春季广交会上,国内知名家电巨头海信携旗下...
日期:04-16
黑鲨游戏手机又火了!Miss用它直播吃鸡,引来百万粉丝围观
近些年,智能手机市场的发展几乎都在围绕传统的功能点塑造产品。这样一来,手机的同质化日趋严重不...
日期:04-16
小米6X外观公布:后置指纹+纵向双摄
小米此前已经发公布,4月25日将在武汉举办发布会,发布新机小米6X。尽管距离新品亮相还有一段时间,...
日期:04-16
电竞究竟算不算体育,二者的矛盾到底在哪里?
在最近的一场发布会上,亚洲电子体育协会主席霍启刚将电子竞技概念纳入了电子体育,作为电竞的官方...
日期:04-16
AMD宣布与法拉利车队达成一项为期多年的合作
2018年4月14日,美国加州圣克拉拉讯 — AMD (NASDAQ: AMD) 在上海举办的F1中国大奖赛上宣布与...
日期:04-16
暗示强大拍照性能? 魅族15系列发布会邀请函开箱
下周日,也就是4月22号晚,魅族15系列发布会将会在乌镇互联网国际会展中心召开。现在,我们也收到了...
日期:04-16
CDN峰会:云端智度智能融合CDN助力业务体验升级
4月11日-12日,2018亚太CDN峰会隆重举行,众多行业龙头及三大运营商等上下游企业一起,探讨CDN行业...
日期:04-16