您的位置:首页>>业界动态

图普科技:如何用TensorFlow实现物体检测的像素级分类

发布时间:2018-04-16 16:00:13  来源:互联网    采编:张宏伟  背景:

  TensorFlow 的「物体检测 API」有了一个新功能,它能根据目标对象的像素位置来确定该对象的像素。换句话来说,TensorFlow 的物体检测从原来的图像级别成功上升到了像素级别。

  使用 TensorFlow 的「物体检测 API」图片中的物体进行识别,最后的结果是图片中一个个将不同物体框起来的方框。最近,这个「物体检测 API」有了一个新功能,它能根据目标对象的像素位置确定该对象的像素,实现物体的像素分类。

云图片

TensorFlow 的物体检测 API 模型——Mask-RCNN

  实例分割

  「实例分割」是物体检测的延伸,它能让我们在普通的物体检测的基础上获取关于该对象更加精确、全面的信息。

  在什么情况下我们才需要这样精确的信息呢?

  • 无人驾驶汽车

  为了确保安全,无人驾驶汽车需要精确定位道路上其他车辆和行人。

  • 机器人系统

  机器人在连接两个部件时,如果知道这两个部件的确切位置,那么机器人的操作就会更加高效、准确。

  「实例分割」的方法有很多,TensorFlow 进行「实例分割」使用的是 Mask RCNN 算法。

  Mask R-CNN 算法概述

云图片

Mask RCNN 算法架构

  在介绍 Mask RCNN 之前,我们先来认识一下 Faster R-CNN。

  Faster-RCNN 是一个用于物体检测的算法,它被分为两个阶段:第一阶段被称为「候选区域生成网络」(RPN),即生成候选物体的边框;第二阶段本质上是 Fast R-CNN 算法,即利用 RolPool 从每个候选边框获取对象特征,并执行分类和边框回归。这两个阶段所使用的特征可以共享,以更快地获得图像推算结果。

  Faster R-CNN 对每个候选对象都有两个输出,一个是分类标签,另一个是对象边框。而 Mask-RCNN 就是在 Faster R-CNN 的两个输出的基础上,添加一个掩码的输出,该掩码是一个表示对象在边框中像素的二元掩码。但是这个新添加的掩码输出与原来的分类和边框输出不同,它需要物体更加精细的空间布局和位置信息。因此,Mask R-CNN 需要使用「全卷积神经网络」(FCN)。

  「全卷积神经网络」是「语义分割」中十分常见的算法,它利用了不同区块的卷积和池化层,首先将一张图片解压至它原本大小的三十二分之一,然后在这种粒度水平下进行预测分类,最后使用向上采样和反卷积层将图片还原到原来的尺寸。

  因此,Mask RCNN 可以说是将 Faster RCNN 和「全卷积神经网络」这两个网络合并起来,形成的一个庞大的网络架构。

  实操 Mask-RCNN

  • 图片测试

  你可以利用 TensorFlow 网站上的共享代码来对 Mask RCNN 进行图片测试。以下是测试结果:

云图片

Mask RCNN on Kites Image

  • 视频测试

  最有意思的是用 YouTube 视频来测试这个模型。从 YouTube 上下载几条视频,开始了视频测试。

  视频测试的主要步骤:

  1. 使用 VideoFileClip 功能从视频中提取出每个帧;

  2. 使用 fl_image 功能对视频中截取的每张图片进行物体检测,然后用修改后的视频图片替换原本的视频图片;

  3. 最后,将修改后的视频图像合并成一个新的视频。

  Mask RCNN 的深入研究

  下一步的探索包括:

  • 测试一个精确度更高的模型,观察两次测试结果的区别;
  • 使用 TensorFlow 的物体检测 API 在定制的数据集上对 Mask RCNN 进行测试。




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

网易新闻联合BOSS直聘,开启探秘“大厂”之旅
在互联网圈儿里,人们习惯将某些行业的头部领军企业统称为“大厂”,有些求职者为进&ldqu...
日期:11-23
中国在AI时代再造“两弹一星”  百度等科技巨头挑起大梁
为加快推动中国新一代人工智能产业创新发展,促进人工智能和实体经济深度融合,近日,工信部印发《...
日期:11-23
UC海内外打通电商,5.5亿曝光为Lazada双11引流
第十个天猫双11已经成为全球的双11,成就了全球买、全球卖、全球付、全球运、全球玩。在全球卖方面...
日期:11-23
危化品运输的「定心丸」传化智能物流让风险可视可控
「迎新创新、协同共享」,11月22日,由中国物流与采购联合会主办的「2018年中国化工物流行业年会」...
日期:11-23
传化智联列入国家多式联运示范工程项目
就在11月20日,交通运输部与国家发展改革委公示了第三批24个多式联运示范工程项目名单,传化智联打...
日期:11-23
屏厂LG也要做可折叠手机了:一口气注册多个商标
2019或许会迎来可折叠手机的爆发期,三星身为屏厂同时又是智能手机制造商,已经公布了作品,而同样...
日期:11-23
诺基亚宣布进行管理层调整 加速5G网络布局
为了瞄准5G机遇,电信网络制造商诺基亚公司将把移动网络和固定网络业务合并,组成一个名为接入网络(...
日期:11-23
马上就要到2019年了 5G离我们还有多远?
眼看着2018年就只剩三十几天了,今年的旗舰手机也基本上都发布了。手机市场上最近体积比较多的一个概念...
日期:11-23
Apptopia:Facebook新产品Lasso与TikTok“几乎相同”
短视频应用TikTok在全球范围内获得了强劲的发展势头。近日美国CNN引用移动应用研究机构Sensor Tower...
日期:11-23
Kodak Alaris出席“赋能·升级”2018中国现代办公行业年会
Alaris S2040扫描仪强势中国首发
  11月21日,中国西安—11月19日至11月21日,Kodak Al...
日期:11-23
当下智慧园区“软实力”如何提升
在工业4.0与智能制造的驱动下,大型企业建设自身园区网的任务已经不再简单,它不仅要满足高性能、高...
日期:11-23
苏宁国际诠释“Global Community of Curators”生活哲学
苏宁国际亮相第三届米兰国际家具(上海)展览会
  苏宁国际盛装亮相第三届米兰国际家具(上海)...
日期:11-23
“精灵旅社”那群搞笑的怪物精灵又来了!还送来华为视频9大豪礼
2018年感恩节跟小雪在同一天相遇
  除了团聚、感恩、狂欢、“吃鸡”、等雪
...
日期:11-23
LG为旗下可折叠智能手机申请了三个商标
LG一直在与三星竞争推出第一款可折叠智能手机,而三星已经展示了他们的产品,LG仍然在研发他们的智...
日期:11-23
全球首条5G网络下的微博 来自小米林斌!
5G究竟有多热,看看各大智能手机厂商的宣传便知一二。此前OPPO公布了其智能手机产品通过5G网络上网...
日期:11-23
前美团大将创业水滴卖保险  三级火箭能否击穿保险业痛点?
一、「仗还没打完,别想这些事。」
  这是沈鹏第一次跟王兴和王慧文表示未来想要离开美团、...
日期:11-23
HTTPS也不安全?No,只因没有避开这个误区
当我们在咖啡馆连上WiFi打开网页和邮箱时,殊不知有人正在监视着我们的各种网络活动。在打开账户网...
日期:11-23
美团股价今日一度下跌至14%,新业务持续投入亏损25亿人民币
11月22日,美团点评发布2018年第三季度业绩,总收入为191亿元,同比增长97.2%。总收入的增长得益于...
日期:11-23
QQ浏览器跨界顺丰“一搜直达”,丰富信息浏览生态
在双十一这个快递行业最忙碌的档口,QQ浏览器和顺丰宣布跨界合作,在“快”这件事上再添新...
日期:11-23
第75届中国教装展落幕,回顾希沃三大新品
聚焦校园小应用,发现教学小数据。 11月19日,由希沃独家冠名的第75届中国教育装备展示会圆满落幕。...
日期:11-23