您的位置:首页>>业界动态

经典目标检测方法Faster R-CNN和Mask R-CNN|基于PaddlePaddle深度学习平台的实战

发布时间:2019-04-03 10:30:08  来源:互联网    背景:

  机器视觉领域的核心问题之一就是目标检测(object detection),它的任务是找出图像当中所有感兴趣的目标(物体),确定其位置和大小。作为经典的目标检测框架Faster R-CNN,虽然是2015年的论文,但是它至今仍然是许多目标检测算法的基础,这在飞速发展的深度学习领域十分难得。而在Faster R-CNN的基础上改进的Mask R-CNN在2018年被提出,并斩获了ICCV2017年的最佳论文。Mask R-CNN可以应用到人体姿势识别,并且在实例分割、目标检测、人体关键点检测三个任务都取得了很好的效果。因此,百度深度学习框架PaddlePaddle开源了用于目标检测的RCNN模型,从而可以快速构建强大的应用,满足各种场景的应用,包括但不仅限于安防监控、医学图像识别、交通车辆检测、信号灯识别、食品检测等等。

  项目地址:https://github.com/PaddlePaddle/models/blob/v1.3/fluid/PaddleCV/rcnn/README_cn.md

  目标检测(Object Detection)与实例分割(Instance Segmentation)

  目标检测的任务就是确定图像当中是否有感兴趣的目标存在,接着对感兴趣的目标进行精准定位。当下非常火热的无人驾驶汽车,就非常依赖目标检测和识别,这需要非常高的检测精度和定位精度。目前,用于目标检测的方法通常属于基于机器学习的方法或基于深度学习的方法。 对于机器学习方法,首先使用SIFT、HOG等方法定义特征,然后使用支持向量机(SVM)、Adaboost等技术进行分类。 对于深度学习方法,深度学习技术能够在没有专门定义特征的情况下进行端到端目标检测,并且通常基于卷积神经网络(CNN)。但是传统的目标检测方法有如下几个问题:光线变化较快时,算法效果不好;缓慢运动和背景颜色一致时不能提取出特征像素点;时间复杂度高;抗噪性能差。因此,基于深度学习的目标检测方法得到了广泛应用,该框架包含有Faster R-CNN,Yolo,Mask R-CNN等,图1和图2分别显示的是基于PaddlePaddle深度学习框架训练的Faster R-CNN和Mask R-CNN模型对图片中的物体进行目标检测。

  从图1中可以看出,目标检测主要是检测一张图片中有哪些目标,并且使用方框表示出来,方框中包含的信息有目标所属类别。图2与图1的最大区别在于,图2除了把每一个物体的方框标注出来,并且把每个方框中像素所属的类别也标记了出来。

  图1 基于paddlepaddle训练的Faster R-CNN模型预测结果

  图2基于paddlepaddle训练的Mask R-CNN模型预测结果

  从R-CNN到Mask R-CNN

  Mask R-CNN是承继于Faster R-CNN,Mask R-CNN只是在Faster R-CNN上面增加了一个Mask Prediction Branch(Mask预测分支),并且在ROI Pooling的基础之上提出了ROI Align。所以要想理解Mask R-CNN,就要先熟悉Faster R-CNN。同样的,Faster R-CNN是承继于Fast R-CNN,而Fast R-CNN又承继于R-CNN,因此,为了能让大家更好的理解基于CNN的目标检测方法,我们从R-CNN开始切入,一直介绍到Mask R-CNN。

  R-CNN

  区域卷积神经网络(Regions with CNN features)使用深度模型来解决目标检测。

  R-CNN的操作步骤

  Selective search(选择性搜索):首先对每一张输入图像使用选择性搜索来选取多个高质量的提议区域(region proposal),大约提取2000个左右的提议区域;

  Resize(图像尺寸调整):接着对每一个提议区域,将其缩放(warp)成卷积神经网络需要的输入尺寸(277*277);

  特征抽取:选取一个预先训练好的卷积神经网络,去掉最后的输出层来作为特征抽取模块;

  SVM(类别预测):将每一个提议区域提出的CNN特征输入到支持向量机(SVM)来进行物体类别分类。注:这里第 i 个 SVM 用来预测样本是否属于第 i 类;

  Bounding Box Regression(边框预测):对于支持向量机分好类的提议区域做边框回归,训练一个线性回归模型来预测真实边界框,校正原来的建议窗口,生成预测窗口坐标。

  R-CNN优缺点分析

  优点:R-CNN 对之前物体识别算法的主要改进是使用了预先训练好的卷积神经网络来抽取特征,有效的提升了识别精度。

  缺点:速度慢。对一张图像我们可能选出上千个兴趣区域,这样导致每张图像需要对卷积网络做上千次的前向计算。

  Fast R-CNN

  R-CNN 的主要性能瓶颈在于需要对每个提议区域(region proposal)独立的抽取特征,这会造成区域会有大量重叠,独立的特征抽取导致了大量的重复计算。因此,Fast R-CNN 对 R-CNN 的一个主要改进在于首先对整个图像进行特征抽取,然后再选取提议区域,从而减少重复计算。

  Fast R-CNN 的操作步骤

  Selective Search(选择性搜索):首先对每一张输入图像使用选择性搜索(selective search)算法来选取多个高质量的提议区域(region proposal),大约提取2000个左右的提议区域;

  将整张图片输入卷积神经网络,对全图进行特征提取;

  把提议区域映射到卷积神经网络的最后一层卷积(feature map)上;

  RoI Pooling:引入了兴趣区域池化层(Region of Interest Pooling)来对每个提议区域提取同样大小的输出;

  Softmax:在物体分类时,Fast R-CNN 不再使用多个 SVM,而是像之前图像分类那样使用 Softmax 回归来进行多类预测。

  Fast R-CNN优缺点分析

  优点:对整个图像进行特征抽取,然后再选取提议区域,从而减少重复计算;

  缺点:选择性搜索费时;

  缺点:不用Resize,不适合求导;

  Faster R-CNN

  Faster R-CNN 对 Fast R-CNN 做了进一步改进,它将 Fast R-CNN 中的选择性搜索替换成区域提议网络(region proposal network)。RPN 以锚框(anchors)为起始点,通过一个小神经网络来选择区域提议。

  Faster R-CNN整体网络可以分为4个主要内容

  基础卷积层(CNN):作为一种卷积神经网络目标检测方法,Faster R-CNN首先使用一组基础的卷积网络提取图像的特征图。特征图被后续RPN层和全连接层共享。本示例采用ResNet-50作为基础卷积层。

  区域生成网络(RPN):RPN网络用于生成候选区域(proposals)。该层通过一组固定的尺寸和比例得到一组锚点(anchors), 通过softmax判断锚点属于前景或者背景,再利用区域回归修正锚点从而获得精确的候选区域。

  RoI Pooling:该层收集输入的特征图和候选区域,将候选区域映射到特征图中并池化为统一大小的区域特征图,送入全连接层判定目标类别, 该层可选用RoIPool和RoIAlign两种方式,在config.py中设置roi_func。

  检测层:利用区域特征图计算候选区域的类别,同时再次通过区域回归获得检测框最终的精确位置。

  Faster R-CNN优缺点分析

  优点:RPN 通过标注来学习预测跟真实边界框更相近的提议区域,从而减小提议区域的数量同时保证最终模型的预测精度。

  缺点:无法达到实时目标检测。

  Mask R-CNN

  Faster R-CNN 在物体检测中已达到非常好的性能,Mask R-CNN在此基础上更进一步:得到像素级别的检测结果。 对每一个目标物体,不仅给出其边界框,并且对边界框内的各个像素是否属于该物体进行标记。Mask R-CNN同样为两阶段框架,第一阶段扫描图像生成候选框;第二阶段根据候选框得到分类结果,边界框,同时在原有Faster R-CNN模型基础上添加分割分支,得到掩码结果,实现了掩码和类别预测关系的解藕。

  图3 Mask R-CNN网络结构泛化图

  Mask R-CNN的创新点

  解决特征图与原始图像上的RoI不对准问题:在Faster R-CNN中,没有设计网络的输入和输出的像素级别的对齐机制(pixel to pixel)。为了解决特征不对准的问题,文章作者提出了RoIAlign层来解决这个问题,它能准确的保存空间位置,进而提高mask的准确率。

  将掩模预测(mask prediction)和分类预测(class prediction)拆解:该框架结构对每个类别独立的预测一个二值mask,不依赖分类(classification)分支的预测结果

  掩模表示(mask representation):有别于类别,框回归,这几个的输出都可以是一个向量,但是mask必须要保持一定的空间结构信息,因此作者采用全连接层(FCN)对每一个RoI中预测一个m*m的掩模。

  图4展示了Mask R-CNN在像素级别的目标检测结果:

  图4 Mask R-CNN:像素级别的目标检测

  基于PaddlePaddle 实战

  环境准备:需要PaddlePaddle Fluid的v.1.3.0或以上的版本。如果你的运行环境中的PaddlePaddle低于此版本,请根据安装文档中的说明来更新PaddlePaddle。

  数据准备:在MS-COCO数据集上进行训练,可以通过脚本来直接下载数据集:

  cd dataset/coco

  ./download.sh

  数据目录结构如下:

  data/coco/

  ├── annotations

  │ ├── instances_train2014.json

  │ ├── instances_train2017.json

  │ ├── instances_val2014.json

  │ ├── instances_val2017.json

  | ...

  ├── train2017

  │ ├── 000000000009.jpg

  │ ├── 000000580008.jpg

  | ...

  ├── val2017

  │ ├── 000000000139.jpg

  │ ├── 000000000285.jpg

  | ...

  模型训练:

  下载预训练模型: 本示例提供Resnet-50预训练模型,该模性转换自Caffe,并对批标准化层(Batch Normalization Layer)进行参数融合。采用如下命令下载预训练模型。

  sh ./pretrained/download.sh

  通过初始化pretrained_model 加载预训练模型。同时在参数微调时也采用该设置加载已训练模型。 请在训练前确认预训练模型下载与加载正确,否则训练过程中损失可能会出现NAN。

  安装cocoapi:

  训练前需要首先下载cocoapi:

  git clone https://github.com/cocodataset/cocoapi.git

  cd cocoapi/PythonAPI

  # if cython is not installed

  pip install Cython

  # Install into global site-packages

  make install

  # Alternatively, if you do not have permissions or prefer

  # not to install the COCO API into global site-packages

  python2 setup.py install --user

  数据准备完毕后,可以通过如下的方式启动训练:

  #Faster RCNN

  python train.py \

  --model_save_dir=output/ \

  --pretrained_model=${path_to_pretrain_model} \

  --data_dir=${path_to_data} \

  --MASK_ON=False

  #Mask RCNN

  python train.py \

  --model_save_dir=output/ \

  --pretrained_model=${path_to_pretrain_model} \

  --data_dir=${path_to_data} \

  --MASK_ON=True

  通过设置export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7指定8卡GPU训练。

  通过设置MASK_ON选择Faster RCNN和Mask RCNN模型。

  可选参数见:

  python train.py –help

  数据读取器说明:

  数据读取器定义在reader.py中。所有图像将短边等比例缩放至scales,若长边大于max_size, 则再次将长边等比例缩放至max_size。在训练阶段,对图像采用水平翻转。支持将同一个batch内的图像padding为相同尺寸。

  模型设置:

  分别使用RoIAlign和RoIPool两种方法。

  训练过程pre_nms=12000, post_nms=2000,测试过程pre_nms=6000, post_nms=1000。nms阈值为0.7。

  RPN网络得到labels的过程中,fg_fraction=0.25,fg_thresh=0.5,bg_thresh_hi=0.5,bg_thresh_lo=0.0

  RPN选择anchor时,rpn_fg_fraction=0.5,rpn_positive_overlap=0.7,rpn_negative_overlap=0.3

  训练策略

  采用momentum优化算法训练,momentum=0.9。

  权重衰减系数为0.0001,前500轮学习率从0.00333线性增加至0.01。在120000,160000轮时使用0.1,0.01乘子进行学习率衰减,最大训练180000轮。同时我们也提供了2x模型,该模型采用更多的迭代轮数进行训练,训练360000轮,学习率在240000,320000轮衰减,其他参数不变,训练最大轮数和学习率策略可以在config.py中对max_iter和lr_steps进行设置。

  非基础卷积层卷积bias学习率为整体学习率2倍。

  基础卷积层中,affine_layers参数不更新,res2层参数不更新。

  模型评估:

  模型评估是指对训练完毕的模型评估各类性能指标。本示例采用COCO官方评估。eval_coco_map.py是评估模块的主要执行程序,调用示例如下:

  #Faster RCNN

  python eval_coco_map.py \

  --dataset=coco2017 \

  --pretrained_model=${path_to_trained_model} \

  --MASK_ON=False

  #Mask RCNN

  python eval_coco_map.py \

  --dataset=coco2017 \

  --pretrained_model=${path_to_trained_model} \

  --MASK_ON=True

  通过设置--pretrained_model=${path_to_trained_model}指定训练好的模型,注意不是初始化的模型。

  通过设置export CUDA\_VISIBLE\_DEVICES=0指定单卡GPU评估。

  通过设置MASK_ON选择Faster RCNN和Mask RCNN模型。

  模型精度:

  下表为模型评估结果:

  #Faster RCNN:

  End2End Faster R-CNN: 使用RoIPool,不对图像做填充处理。

  End2End Faster R-CNN RoIAlign 1x: 使用RoIAlign,不对图像做填充处理。

  End2End Faster R-CNN RoIAlign 2x: 使用RoIAlign,不对图像做填充处理。训练360000轮,学习率在240000,320000轮衰减。

  #Mask RCNN:

  End2End Mask R-CNN: 使用RoIAlign,不对图像做填充处理。

  模型推断:

  模型推断可以获取图像中的物体及其对应的类别,infer.py是主要执行程序,调用示例如下:

  python infer.py \

  --pretrained_model=${path_to_trained_model} \

  --image_path=dataset/coco/val2017/000000000139.jpg \

  --draw_threshold=0.6

  注意,请正确设置模型路径${path_to_trained_model}和预测图片路径。默认使用GPU设备,也可通过设置--use_gpu=False使用CPU设备。可通过设置draw_threshold调节得分阈值控制检测框的个数。

  传送门:

  PaddlePaddle Github: https://github.com/PaddlePaddle

  R-CNN in PaddlePaddle Github:https://github.com/PaddlePaddle/models/tree/develop/fluid/PaddleCV/rcnn

  Reference:

  Girshick, Ross, et al. "Rich feature hierarchies for accurate object detection and semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2014.

  https://arxiv.org/abs/1311.2524

  Girshick, Ross. "Fast r-cnn." Proceedings of the IEEE international conference on computer vision. 2015.

  https://arxiv.org/abs/1504.08083

  Ren, Shaoqing, et al. "Faster r-cnn: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015.

  https://arxiv.org/abs/1506.01497

  He, Kaiming, et al. "Mask r-cnn." Proceedings of the IEEE international conference on computer vision. 2017.

  https://arxiv.org/abs/1703.06870

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
自动驾驶:百度五年狂奔,谷歌十年倔强
历史最有趣之处,在于其往往颠覆人们的认知。
  把时间往回拨15年,在20世纪之初的2004年,...
日期:08-21
5G全速进化 iQOO Pro新品手机明日北京发布
明天,也就是8月22日,生而强悍再进化的iQOO Pro将在751D·PARK北京时尚设计广场751新罐正式...
日期:08-21
今年7月,厦门5家小龙坎火锅店正式接入付呗
如果是人生中有什么坎过不去,那一定就是小龙坎。就是ta,把地道的成都风味带向全国各地。
日期:08-21
联想携手极客公园启动「酷公司30」计划  合力助推中小企业成长进化
2019年8月21日,联想集团全球总部未来中心——今日,联想中小企业事业部携手尖端科技媒体...
日期:08-21
Adobe发布Creative Cloud中国摄影计划,助力创意实现
中国,杭州—2019年8月21日— Adobe(Nasdaq: ADBE)今日宣布将于近期在中国大陆地区推出面...
日期:08-21
飞桨端侧推理引擎重磅升级为Paddle Lite,更高扩展性更极致性能!
百度深度学习平台飞桨(PaddlePaddle)再放大招!端侧推理引擎全新升级,重磅发布Paddle Lite,旨在推...
日期:08-21
消息:小米或不能再使用MIX商标
8月21日消息 近日,有网友放出了中国裁决文书网的小米科技有限责任公司和国家知识产权局二审的行政...
日期:08-21
2019北京网络安全大会召开首日 国家会议中心被“挤爆”
8月21日上午,为期三天的2019北京网络安全大会正式拉开帷幕。当天早上,会议举办地点国家会议中心人...
日期:08-21
强强联合!百度智能云与Rancher达成合作,容器生态再进一步
2019年8月21日,技术领先的云计算服务平台百度智能云与全球领先的容器管理软件提供商Rancher Labs正...
日期:08-21
千库4周年品牌视频《招牌“蓝友”在线守护》深度解读
2019年8月19日,千库网正式对外发布了4周年品牌视频《招牌“蓝友”在线守护》,通过三段...
日期:08-21
Mance Harmon:超越区块链,构建快速、公平和安全的去中心化应用程序
2019年8月21日,在北京举办的PoW’er大会上,企业级分布式账本平台Hedera Hashgraph 联合创始人...
日期:08-21
Byte CTF字节跳动网络安全攻防大赛强势来袭
当今,随着网络信息规模的不断发展与壮大,网络系统面临着更多的安全威胁。网络安全是一个关系到国...
日期:08-21
索尼影视官方确认,漫威将不再参与《蜘蛛侠》电影制作
据IGN早些时候报道,由于索尼影业和迪士尼之间无法达成新的协议,所以未来漫威电影宇宙未来不会制作...
日期:08-21
OPPO Reno 2配置曝光:骁龙730G+4000mAh电池
今日,外媒91Mobiles曝光了将于8月28日在印度发布的新机OPPO Reno 2更完整的配置参数。OPPO Reno 2...
日期:08-21
京东云总裁申元庆谈物联网布局:为5G时代领跑超级电商赋能
经济日报-中国经济网讯(记者 王茂林)从2009年,以国家传感网创新示范区成立为标志,无锡正式与物联网结...
日期:08-21
百度智能小程序的“哪吒”效应
又是集中的财报季节,BAT三巨头先后秀出肌肉。
  8月20日,百度发布Q2财报,本季度实现营收2...
日期:08-21
配置相当华丽!小米MIX4系列配置曝光,售价真香
此前有消息称,小米将会在下半年推出一款全新的手机,也就是新一代的MIX系列旗舰产品MIX4。近日,疑...
日期:08-21
西瓜视频创作人:大白话本人,露脸居然没掉粉?
长期隐藏在电影画面和配音之后的影视解说博主,在两三天之内,纷纷从幕后走到前台露脸,用真实长相...
日期:08-21
世界机器人大会正式开幕,普渡送餐机器人引全场观众热情围观
在一段不足十米的通道上,数个路障简单勾画出了一条“S型”的道路,一台机器人行驶到路障...
日期:08-21
乡村民宿助力旅游脱贫,小猪参与海南省乡村民宿示范建设项目
8月20日,海南省首个乡村民宿示范建设项目在海口市美兰区美帖村正式启动,该项目由海南省旅游民宿提...
日期:08-21
  专栏介绍
徐彬 的专栏
徐彬发表的文章
积分:
自我介绍 :