您的位置:首页>>业界动态

经典目标检测方法Faster R-CNN和Mask R-CNN|基于PaddlePaddle深度学习平台的实战

发布时间:2019-04-03 10:30:08  来源:互联网    背景:

  机器视觉领域的核心问题之一就是目标检测(object detection),它的任务是找出图像当中所有感兴趣的目标(物体),确定其位置和大小。作为经典的目标检测框架Faster R-CNN,虽然是2015年的论文,但是它至今仍然是许多目标检测算法的基础,这在飞速发展的深度学习领域十分难得。而在Faster R-CNN的基础上改进的Mask R-CNN在2018年被提出,并斩获了ICCV2017年的最佳论文。Mask R-CNN可以应用到人体姿势识别,并且在实例分割、目标检测、人体关键点检测三个任务都取得了很好的效果。因此,百度深度学习框架PaddlePaddle开源了用于目标检测的RCNN模型,从而可以快速构建强大的应用,满足各种场景的应用,包括但不仅限于安防监控、医学图像识别、交通车辆检测、信号灯识别、食品检测等等。

  项目地址:https://github.com/PaddlePaddle/models/blob/v1.3/fluid/PaddleCV/rcnn/README_cn.md

  目标检测(Object Detection)与实例分割(Instance Segmentation)

  目标检测的任务就是确定图像当中是否有感兴趣的目标存在,接着对感兴趣的目标进行精准定位。当下非常火热的无人驾驶汽车,就非常依赖目标检测和识别,这需要非常高的检测精度和定位精度。目前,用于目标检测的方法通常属于基于机器学习的方法或基于深度学习的方法。 对于机器学习方法,首先使用SIFT、HOG等方法定义特征,然后使用支持向量机(SVM)、Adaboost等技术进行分类。 对于深度学习方法,深度学习技术能够在没有专门定义特征的情况下进行端到端目标检测,并且通常基于卷积神经网络(CNN)。但是传统的目标检测方法有如下几个问题:光线变化较快时,算法效果不好;缓慢运动和背景颜色一致时不能提取出特征像素点;时间复杂度高;抗噪性能差。因此,基于深度学习的目标检测方法得到了广泛应用,该框架包含有Faster R-CNN,Yolo,Mask R-CNN等,图1和图2分别显示的是基于PaddlePaddle深度学习框架训练的Faster R-CNN和Mask R-CNN模型对图片中的物体进行目标检测。

  从图1中可以看出,目标检测主要是检测一张图片中有哪些目标,并且使用方框表示出来,方框中包含的信息有目标所属类别。图2与图1的最大区别在于,图2除了把每一个物体的方框标注出来,并且把每个方框中像素所属的类别也标记了出来。

  图1 基于paddlepaddle训练的Faster R-CNN模型预测结果

  图2基于paddlepaddle训练的Mask R-CNN模型预测结果

  从R-CNN到Mask R-CNN

  Mask R-CNN是承继于Faster R-CNN,Mask R-CNN只是在Faster R-CNN上面增加了一个Mask Prediction Branch(Mask预测分支),并且在ROI Pooling的基础之上提出了ROI Align。所以要想理解Mask R-CNN,就要先熟悉Faster R-CNN。同样的,Faster R-CNN是承继于Fast R-CNN,而Fast R-CNN又承继于R-CNN,因此,为了能让大家更好的理解基于CNN的目标检测方法,我们从R-CNN开始切入,一直介绍到Mask R-CNN。

  R-CNN

  区域卷积神经网络(Regions with CNN features)使用深度模型来解决目标检测。

  R-CNN的操作步骤

  Selective search(选择性搜索):首先对每一张输入图像使用选择性搜索来选取多个高质量的提议区域(region proposal),大约提取2000个左右的提议区域;

  Resize(图像尺寸调整):接着对每一个提议区域,将其缩放(warp)成卷积神经网络需要的输入尺寸(277*277);

  特征抽取:选取一个预先训练好的卷积神经网络,去掉最后的输出层来作为特征抽取模块;

  SVM(类别预测):将每一个提议区域提出的CNN特征输入到支持向量机(SVM)来进行物体类别分类。注:这里第 i 个 SVM 用来预测样本是否属于第 i 类;

  Bounding Box Regression(边框预测):对于支持向量机分好类的提议区域做边框回归,训练一个线性回归模型来预测真实边界框,校正原来的建议窗口,生成预测窗口坐标。

  R-CNN优缺点分析

  优点:R-CNN 对之前物体识别算法的主要改进是使用了预先训练好的卷积神经网络来抽取特征,有效的提升了识别精度。

  缺点:速度慢。对一张图像我们可能选出上千个兴趣区域,这样导致每张图像需要对卷积网络做上千次的前向计算。

  Fast R-CNN

  R-CNN 的主要性能瓶颈在于需要对每个提议区域(region proposal)独立的抽取特征,这会造成区域会有大量重叠,独立的特征抽取导致了大量的重复计算。因此,Fast R-CNN 对 R-CNN 的一个主要改进在于首先对整个图像进行特征抽取,然后再选取提议区域,从而减少重复计算。

  Fast R-CNN 的操作步骤

  Selective Search(选择性搜索):首先对每一张输入图像使用选择性搜索(selective search)算法来选取多个高质量的提议区域(region proposal),大约提取2000个左右的提议区域;

  将整张图片输入卷积神经网络,对全图进行特征提取;

  把提议区域映射到卷积神经网络的最后一层卷积(feature map)上;

  RoI Pooling:引入了兴趣区域池化层(Region of Interest Pooling)来对每个提议区域提取同样大小的输出;

  Softmax:在物体分类时,Fast R-CNN 不再使用多个 SVM,而是像之前图像分类那样使用 Softmax 回归来进行多类预测。

  Fast R-CNN优缺点分析

  优点:对整个图像进行特征抽取,然后再选取提议区域,从而减少重复计算;

  缺点:选择性搜索费时;

  缺点:不用Resize,不适合求导;

  Faster R-CNN

  Faster R-CNN 对 Fast R-CNN 做了进一步改进,它将 Fast R-CNN 中的选择性搜索替换成区域提议网络(region proposal network)。RPN 以锚框(anchors)为起始点,通过一个小神经网络来选择区域提议。

  Faster R-CNN整体网络可以分为4个主要内容

  基础卷积层(CNN):作为一种卷积神经网络目标检测方法,Faster R-CNN首先使用一组基础的卷积网络提取图像的特征图。特征图被后续RPN层和全连接层共享。本示例采用ResNet-50作为基础卷积层。

  区域生成网络(RPN):RPN网络用于生成候选区域(proposals)。该层通过一组固定的尺寸和比例得到一组锚点(anchors), 通过softmax判断锚点属于前景或者背景,再利用区域回归修正锚点从而获得精确的候选区域。

  RoI Pooling:该层收集输入的特征图和候选区域,将候选区域映射到特征图中并池化为统一大小的区域特征图,送入全连接层判定目标类别, 该层可选用RoIPool和RoIAlign两种方式,在config.py中设置roi_func。

  检测层:利用区域特征图计算候选区域的类别,同时再次通过区域回归获得检测框最终的精确位置。

  Faster R-CNN优缺点分析

  优点:RPN 通过标注来学习预测跟真实边界框更相近的提议区域,从而减小提议区域的数量同时保证最终模型的预测精度。

  缺点:无法达到实时目标检测。

  Mask R-CNN

  Faster R-CNN 在物体检测中已达到非常好的性能,Mask R-CNN在此基础上更进一步:得到像素级别的检测结果。 对每一个目标物体,不仅给出其边界框,并且对边界框内的各个像素是否属于该物体进行标记。Mask R-CNN同样为两阶段框架,第一阶段扫描图像生成候选框;第二阶段根据候选框得到分类结果,边界框,同时在原有Faster R-CNN模型基础上添加分割分支,得到掩码结果,实现了掩码和类别预测关系的解藕。

  图3 Mask R-CNN网络结构泛化图

  Mask R-CNN的创新点

  解决特征图与原始图像上的RoI不对准问题:在Faster R-CNN中,没有设计网络的输入和输出的像素级别的对齐机制(pixel to pixel)。为了解决特征不对准的问题,文章作者提出了RoIAlign层来解决这个问题,它能准确的保存空间位置,进而提高mask的准确率。

  将掩模预测(mask prediction)和分类预测(class prediction)拆解:该框架结构对每个类别独立的预测一个二值mask,不依赖分类(classification)分支的预测结果

  掩模表示(mask representation):有别于类别,框回归,这几个的输出都可以是一个向量,但是mask必须要保持一定的空间结构信息,因此作者采用全连接层(FCN)对每一个RoI中预测一个m*m的掩模。

  图4展示了Mask R-CNN在像素级别的目标检测结果:

  图4 Mask R-CNN:像素级别的目标检测

  基于PaddlePaddle 实战

  环境准备:需要PaddlePaddle Fluid的v.1.3.0或以上的版本。如果你的运行环境中的PaddlePaddle低于此版本,请根据安装文档中的说明来更新PaddlePaddle。

  数据准备:在MS-COCO数据集上进行训练,可以通过脚本来直接下载数据集:

  cd dataset/coco

  ./download.sh

  数据目录结构如下:

  data/coco/

  ├── annotations

  │ ├── instances_train2014.json

  │ ├── instances_train2017.json

  │ ├── instances_val2014.json

  │ ├── instances_val2017.json

  | ...

  ├── train2017

  │ ├── 000000000009.jpg

  │ ├── 000000580008.jpg

  | ...

  ├── val2017

  │ ├── 000000000139.jpg

  │ ├── 000000000285.jpg

  | ...

  模型训练:

  下载预训练模型: 本示例提供Resnet-50预训练模型,该模性转换自Caffe,并对批标准化层(Batch Normalization Layer)进行参数融合。采用如下命令下载预训练模型。

  sh ./pretrained/download.sh

  通过初始化pretrained_model 加载预训练模型。同时在参数微调时也采用该设置加载已训练模型。 请在训练前确认预训练模型下载与加载正确,否则训练过程中损失可能会出现NAN。

  安装cocoapi:

  训练前需要首先下载cocoapi:

  git clone https://github.com/cocodataset/cocoapi.git

  cd cocoapi/PythonAPI

  # if cython is not installed

  pip install Cython

  # Install into global site-packages

  make install

  # Alternatively, if you do not have permissions or prefer

  # not to install the COCO API into global site-packages

  python2 setup.py install --user

  数据准备完毕后,可以通过如下的方式启动训练:

  #Faster RCNN

  python train.py \

  --model_save_dir=output/ \

  --pretrained_model=${path_to_pretrain_model} \

  --data_dir=${path_to_data} \

  --MASK_ON=False

  #Mask RCNN

  python train.py \

  --model_save_dir=output/ \

  --pretrained_model=${path_to_pretrain_model} \

  --data_dir=${path_to_data} \

  --MASK_ON=True

  通过设置export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7指定8卡GPU训练。

  通过设置MASK_ON选择Faster RCNN和Mask RCNN模型。

  可选参数见:

  python train.py –help

  数据读取器说明:

  数据读取器定义在reader.py中。所有图像将短边等比例缩放至scales,若长边大于max_size, 则再次将长边等比例缩放至max_size。在训练阶段,对图像采用水平翻转。支持将同一个batch内的图像padding为相同尺寸。

  模型设置:

  分别使用RoIAlign和RoIPool两种方法。

  训练过程pre_nms=12000, post_nms=2000,测试过程pre_nms=6000, post_nms=1000。nms阈值为0.7。

  RPN网络得到labels的过程中,fg_fraction=0.25,fg_thresh=0.5,bg_thresh_hi=0.5,bg_thresh_lo=0.0

  RPN选择anchor时,rpn_fg_fraction=0.5,rpn_positive_overlap=0.7,rpn_negative_overlap=0.3

  训练策略

  采用momentum优化算法训练,momentum=0.9。

  权重衰减系数为0.0001,前500轮学习率从0.00333线性增加至0.01。在120000,160000轮时使用0.1,0.01乘子进行学习率衰减,最大训练180000轮。同时我们也提供了2x模型,该模型采用更多的迭代轮数进行训练,训练360000轮,学习率在240000,320000轮衰减,其他参数不变,训练最大轮数和学习率策略可以在config.py中对max_iter和lr_steps进行设置。

  非基础卷积层卷积bias学习率为整体学习率2倍。

  基础卷积层中,affine_layers参数不更新,res2层参数不更新。

  模型评估:

  模型评估是指对训练完毕的模型评估各类性能指标。本示例采用COCO官方评估。eval_coco_map.py是评估模块的主要执行程序,调用示例如下:

  #Faster RCNN

  python eval_coco_map.py \

  --dataset=coco2017 \

  --pretrained_model=${path_to_trained_model} \

  --MASK_ON=False

  #Mask RCNN

  python eval_coco_map.py \

  --dataset=coco2017 \

  --pretrained_model=${path_to_trained_model} \

  --MASK_ON=True

  通过设置--pretrained_model=${path_to_trained_model}指定训练好的模型,注意不是初始化的模型。

  通过设置export CUDA\_VISIBLE\_DEVICES=0指定单卡GPU评估。

  通过设置MASK_ON选择Faster RCNN和Mask RCNN模型。

  模型精度:

  下表为模型评估结果:

  #Faster RCNN:

  End2End Faster R-CNN: 使用RoIPool,不对图像做填充处理。

  End2End Faster R-CNN RoIAlign 1x: 使用RoIAlign,不对图像做填充处理。

  End2End Faster R-CNN RoIAlign 2x: 使用RoIAlign,不对图像做填充处理。训练360000轮,学习率在240000,320000轮衰减。

  #Mask RCNN:

  End2End Mask R-CNN: 使用RoIAlign,不对图像做填充处理。

  模型推断:

  模型推断可以获取图像中的物体及其对应的类别,infer.py是主要执行程序,调用示例如下:

  python infer.py \

  --pretrained_model=${path_to_trained_model} \

  --image_path=dataset/coco/val2017/000000000139.jpg \

  --draw_threshold=0.6

  注意,请正确设置模型路径${path_to_trained_model}和预测图片路径。默认使用GPU设备,也可通过设置--use_gpu=False使用CPU设备。可通过设置draw_threshold调节得分阈值控制检测框的个数。

  传送门:

  PaddlePaddle Github: https://github.com/PaddlePaddle

  R-CNN in PaddlePaddle Github:https://github.com/PaddlePaddle/models/tree/develop/fluid/PaddleCV/rcnn

  Reference:

  Girshick, Ross, et al. "Rich feature hierarchies for accurate object detection and semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2014.

  https://arxiv.org/abs/1311.2524

  Girshick, Ross. "Fast r-cnn." Proceedings of the IEEE international conference on computer vision. 2015.

  https://arxiv.org/abs/1504.08083

  Ren, Shaoqing, et al. "Faster r-cnn: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015.

  https://arxiv.org/abs/1506.01497

  He, Kaiming, et al. "Mask r-cnn." Proceedings of the IEEE international conference on computer vision. 2017.

  https://arxiv.org/abs/1703.06870

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
红塔集团正式上线XSKY企业级块存储XEBS
在经历了一年多时间的各项严苛测试和小范围试用,日前,2019 年红塔烟草(集团)有限责任公司(以下简...
日期:08-12
山东少年分享旅行经历抖音获赞600万 网友:原来真有人过着我想要的生活
如今,快节奏的生活和巨大的工作压力让越来越多的人开始向往一场说走就走的旅行。背上行囊,心无杂...
日期:08-12
他在抖音对着土坎唱民歌,网友:我好像回到家乡
“这一山山望见了那一山山高,啊嘛哒咿儿哟嘚儿哟哟,那山上那个酸枣,嘚儿酸枣,长呀么长得好...
日期:08-12
让快更快 iQOO Pro全系标配855Plus+UFS3.0
今天,iQOO官方微博正式宣布,iQOO Pro将配置骁龙855Plus处理器:“同样是855Plus,为什么有的...
日期:08-12
华为云城市峰会走进千年商都,释放广州发展新活力
历经持续发展,广州逐步已成“千年商都”、世界一线城市。这座一直走在历史前沿的创新之...
日期:08-12
及刻上线华为快应用中心 近场服务一触即达
伴随着AI技术及大数据应用在生活中的落地,场景化精选服务渐成主流。近日,“及刻近场服务&rdq...
日期:08-12
麒麟990+4200mAh,华为Mate30发布日期确定
根据消息人士透露,华为消费者业务软件总裁王成禄近日证实了华为Mate 30系列智能手机将于今年9月19...
日期:08-12
不要对折叠屏iPhone和iPad期待过早
一款混合型手机对苹果其实可有可无。
  最近,瑞银在一份新的投资者报告中称,苹果正在「稳...
日期:08-12
宅在家也能逛街!微淘汇聚超百万内容创作者,要把“种草”进行到底
没时间出门逛街怎么办?越来越多的人通过手淘上的“种草神器”微淘来满足自己的购物欲。数...
日期:08-12
首款鸿蒙OS产品来了! 荣耀智慧屏发布
8月10日下午2点30分荣耀在华为开发者大会上正式发布了荣耀智慧屏。在荣耀总裁赵明登上舞台之前,一...
日期:08-12
苏宁拼购+快手:开拓下沉市场的急先锋
当下,内容电商竞争激烈,抖音、快手、小红书纷纷“扩军备战”,快手为了占领市场,不惜&...
日期:08-12
零售云门店进入3.0时代,苏宁818展示互联网思维加持版本
日前召开的苏宁818零售云合作伙伴大会上,零售云3.0公开发布。通过更多的利好,赋能门店加盟商,深...
日期:08-12
产业链:华为突然抛出麒麟处理器大单抢占产能 苹果被动
从产业链给出的消息看,此次华为主要是为自家新麒麟处理器下单,同时还有5G基带,其都会基于台积电...
日期:08-12
818苏宁零售云实现升级,为县镇创业者提供更多创业机会
当下,以县镇为核心的下沉市场,已成为各大互联网公司竞相争夺的目标。
日期:08-12
欢太科技有限公司破解手机软件恶意扣费套路
近期,智能手机软件恶意扣费、手机用户隐私泄露等现象屡次浮出水面,智能手机安全问题再度被推上风...
日期:08-12
哈弗F5油耗低至6.6L,焕新动力总成助力国六推行
在SUV领域,哈弗绝对是对消费者需求把控最有经验的厂家之一,一直以来深耕SUV市场的哈弗深知产品线...
日期:08-12
零售云不仅成为县城创业者的核心平台,更为苏宁818带来更多可能
在经过数年的互联网电商红利期之后,线下零售又重新成为跑马圈地的新战场,尤其是电商在一二线城市...
日期:08-12
积小善成大爱 空中集团Hi-Fun助力公益关爱地震孤儿
7月29日,废墟中的希望“圆梦地震孤儿”公益活动于北京五棵松Hi-Fun体育竞技主题乐园正式...
日期:08-12
从6000到20万台,走步机惊人销量的背后预演了一场IoT大戏
出品 / 砍柴网
  作者 / 周兴斌
  生产力决定生产关系,人工智能、5G等新技术的列车...
日期:08-12
Mophie给苹果AirPower无线充电板制造了一款替代品
在酝酿了18个月之后,苹果AirPower无线充电板最终还是走向了凉凉。但一款充电板给数个设备同时充电...
日期:08-12
  专栏介绍
徐彬 的专栏
徐彬发表的文章
积分:
自我介绍 :