本安型矿用输送带表面损伤检测系统及检测方法

权利要求书： 1.一种本安型矿用输送带表面损伤检测系统，其特征在于：包括本安型摄像机、本安型工业控制计算机、本安PLC控制器，所述本安型摄像机采集输送带表面图片，本安型摄像机的数据输出端与本安型工业控制计算机的数据输入端连接，由本安型摄像机将采集的输送带表面图片传送至本安型工业控制计算机；所述本安型工业控制计算机的数据输出端与本安PLC控制器的数据输入端连接，本安PLC控制器的信号输出端与所述输送带的驱动电机控制端连接，由本安型工业控制计算机对输送带表面图片进行处理后标定输送带损伤位置，并由本安型工业控制计算机生成控制指令后传送至本安PLC控制器，所述本安PLC控制器基于控制指令控制输送带驱动电机工作，使输送带运行至损伤位置。

2.一种基于权利要求1所述本安型矿用输送带表面损伤检测系统的检测方法，其特征在于：包括以下步骤：

步骤S1：由本安型工业控制计算机获取本安型摄像机采集输送带表面图片作为数据集；

步骤S2：对数据集图片进行预处理，并划分出训练集和测试集；

步骤S3：对YOLOv4网络模型进行改进，得到改进的YOLOv4网络模型；

步骤S4：利用训练集对改进的YOLOv4网络模型进行训练；

步骤S5：利用训练后的改进的YOLOv4网络模型对测试集进行处理，得到输送带表面输送带撕裂、表面磨损、表面缺陷三种损伤类型的检测，并标定损伤位置；

步骤S6：由本安型工业控制计算机基于标定得到的损伤位置，向本安PLC控制器发送控制指令，由本安PLC控制器控制输送带驱动电机工作，使输送带运行至损伤位置。

3.根据权利要求2所述的本安型矿用输送带表面损伤检测方法，其特征在于：步骤S2过程如下：

步骤S21：将数据集中图片裁剪成符合YOLOv4网络模型要求的统一大小尺寸；

步骤S22：使用图像增强方式扩充数据集中图片，对损伤图片进行旋转、翻折、对比度调整、亮度调整，并按设定的比例划分训练集和测试集；

步骤S23：使用labelimg标注软件对训练集图片中输送带损伤部位进行标注，获得xml文件用于改进的YOLOv4网络模型训练。

4.根据权利要求2所述的本安型矿用输送带表面损伤检测方法，其特征在于：步骤S3过程如下：

步骤S31：在原YOLOv4中的PANet部分中，增加1个第一Concat+Conv×3层、1个Conv+UpSampling层，所述第一Concat+Conv×3层连接原CSPDarknet53网络的Resblock_body(104,104,128)×2层，第一Concat+Conv×3层尺度大小为104×104；所述Conv+UpSampling层位于与原CSPDarknet53网络中Resblock_body(52,52,256)×8层相连的Concat+Conv×5层和所述第一Concat+Conv×3层之间；原YOLOv4中PANet部分的Concat+Conv×5层卷积次数为5次，卷积核大小分别为1×1，3×3，1×1，3×3，1×1；所述第一Concat+Conv×3层将原Concat+Conv×5层的5次卷积减少为3次，卷积核大小分别为1×1，3×3，1×1；

步骤S32：在原YOLOv4中的PANet部分中，增加1个Downsampling层和1个第二Concat+Conv×3层；所述Downsampling层连接第一Concat+Conv×3层；所述第二Concat+Conv×3层连接与原CSPDarknet53网络中Resblock_body(52,52,256)×8层相连的Concat+Conv×5层，第二Concat+Conv×3层尺度大小为52×52；所述第二Concat+Conv×3层将原YOLOv4中PANet部分的Concat+Conv×5层的5次卷积减少为3次，卷积核大小分别为1×1，3×3，1×1；

步骤S33：原YOLOv4中PANet部分的Concat+Conv×5层卷积次数为5次，卷积核大小分别为1×1，3×3，1×1，3×3，1×1；将原YOLOv4中PANet部分所有Concat+Conv×5层中的5次卷积减少到3次，3次卷积的卷积核大小分别为1×1，3×3，1×1。

5.根据权利要求2所述的本安型矿用输送带表面损伤检测方法，其特征在于：步骤S4过程如下：

步骤S41：设置改进的YOLOv4模型输入的训练集图片的尺寸，设置检测输送带损伤种类的数量为3，并设置训练次数epoch、学习率以及批尺寸大小参数；

步骤S42：将训练集图片输入至改进的YOLOv4网络模型中进行训练，直至改进的YOLOv4网络模型的损失函数Loss最小，保存损失函数Loss最小时改进的YOLOv4网络模型对应的权重。

6.根据权利要求5所述的本安型矿用输送带表面损伤检测方法，其特征在于：步骤S42中，改进的YOLOv4网络模型的损失函数Loss包括预测框回归损失LCIoU、分类损失Lcls以及置信度损失Lcon信。

7.根据权利要求2所述的本安型矿用输送带表面损伤检测方法，其特征在于：步骤S5过程如下：

步骤S51：生成训练好的改进的YOLOv4网络模型；

步骤S52：将测试集中图片输入至训练好的改进的YOLOv4网络模型，进行输送带表面损伤检测；

步骤S53：显示检测结果，并且标定输送带损伤位置。

说明书： 一种本安型矿用输送带表面损伤检测系统及检测方法技术领域[0001] 本发明涉及输送带损伤检测系统领域，具体是一种本安型矿用输送带表面损伤检测系统及检测方法。

背景技术[0002] 带式输送机是煤矿企业最广泛采用的运输设备，设备的长时间运转，持续受力，以及运输物料过程中遇到的重物和异物，经常会造成输送带的损伤，这样可能带来重大安全

隐患和巨大经济损失。因此，对输送带表面损伤进行快速准确的检测十分重要。现有的机器

视觉方法检测输送带的损伤类型单一，且难以同时做到快速准确的检测。基于深度学习机

器视觉目标检测方法较为流行，与现有检测方法相比，深度学习的方法能够从输入的图片

中学习目标的各种特征信息，有检测速度快，检测精度高，在多目标识别任务中有着良好的

检测效果。本发明结合输送带表面损伤的特点，对原YOLOv4模型做出针对性的改进，将改进

YOLOv4模型应用到输送带表面损伤检测中，对输送带撕裂，表面磨损，表面缺陷三种损伤类

型进行检测。

发明内容[0003] 针对现有技术存在的不足，本发明提供一种基于改进YOLOv4的本安型矿用输送带表面损伤检测系统及检测方法，以检测输送带表面撕裂、表面磨损、表面缺陷三种损伤类

型。

[0004] 为了达到上述目的，本发明所采用的技术方案为：[0005] 一种本安型矿用输送带表面损伤检测系统，包括本安型摄像机、本安型工业控制计算机、本安PLC控制器，所述本安型摄像机采集输送带表面图片，本安型摄像机的数据输

出端与本安型工业控制计算机的数据输入端连接，由本安型摄像机将采集的输送带表面图

片传送至本安型工业控制计算机；所述本安型工业控制计算机的数据输出端与本安PLC控

制器的数据输入端连接，本安PLC控制器的信号输出端与所述输送带的驱动电机控制端连

接，由本安型工业控制计算机对输送带表面图片进行处理后标定输送带损伤位置，并由本

安型工业控制计算机生成控制指令后传送至本安PLC控制器，所述本安PLC控制器基于控制

指令控制输送带驱动电机工作，使输送带运行至损伤位置。

[0006] 一种本安型矿用输送带表面损伤检测方法，包括以下步骤：[0007] 步骤S1：由本安型工业控制计算机获取本安型摄像机采集输送带表面图片作为数据集。

[0008] 步骤S2：对数据集图片进行预处理，并划分出训练集和测试集；[0009] 步骤S3：对YOLOv4网络模型进行改进，得到改进的YOLOv4网络模型；[0010] 步骤S4：利用训练集对改进的YOLOv4网络模型进行训练；[0011] 步骤S5：利用训练后的改进的YOLOv4网络模型对测试集进行处理，得到输送带表面输送带撕裂、表面磨损、表面缺陷三种损伤类型的检测，并标定损伤位置；

[0012] 步骤S6：由本安型工业控制计算机基于标定得到的损伤位置，向本安PLC控制器发送控制指令，由本安PLC控制器控制输送带驱动电机工作，使输送带运行至损伤位置。

[0013] 进一步的，步骤S2过程如下：[0014] 步骤S21：将数据集中图片裁剪成符合YOLOv4网络模型要求的统一大小尺寸；[0015] 步骤S22：使用图像增强方式扩充数据集中图片，对损伤图片进行旋转、翻折、对比度调整、亮度调整，并按设定的比例划分训练集和测试集；

[0016] 步骤S23：使用labelimg标注软件对训练集图片中输送带损伤部位进行标注，获得xml文件用于改进的YOLOv4网络模型训练。

[0017] 进一步的，步骤S3过程如下：[0018] 步骤S31：在原YOLOv4中的PANet部分中，增加1个第一Concat+Conv×3层、1个Conv+UpSampling层，所述第一Concat+Conv×3层连接原CSPDarknet53网络的Resblock_body

(104,104,128)×2层，第一Concat+Conv×3层尺度大小为104×104。所述Conv+UpSampling

层位于与原CSPDarknet53网络中Resblock_body(52,52,256)×8层相连的Concat+Conv×5

层和所述第一Concat+Conv×3层之间。原YOLOv4中PANet部分的Concat+Conv×5层卷积次

数为5次，卷积核大小分别为1×1，3×3，1×1，3×3，1×1。所述第一Concat+Conv×3层将原

Concat+Conv×5层的5次卷积减少为3次，卷积核大小分别为1×1，3×3，1×1。

[0019] 步骤S32：在原YOLOv4中的PANet部分中，增加1个Downsampling层和1个第二Concat+Conv×3层；所述Downsampling层连接第一Concat+Conv×3层。所述第二Concat+

Conv×3层连接与原CSPDarknet53网络中Resblock_body(52,52,256)×8层相连的Concat+

Conv×5层，第二Concat+Conv×3层尺度大小为52×52。所述第二Concat+Conv×3层将原

YOLOv4中PANet部分的Concat+Conv×5层的5次卷积减少为3次，卷积核大小分别为1×1，3

×3，1×1。

[0020] 步骤S33：原YOLOv4中PANet部分的Concat+Conv×5层卷积次数为5次，卷积核大小分别为1×1，3×3，1×1，3×3，1×1。将原YOLOv4中PANet部分所有Concat+Conv×5层中的5

次卷积减少到3次，3次卷积的卷积核大小分别为1×1，3×3，1×1。

[0021] YOLOv4主干网络CSPDarknet53通过5次下采样不断提取输送带图片中损伤部位的特征信息。5层特征层尺度大小分别为208×208，104×104，52×52，26×26，13×13。尺度较

大的特征层一般包括了较多细节和小目标的信息，而尺度较小的特征层更多包括了大目标

信息。输入图片中的细节和小目标信息会随着特征层尺度的不断减小而丢失。

[0022] 输送带表面很多损伤与背景区分度不高，特征不明显，而且存在许多较小的损伤，使用原YOLOv4检测效果不好，检测精度低。因此，本发明在原YOLOv4的PANet部分增加1个第

一Concat+Conv×3层、1个Conv+UpSampling层、1个Downsampling层和1个第二Concat+Conv

×3层以提升YOLOv4模型对输送带表面损伤的检测效果和检测精度。

[0023] 进一步的，步骤S4过程如下：[0024] 步骤S41：设置本发明改进的YOLOv4模型输入的训练集图片的尺寸，设置检测输送带损伤种类的数量为3，并设置训练次数epoch、学习率以及批尺寸大小参数；

[0025] 步骤S42：将训练集图片输入至改进的YOLOv4网络模型中进行训练，直至改进的YOLOv4网络模型的损失函数Loss最小，保存损失函数Loss最小时改进的YOLOv4网络模型对

应的权重。

[0026] 进一步的，步骤S42中，改进的YOLOv4网络模型的损失函数Loss包括预测框回归损失LCIoU、分类损失Lcls以及置信度损失Lcon信。

[0027] 进一步的，步骤S5过程如下：[0028] 步骤S51：生成训练好的改进的YOLOv4网络模型；[0029] 步骤S52：将测试集中图片输入至训练好的改进的YOLOv4网络模型，进行输送带表面损伤检测。

[0030] 步骤S53：显示检测结果，并且标定输送带损伤位置。[0031] 本发明的有益之处在于：[0032] 1、输送带表面很多损伤与背景区分度不高，特征不明显，而且表面存在许多较小的缺陷，使用原YOLOv4模型检测效果不好，检测精度低。因此，在原YOLOv4的基础上对其模

型进行改进，改进的YOLOv4模型提升了输送带表面损伤的检测效果和检测精度。

[0033] 2、通过减少YOLOv4中PANet部分的Concat+Conv×5层卷积次数，缩小了YOLOv4模型的大小，减少了计算量，提升了检测速度。

[0034] 3、能同时检测三种常见的输送带表面损伤，包括撕裂，表面磨损，表面缺陷。附图说明[0035] 图1为本发明的结构图。[0036] 图2为本发明的流程图。[0037] 图3为YOLOv4网络结构图。[0038] 图4为改进后YOLOv4的PANet部分结构图。[0039] 图5为本发明损失曲线变化图。[0040] 图6为输送带表面三种损伤类型在不同算法下的P?R曲线对比图。[0041] 图7为本发明对输送带表面三种损伤类型的检测结果图。具体实施方式[0042] 下面结合附图和实施例对本发明进一步说明。[0043] 下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于

下述的实施例。

[0044] 实施例[0045] 如图1所示，本发明一种本安型矿用输送带表面损伤检测系统，包括本安型摄像机1、本安光源2、本安型工业控制计算机3、本安PLC控制器4、输送带6的驱动电机5。本发明的

结构图如图1所示。本安工业摄像机1用来采集输送带6表面图片；本安光源2用来辅助照明；

本安型工业控制计算机3用来接收本安工业摄像机1采集的输送带6表面图片，并根据输送

带表面图片检测输送带6表面损伤并标定损伤位置；、本安PLC控制器4用于接收本安工业控

制计算机3发送的控制指令，并基于控制指令控制输送带6的驱动电机5工作，使输送带6运

行至损伤位置。

[0046] 如图2所示，本发明本安型矿用输送带表面损伤检测方法，包括以下步骤：[0047] 步骤S1：本安摄像头采集矿用输送带撕裂，表面磨损，表面缺陷三种损伤图片，作为数据集。

[0048] 步骤S2：对数据集图片进行预处理。[0049] 步骤S3：对YOLOv4网络结构进行改进，得到改进后的YOLOv4模型。[0050] 步骤S4：设置训练参数，并进行网络模型训练。[0051] 步骤S5：基于改进后的YOLOv4模型，进行输送带撕裂，表面磨损，表面缺陷三种损伤类型检测，并标定损伤位置。

[0052] 步骤S6：控制电动机运行至损伤位置。[0053] 步骤S2包括：[0054] 步骤S21：将输送带损伤图片裁剪成416×416像素的统一大小，以方便网络模型训练。

[0055] 步骤S22：使用图像增强方式扩充数据集图片，对损伤图片进行旋转，翻折，对比度调整，亮度调整。调整后输送带撕裂，表面磨损，表面缺陷三种损伤类型图片共3132张。训练

集和测试集按照比例8∶2进行划分。

[0056] 步骤S23：采用labelimg软件对图片中的皮带损伤部分进行标注，该软件将输送带损伤类型以及坐标信息保存到xml文件中。之后通过python程序代码将xml文件转化成txt

文本格式文件用于网络模型的训练。

[0057] 步骤S3包括：[0058] 步骤S31：原YOLOv4网络结构图如图3所示，在原YOLOv4中的PANet部分中，增加1个第一Concat+Conv×3层、1个Conv+UpSampling层，所述第一Concat+Conv×3层连接原

CSPDarknet53网络的Resblock_body(104,104,128)×2层，第一Concat+Conv×3层尺度大

小为104×104。所述Conv+UpSampling层位于与原CSPDarknet53网络中Resblock_body(52,

52,256)×8层相连的Concat+Conv×5层和所述第一Concat+Conv×3层之间。原YOLOv4中

PANet部分的Concat+Conv×5层卷积次数为5次，卷积核大小分别为1×1，3×3，1×1，3×3，

1×1。所述第一Concat+Conv×3层将原Concat+Conv×5层的5次卷积减少为3次，卷积核大

小分别为1×1，3×3，1×1。

[0059] 步骤S32：在原YOLOv4中的PANet部分中，增加1个Downsampling层和1个第二Concat+Conv×3层；所述Downsampling层连接第一Concat+Conv×3层。所述第二Concat+

Conv×3层连接与原CSPDarknet53网络中Resblock_body(52,52,256)×8层相连的Concat+

Conv×5层，第二Concat+Conv×3层尺度大小为52×52。所述第二Concat+Conv×3层将原

YOLOv4中PANet部分的Concat+Conv×5层的5次卷积减少为3次，卷积核大小分别为1×1，3

×3，1×1。

[0060] 步骤S33：原YOLOv4中PANet部分的Concat+Conv×5层卷积次数为5次，卷积核大小分别为1×1，3×3，1×1，3×3，1×1。将原YOLOv4中PANet部分所有Concat+Conv×5层中的5

次卷积减少到3次，3次卷积的卷积核大小分别为1×1，3×3，1×1。

[0061] 改进后YOLOv4的PANet部分结构图如图4所示。[0062] YOLOv4主干网络CSPDarknet53通过5次下采样不断提取输送带图片中损伤部位的特征信息。5层特征层尺度大小分别为208×208，104×104，52×52，26×26，13×13。尺度较

大的特征层一般包括了较多细节和小目标的信息，而尺度较小的特征层更多包括了大目标

信息。输入图片中的细节和小目标信息会随着特征层尺度的不断减小而丢失。

[0063] 输送带表面很多损伤与背景区分度不高，特征不明显，而且存在许多较小的损伤，使用原YOLOv4检测效果不好，检测精度低。因此，本发明在原YOLOv4的PANet部分增加1个第

一Concat+Conv×3层、1个Conv+UpSampling层、1个Downsampling层和1个第二Concat+Conv

×3层以提升YOLOv4模型对输送带表面损伤的检测效果和检测精度。

[0064] 步骤S4包括：[0065] 步骤S41：设置本发明改进的YOLOv4模型输入图像的尺寸为416×416，检测输送带损伤种类的数量为3，设置训练次数epoch为50次，学习率为0.005，批尺寸大小为16。

[0066] 步骤S42：YOLOv4损失函数Loss包括预测框回归损失LCIoU，分类损失Lcls以及置信度损失Lcon信。损失函数为三部分损失函数之和，具体公式如下式所示。

[0067] Loss＝LCIoU+Lconf+Lcls (1)[0068][0069][0070][0071][0072][0073] 式中，IoU(A，B)是预测框和真实框的交并比，ρ2(Actr，Bctr)是预测框和真实框的中心点的欧式距离；m是同时包含预测框和真实框的最小封闭区域的对角线距离；v是衡量长

gt gt 2

宽比一致性的参数；α是权衡参数；w 和h 为真实框的宽、高；w和h为预测框的宽、高；S为网

格数；B为每个网格中的先验框个数； 表示预测的边界框包含目标； 表示预测的边界

框不含目标； 为预测置信度； 为实际置信度；λnoobj为自行设定的参数值；检测目标所属

的种类；classes是目标种类； 是指单元格中目标属于类别c的实际概率； 为预测

概率。

[0074] 根据公式计算模型训练的损失函数，并绘制出损失函数下降曲线图如图5所示，为了方便观察Loss曲线下降幅度变化，取0到20范围内的Loss曲线图。从图中可以看出，在前

10次epoch中Loss大幅下降，10次以后下降幅度变缓，在40次以后Loss曲线变化趋于平缓。

选择损失最小的模型权重并保存。

[0075] 步骤S5包括：[0076] 步骤S51：加载步骤S42中损失最小的模型权重。为了验证改进后YOLOv4模型的优越性，与当前较为流行的目标检测模型YOLOv4，YOLOv4?tiny，YOLOv3以及Faster?RCNN进行

对比。根据实验结果绘制出不同模型的P?R曲线如图6所示，(a)(b)(c)分别代表撕裂，表面

磨损，表面缺陷。从图中可以直观地看出，在撕裂检测中，改进的YOLOv4检测模型曲线其他

模型曲线的上方，说明具有较高的检测精度。具体实验结果参数如表1所示。改进后的模型

对撕裂，表面磨损和表面缺陷检测的平均精度达到了97.10％，96.93％和96.54％，平均精

度均值达到了96.85％。在撕裂和磨损检测中，相比于原始YOLOv4检测模型，平均精度分别

提高了3％和1.45％，平均精度均值提高了1.4％，检测速度达到了20.66帧/s，从表1数据可

以看出本发明改进后的YOLOv4模型同时提高了检测速度和检测精度。

[0077] 表1改进的YOLO4模型与其他目标检测模型的性能比较结果[0078][0079] 步骤S52：输入待检测的输送带表面图片，进行输送带表面损伤检测。[0080] 步骤S53：检测结果如图7所示，(a)(b)(c)分别代表撕裂，表面磨损，表面缺陷的检测图。本安型工业控制计算机标定输送带损伤位置。

[0081] 步骤S6具体为：[0082] 本安PLC控制器控制电动机运行至损伤位置，以便后续输送带表面损伤的修复。本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围

进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方

案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经

全部记载在权利要求书中。