基于深度学习的带式输送机输送带跑偏监测方法

1.本发明涉及煤矿装备智能化技术领域，尤其涉及一种基于深度学习的带式输送机输送带跑偏监测方法。

背景技术：

2.带式输送机作为散状物料连续输送的首选装备，是煤矿井下和露天煤矿开采的主要运输装备，同时也广泛应用在矿山、码头、港口、化工等领域。输送带是带式输送机的重要组成部分，起着承载物料与传递动力的重要作用。因为加工精度、安装精度、物料不均衡装载等的影响，使得输送带在运行过程中经常出现跑偏。跑偏是带式输送机最常见的故障之一，会引起诸多事故，诸如会引起承载物料洒落；引起输送带边缘磨损或脱胶等，缩短输送带使用寿命；增大输送机运行阻力系数，增加输送机能耗；同时，它也是引起输送带撕裂的一个重要原因。跑偏事故的产生与扩大严重影响煤矿安全高效运输的进行与绿色可持续发展。

3.文献cn113772364a中公开了一种皮带输送机跑偏检测及自动调整方法，包括视觉检测模块和托辊控制模块。首先通过安装在皮带输送机中部的视觉检测模块，分别获取皮带输送机工作时的中部皮带运行图像、中部前后方运行图像及中部煤流信息，使用伽马和分数阶进行图像增强处理，对处理后的图像进行canny边缘检测以获取托辊与皮带边缘信息，通过皮带中部前后的托辊和皮带边缘直线计算出跑偏角度，再根据中部边缘检测得出的信息检测出横向跑偏量，算法比较复杂。目前煤矿皮带跑偏监测方式主要通过跑偏开关传感器，跑偏传感器确定跑偏量并对跑偏进行处理，然而实际煤矿生产环境较为复杂，需要在皮带运行的两侧安装较多的跑偏开关传感器，这种检测方式在皮带运行过程中，主要会存在相邻传感器的磁性干扰，输出处于不稳定状态，影响数据的判读，皮带跑偏开关与保护装置还需要定期停机校对和测试，并且井下输送带较长，需要投入人力和时间进行检测，会对煤矿井下生产效率产生影响。

技术实现要素：

4.为解决上述技术问题，本发明提供一种基于深度学习的带式输送机输送带跑偏监测方法，采用具有特定标注要求的标注方法对输送带边缘区域进行数据标注得到输送带跑偏数据集，进而利用该数据集对通用目标检测网络进行训练，而后将训练完成后的网络用于输送带边缘区域的预测，通过对预测框四个顶点坐标位置的计算，得到输送带边缘区域预测框的对角线位置及其方程，并以此表征输送带边缘直线。通过对比所得输送带左右边缘直线分别距离相机视野边界的距离，实现输送带跑偏状态的有效监测。本发明利用通用目标检测网络进行输送带边缘直线特征的检测并实现跑偏状态的有效判定，简化了复杂环境下输送带边缘直线提取流程，有力保障了带式输送机的安全高效运行。

5.在本发明中方法包括以下步骤：步骤1，在带式输送机沿线设置相机，用于实时采集带式输送机运行图像建立输送带跑偏图像数据集；步骤2，基于步骤1所建立的图像数据

集，利用深度学习技术如labelimg等对输送带边缘特征进行提取标注，每一张图像内的输送带的左右边缘上分别标注一个标注框，所述输送带的边缘与相对应的标注框的一条对角线对齐，并将标注完成的数据集划分为训练集、验证集和测试集，以供后续深度学习目标检测网络训练调用；步骤3，搭建基于深度学习的目标检测网络模型，将输送带边缘区域设置为检测目标，将将步骤2中所构建数据集中的训练集和验证集输入到建立的目标检测网络模型中进行训练，直至网络收敛，得到训练权重及检测模型；步骤4，基于步骤3对以输送带边缘区域为目标的目标检测网络预测，生成预测框，并输出预测框的参数，并不断通过目标检测网络改进其输出，使其具备检测直线的能力；步骤5，在步骤4所检测出的输送带边缘直线的基础上，在相机视野建立一条虚拟参考线，所述虚拟参考线平行于x轴，且与x轴间的距离标记为

△

y，所述虚拟参考线与相机视野边界的左右分别相交于为点l和r，与输送带左右边缘分别为相交于点m和n，记lm为l点和m点之间的线段距离，rn为r点和n点之间的线段距离；步骤6，分别计算lm和nr的长度，确定输送带在相机视野范围内的位置，通过算法实时计算lm与nr的绝对差值，与阈值进行实时比对，即可实现跑偏状态及跑偏量的确定；步骤7，将改进后的目标检测部署到工业现场，实现跑偏的联动控制与调节。

6.进一步地，基于步骤3所述的网络模型为yolo网络模型或是rcnn网络模型或ssd网络模型等通用目标检测模型。

7.进一步地，所述的步骤4中所述参数为预测框的中心点坐标、预测框长度和宽度值，基于预测框的中心点坐标、预测框长度和宽度值，可得到预测框的四个顶点坐标，因此输送带左侧边缘的左标注框对角线所在直线的直线方程和输送带右侧边缘的右标注框对角线所在直线的直线方程均可以计算获得，即为输送带左右边缘所在的直线。

8.进一步地，所述输送带边缘所在直线方程通过如下计算得出，在输送带左边缘的左标注框内记定a点坐标是(xa，ya)，b点坐标是（xb，yb），在输送带右边缘的右标注框内记定c点坐标是(xc，yc)，d点坐标是(xd，yd)，则左标注框内与左边输送带边缘重合的对角线ab的方程为：右标注框内与右边输送带边缘重合的对角线cd的方程为：。

9.进一步地，基于步骤5所述的l点和m点之间的线段距离，r点和n点之间的线段距离计算为即为输送带左右边缘距离视野相机视野边界的距离，且w为相机视野的宽度。

10.进一步地，基于步骤6所述的算法为当，即判断输送带不跑偏；当，即判断输送带跑偏，其中d

lm

为l点和m点之间的距离，d

nr

为r点和n点之间的距离，τ为跑偏判定的阈值。

11.采用上述技术方案后，本发明与现有技术相比具有以下有益效果：1.本发明提出了一种基于深度学习的带式输送机输送带跑偏监测方法，该方法基于通用目标检测网络检测直线，极大简化了复杂环境下输送带边缘的直线特征提取流程，具有良好的实时性。

12.2.本发明设计的方法提供了复杂场景下输送带边缘快速准确检测新方法。

13.3.本发明设计的方法中所述的算法拓展性强，只需要少量数据集训练就可以迁移到其他场景，适应性较强。

14.4.本发明设计的方法极大简化了复杂环境下直线特征提取的流程，并有助于实现带式输送机智能化及煤矿的无人化、节能化水平，在保证带式输送机安全高效运输的同时实现绿色节能可持续发展。

15.本发明提供的技术方案针对复杂环境下基于视觉的输送带边缘特征提取操作复杂的问题，提出了基于通用目标检测网络的直线检测算法，并重新规划设计了跑偏的判定方法，实现了输送带边缘特征的快速、准确提取，提高了带式输送机输送带跑偏检测的精准度，适应性强，解决了复杂背景下带式输送机输送带边缘的快速特征提取与跑偏判定问题，实现了输送带跑偏状态检测的可视化。

附图说明

16.从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚。

17.图1为输送带正常运行状态示意图。

18.图2为输送带向右跑偏状态示意图。

19.图3为输送带向左跑偏状态示意图。

20.图4输送带跑偏判定原理图。

21.附图标记：1-相机视野、2-虚拟参考线、3-输送带实际位置、4-输送带参考位置、5-预测框。

具体实施方式

22.下面结合实施例对本发明进行进一步详细的说明。本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的，并不对本发明的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换，但这些修改和替换均落入本发明的保护范围内。

23.诸如“包含”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的部件以外，本发明的技术方案也不排除具有未被直接或明确表述的其它部件的情形。在本文的描述中，使用了“上”、“下”、“前”、“后”等方位术语中，应当理解到，这些方向性术语是相对的概念，它们用于相对位置的描述和澄清，其对应的具体定向可以根据相机的方位的变化而相应地发生变化。

24.本发明提供一种基于深度学习的带式输送机输送带跑偏监测方法，采用具有特定标注要求的标注方法对输送带边缘区域进行数据标注得到输送带跑偏数据集，进而利用该数据集对通用目标检测网络进行训练，而后将训练完成后的网络用于输送带边缘区域的预测，通过对预测框5四个顶点坐标位置的计算，得到输送带边缘区域预测框5的对角线位置

及其方程，并以此表征输送带边缘直线。通过对比所得输送带左右边缘直线分别距离相机视野1边界的距离，实现输送带跑偏状态的有效监测。本发明利用通用目标检测网络进行输送带边缘直线特征的检测并实现跑偏状态的有效判定，简化了复杂环境下输送带边缘直线提取流程，有力保障了带式输送机的安全高效运行。

25.在本发明中方法包括以下步骤：步骤1，在带式输送机沿线设置相机，用于实时采集带式输送机运行图像建立输送带跑偏图像数据集；步骤2，基于步骤1所建立的图像数据集利用深度学习技术对输送带边缘特征进行提取标注，每一张图像内的输送带的左右边缘上分别标注一个标注框，所述输送带的边缘与相对应的标注框的一条对角线对齐，并将标注完成的数据集划分为训练集、验证集和测试集，以供后续深度学习目标检测网络训练调用；步骤3，搭建基于深度学习的目标检测网络模型，将输送带边缘区域设置为监测目标，将将步骤2中所构建数据集中的训练集和验证集输入到建立的目标检测网络模型中进行训练，直至网络收敛，得到训练权重及检测模型；基于步骤3所述的网络模型为yolo网络模型或是rcnn网络模型或ssd网络模型等通用目标检测网络。

26.步骤4，基于步骤3对以输送带边缘区域为目标的目标检测网络预测，生成预测框5，如图2所示，并输出预测框5的参数，并不断通过目标检测网络改进其输出，使其具备检测直线的能力；所述参数为预测框5的中心点坐标、预测框5长度和宽度值，基于预测框5的中心点坐标、预测框5长度和宽度值，可得到预测框5的四个顶点坐标，如图4所示，输送带左侧边缘的左标注框对角线所在直线的直线方程和输送带右侧边缘的右标注框对角线所在直线的直线方程均可以计算获得，即为输送带左右边缘所在的直线；所述输送带边缘所在直线方程通过如下计算得出，在输送带左边缘的左标注框内记定a点坐标是(xa，ya)，b点坐标是（xb，yb），在输送带右边缘的右标注框内记定c点坐标是(xc，yc)，d点坐标是(xd，yd)，则，左标注框内与左边输送带边缘重合的对角线ab的方程为：右标注框内与右边输送带边缘重合的对角线cd的方程为： 。

27.预测框5的大小不会对检测结果产生影响，因为输送带边缘直线所在方程是通过该直线上的任意两点进行确定。

28.步骤5，在步骤4所检测出的输送带边缘直线的基础上，如图3所示，在相机视野1建立一条虚拟参考线2，所述虚拟参考线2平行于x轴，且与x轴间的距离标记为

△

y，所述虚拟参考线2与相机视野1边界的左右分别相交于为点l和r，与输送带左右边缘分别为相交于点m和n，记lm为l点和m点之间的线段距离，rn为r点和n点之间的线段距离；其中l点和m点之间的线段距离，r点和n点之间的线段距离计算为

即为输送带左右边缘距离视野相机视野边界的距离，且w为相机视野的宽度。

29.步骤6，分别计算lm和nr的长度，确定输送带在相机视野范围内的位置，通过算法实时计算lm与nr的绝对差值，与阈值进行实时比对，即可实现跑偏状态及跑偏量的确定；当，即判断输送带不跑偏；当，即判断输送带跑偏，其中d

lm

为l点和m点之间的距离，d

nr

为r点和n点之间的距离，τ为跑偏判定的阈值。

30.步骤7，将改进后的目标检测部署到工业现场，实现跑偏的联动控制与调节。

31.在本实施例中，如图1、图2和图3所示展示了输送带的三种常见的运行工况，依次是正常运行，向右跑偏和向左跑偏。在图1中以相机视野1范围的左上角建立如图2所示的坐标系，构建虚拟参考线2，该直线平行于x轴，且与x轴间的距离为

△

y。虚拟参考线2与相机视野1边界的左右交点分别为l和r，与输送带边缘的交点分别为m和n。在保证相机被对中安装并忽略机架振动的基础上，则跑偏的状态可以通过如下规则进行判定：当，即判断输送带不跑偏；当，即判断输送带跑偏，其中d

lm

为l点和m点之间的距离，d

nr

为r点和n点之间的距离，τ为跑偏判定的阈值。

32.跑偏判定阈值与带宽和图像分辨率有关，跑偏判定阈值的设定与相机的安装位置、相机的视野范围及分辨率有关。本实施例中展示了相机居中安装在输送机中间的场景，τ跑偏判定的阈值设定为80像素，输送带左右两侧边应距离图像左右两边缘的距离相等算法在很好地识别输送带两边缘的同时，准确的给出输送带两边缘距离视野边缘的距离的差值，并以此判断了是否发生跑偏。有些场景中，相机并不能被居中安置在输送带的中间，需要在输送机的一侧安装，此时的阈值设定需要根据实际情况去设定。

33.本发明基于yolo目标检测网络，通过对网络的输出预测结果进行相应的修改，从而实现了所述的输送带边缘区域检测，使其具备检测直线的能力。yolo以cspdarknet_spp作为主干特征提取网络。通过focus模块对输入图像进行切片，通过像素值的提取与重新组合，实现了将图像的宽高信息向通道空间的整合，从而变相的实现了下采样操作。focus模块的使用是使得网络在没有信息丢失的情况下，减少计算量；采用跨阶段局部网络cspdarknet，可有效解决大型卷积神经网络在主干特征提取过程中网络优化梯度信息重复的问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和计算量，既保证了推理速度和准确率，又减小了模型尺寸；采用了spp+fpn+pan模块作为特征增强部分，提升了特征信息的多样性和鲁棒性；同时应用了类似于efficientnet的网络通道数和网络层数调节因子来灵活配置不同复杂度的模型，得到了s-m-l-x复杂度依次提高的模型。

34.yolo目标检测网络的损失函数loss由三部分组成，分别是定位损失l

iou

，分类损失l

cls

，和置信度损失l

obj

，计算公式如式所示：loss=λ1×

l

iou

+λ2×

l

cls

+λ3×

l

obj

λ

1-3

∈（0，1 ]，为分配系数，在本发明中λ1=λ2=λ3=1。

35.定位损失l

iou

又称边界框回归损失，用来表征预测框5与真实框之间的距离，通过计算两个边界框相交面积与相并面积的比值（交并比iou）来实现，交并比越大，意味着预测

框5与真实框之间的重合度越高，二者之间的距离越小，损失越小。

36.在yolo中采用了giou函数来进行定位损失的计算，它是iou的升级版，当预测框5与真实框完全重合时iou=1，l

giou

=0，当预测框5与真实框完全不重合，且距离较远时，iou=0且l

giou

=2，这就解决了在函数中存在的梯度消失问题。

37.使用yolo在coco2017数据集上的预训练权重进行迁移学习，batchsize设置为4，训练100个epoch；采用moscaic数据增强的方式，通过随机选取4张图像，随机缩放，再随机拼接的方式，极大丰富了数据集。

38.上述实施例中的实施方案可以进一步组合或者替换，且实施例仅仅是对本发明的优选实施例进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中专业技术人员对本发明的技术方案做出的各种变化和改进，均属于本发明的保护范围。技术特征：

1.一种基于深度学习的带式输送机输送带跑偏监测方法，其特征在于，该方法包括以下步骤：步骤1，在带式输送机沿线设置相机，用于实时采集带式输送机运行图像建立输送带跑偏图像数据集；步骤2，基于步骤1所采集的图像数据利用数据标注软件，对输送带边缘特征进行提取标注，每一张图像内的输送带的左右边缘上分别标注一个标注框，所述输送带的边缘与相对应的标注框的一条对角线对齐，并将标注完成的数据集划分为训练集、验证集和测试集，以供后续深度学习目标检测网络训练调用；步骤3，搭建基于深度学习的目标检测网络模型，将输送带边缘区域设置为检测目标，将步骤2中所构建的数据集中的训练集和验证集输入到建立的目标检测网络模型中进行训练，直至网络收敛，得到训练权重及检测模型；步骤4，基于步骤3对以输送带边缘区域为目标的目标检测网络预测，生成预测框，并输出预测框的参数，改进目标检测网络输出结果，使其具备检测直线的能力；步骤5，在步骤4所检测出的输送带边缘直线的基础上，在相机视野建立一条虚拟参考线，所述虚拟参考线平行于x轴，且与x轴间的距离标记为

△

y，所述虚拟参考线与相机视野边界的左右分别相交于为点l和r，与输送带左右边缘分别为相交于点m和n，记lm为l点和m点之间的线段距离，rn为r点和n点之间的线段距离；步骤6，分别计算lm和nr的长度，确定输送带在相机视野范围内的位置，通过算法实时计算lm与nr的绝对差值，与阈值进行实时比对，即可实现跑偏状态及跑偏量的确定；步骤7，将改进后的目标检测部署到工业现场，实现跑偏的联动控制与调节。2.根据权利要求1所述的一种基于深度学习的带式输送机输送带跑偏监测方法，其特征在于：基于步骤3所述的网络模型为yolo网络模型或是rcnn网络模型或ssd网络模型通用目标检测网络。3.根据权利要求2所述的一种基于深度学习的带式输送机输送带跑偏监测方法，其特征在于：所述的步骤4中所述参数为预测框的中心点坐标、预测框长度和宽度值，基于预测框的中心点坐标、预测框长度和宽度值，可得到预测框的四个顶点坐标，因此输送带左侧边缘的左标注框对角线所在直线的直线方程和输送带右侧边缘的右标注框对角线所在直线的直线方程均可以计算获得，即为输送带左右边缘所在的直线。4.根据权利要求3所述的一种基于深度学习的带式输送机输送带跑偏监测方法，其特征在于：所述输送带边缘所在直线方程通过如下计算得出，在输送带左边缘的左标注框内记定a点坐标是(x

a

，y

a

)，b点坐标是（x

b

，y

b

），在输送带右边缘的右标注框内记定c点坐标是(x

c

，y

c

)，d点坐标是(x

d

，y

d

)，则左标注框内与左边输送带边缘重合的对角线ab的方程为：右标注框内与右边输送带边缘重合的对角线cd的方程为：。5.根据权利要求4所述的一种基于深度学习的带式输送机输送带跑偏监测方法，其特征在于：基于步骤5所述的l点和m点之间的线段距离，r点和n点之间的线段距离计算为

即为输送带左右边缘距离视野相机视野边界的距离，其中w为相机视野的宽度。6.根据权利要求5所述的一种基于深度学习的带式输送机输送带跑偏监测方法，其特征在于：基于步骤6所述的算法为当 ，即判断输送带不跑偏，当 ，即判断输送带跑偏，其中d

lm

为l点和m点之间的距离，d

nr

为r点和n点之间的距离，τ为跑偏判定的阈值。

技术总结

本发明提供一种基于深度学习的带式输送机输送带跑偏监测方法，利用通用目标检测网络进行输送带边缘直线特征的检测并实现跑偏状态的有效判定。本发明采用具有特定标注要求的标注方法对输送带边缘区域进行数据标注得到输送带跑偏数据集，进而利用该数据集对通用目标检测网络进行训练，而后将训练完成后的网络用于输送带边缘区域的预测，通过对预测框四个顶点坐标位置的计算，得到输送带边缘区域预测框的对角线位置及其方程，并以此表征输送带边缘直线。通过对比所得输送带左右边缘直线分别距离相机视野边界的距离，实现输送带跑偏状态的有效监测。本发明简化了复杂环境下输送带边缘直线提取流程，有力保障了带式输送机的安全高效运行。高效运行。高效运行。

技术研发人员：张梦超 张媛 周满山 于岩 郝妮妮 曹越帅 周丹

受保护的技术使用者：山东科技大学

技术研发日：2022.02.10

技术公布日：2022/3/8