带式输送机的滚轮轴承测温及故障预警方法及装置

权利要求书： 1.一种带式输送机的滚轮轴承测温方法，其特征在于，所述方法包括如下步骤：

S1，采集所述滚轮轴承的可见光样本图像，对所述可见光样本图像进行标注，利用yolov4-tiny网络训练滚轮轴承图像检测模型；

S2，利用所述滚轮轴承图像检测模型检测定位滚轮轴承可见光图像，得到可见光图像中的滚轮轴承位置；

S3，将所述滚轮轴承位置映射到红外图像中，利用红外测温装置对所述红外图像的映射区域的温度进行测量。

2.根据权利要求1所述的带式输送机的滚轮轴承测温方法，其特征在于，对所述可见光样本图像进行标注，具体包括：

将labelImg标注工具增加图像批量生成功能和标注文件镜像旋转功能，使用所述labelImg标注工具对所述可见光样本图像进行标注。

3.根据权利要求1所述的带式输送机的滚轮轴承测温方法，其特征在于，将所述滚轮轴承位置映射到红外图像中，具体包括：

使用空间融合法对红外图像和可见光图像进行配准和融合。

4.根据权利要求1所述的带式输送机的滚轮轴承测温方法，其特征在于，还包括：

所述yolov4-tiny网络中，将neck部分的特征图与head部分的特征图进行融合重构。

5.一种采用权利要求1-4任一项所述的带式输送机的滚轮轴承测温方法的滚轮轴承故障预警方法，其特征在于，还包括：

S4，通过滚轮轴承温度、检测边框大小、环境温度、目标置信度，对轴承是否存在故障进行判别，产生告警预警。

6.根据权利要求5所述的带式输送机的滚轮轴承故障预警方法，其特征在于，还包括：

采用判别树算法对轴承是否存在故障进行判别，产生告警预警。

7.一种带式输送机的滚轮轴承测温装置，其特征在于，所述装置包括如下模块：

样本训练模块，用于采集所述滚轮轴承的可见光样本图像，对所述可见光样本图像进行标注，利用yolov4-tiny网络训练滚轮轴承图像检测模型；

滚轮轴承位置获取模块，用于利用所述滚轮轴承图像检测模型检测定位滚轮轴承可见光图像，得到可见光图像中的滚轮轴承位置；

温度测量模块，用于将所述滚轮轴承位置映射到红外图像中，利用红外测温装置对所述红外图像的映射区域的温度进行测量。

8.根据权利要求7所述的带式输送机的滚轮轴承测温装置，其特征在于，对所述可见光样本图像进行标注，具体包括：

将labelImg标注工具增加图像批量生成功能和标注文件镜像旋转功能，使用所述labelImg标注工具对所述可见光样本图像进行标注。

9.根据权利要求7所述的带式输送机的滚轮轴承测温装置，其特征在于，还包括：

所述yolov4-tiny网络中，将neck部分的特征图与head部分的特征图进行融合重构。

10.一种采用权利要求7-9任一项所述的带式输送机的滚轮轴承测温方法的滚轮轴承故障预警装置，其特征在于，还包括：

故障预警模块，用于通过滚轮轴承温度、检测边框大小、环境温度、目标置信度，对轴承是否存在故障进行判别，产生告警预警。

说明书： 一种带式输送机的滚轮轴承测温及故障预警方法及装置技术领域

本发明属于机器视觉故障检测技术领域，尤其涉及一种带式输送机的滚轮轴承检测测温及故障预警装置及方法。

背景技术

深度学习(deep learning)是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。目前已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等，已被广泛应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域。此外，深度学习也在机械故障检测领域得到广泛应用，使得检测精度得到了较大提升。

近年，对机械故障检测算法的研究，取得许多成果。例如，专利文献1(CN111947927A)提出了一种基于色度理论的滚动轴承故障检测方法，该方法根据采集到的轴承振动信息，采用色度算法计算轴承的类RGB特征，并采用支持向量数据描述算法SVDD进行分类，实现故障检测。专利文献2(CN111721535A)提出了一种基于卷积多头自注意力机制的轴承故障检测方法，该方法首先采集故障轴承振动信号，对采集的故障轴承振动信号进行预处理，生成轴承故障数据集；然后构建卷积多头自注意力机制网络并训练，得到轴承故障检测结果。专利文献3(CN111307461A)提出了一种基于特征向量基线法的滚动轴承故障检测方法，该方法通过获取轴承各设定测点正常工况的振动数据建立基线特征征兆库，基线特征征兆库中包括轴承各零部件相应测点正常工况时的频谱特征，将实时采集的振动数据进行频谱特征提取作为实时特征，将实时特特征与基线特征征兆库中的特征数据进行比较，当某个特征的实时特征值超过对应基线特征值的设定比例，则认为此特征对应的滚动轴承零件发生了故障，以此实现对各滚动轴承的故障的检测。专利文献4(CN110660065A)提出了一种红外故障检测识别算法，该方法首先在红外图像的频域上做Butterworth自适应高通滤波抑制背景，根据指定的占图像总像素的比例计算阈值来分割图像，对分割后的图像计算直方图提取特征数据判断图像是否存在故障，在红外图像的时域上采用与频域相同的方法对图像分块进行阈值分割，通过迭代膨胀和分割来识别故障并计算尺寸和定位坐标。

然而，专利文献1中公开的滚动轴承故障检测方法采用的是利用支持向量机方向对声音图谱进行分类，尚未涉及检测精度更高的深度学习的故障检测及分类方法；专利文献2中公开的基于卷积多头自注意力机制的轴承故障检测方法由于采用深度学习对振动信号进行处理，从而该方法比较容易受外界干扰而导致误检和漏检问题；专利文献3公开的基于特征向量基线法的滚动轴承故障检测方法也是对振动信号进行处理，然后判别滚动轴承的故障，该方法存在识别精度不高的问题；专利文献4中公开的红外故障检测识别算法采用的是传统的图像处理算法对故障进行识别定位，该方法同样存在定位精度不高的问题。

鉴于上述问题，本发明提供一种带式输送机的滚轮轴承测温及故障预警装置及方法，以克服上述技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种带式输送机的滚轮轴承测温方法，所述方法包括如下步骤：

S1，采集所述滚轮轴承的可见光样本图像，对所述可见光样本图像进行标注，利用yolov4-tiny网络训练滚轮轴承图像检测模型；

S2，利用所述滚轮轴承图像检测模型检测定位滚轮轴承可见光图像，得到可见光图像中的滚轮轴承位置；

S3，将所述滚轮轴承位置映射到红外图像中，利用红外测温装置对所述红外图像的映射区域的温度进行测量。

在另一实施方式中，对所述可见光样本图像进行标注，还包括：

将labelImg标注工具增加图像批量生成功能和标注文件镜像旋转功能，使用所述labelImg标注工具对所述可见光样本图像进行标注。

在另一实施方式中，将所述滚轮轴承位置映射到红外图像中，还包括：

使用空间融合法对红外图像和可见光图像进行配准和融合。

在另一实施方式中，还包括：

所述yolov4-tiny网络中，将neck部分的特征图与head部分的特征图进行融合重构。

在另一实施方式中，提供一种采用上述的带式输送机的滚轮轴承测温方法进行滚轮轴承故障预警的方法，所述方法包括如下步骤：

S1，采集所述滚轮轴承的可见光样本图像，对所述可见光样本图像进行标注，利用yolov4-tiny网络训练滚轮轴承图像检测模型；

S2，利用所述滚轮轴承图像检测模型检测定位滚轮轴承可见光图像，得到可见光图像中的滚轮轴承位置；

S3，将所述滚轮轴承位置映射到红外图像中，利用红外测温装置对所述红外图像的映射区域的温度进行测量。

S4，通过滚轮轴承温度、检测边框大小、环境温度、目标置信度，对轴承是否存在故障进行判别，产生告警预警。

在另一实施方式中，还包括：

采用判别树算法对轴承是否存在故障进行判别，产生告警预警。

本申请另一方面，还提供一种带式输送机的滚轮轴承测温装置，所述装置包括如下模块：

样本训练模块，用于采集所述滚轮轴承的可见光样本图像，对所述可见光样本图像进行标注，利用yolov4-tiny网络训练滚轮轴承图像检测模型；

滚轮轴承位置获取模块，用于利用所述滚轮轴承图像检测模型检测定位滚轮轴承可见光图像，得到可见光图像中的滚轮轴承位置；

温度测量模块，用于将所述滚轮轴承位置映射到红外图像中，利用红外测温装置对所述红外图像的映射区域的温度进行测量。

在另一实施方式中，对所述可见光样本图像进行标注，还包括：

将labelImg标注工具增加图像批量生成功能和标注文件镜像旋转功能，使用所述labelImg标注工具对所述可见光样本图像进行标注。

作为一种优选的实施方式，将所述滚轮轴承位置映射到红外图像中，还包括：

使用空间融合法对红外图像和可见光图像进行配准和融合。

在另一实施方式中，还包括：

所述yolov4-tiny网络中，将neck部分的特征图与head部分的特征图进行融合重构。

一种采用所述的带式输送机的滚轮轴承测温方法的滚轮轴承故障预警装置，所述装置包括如下模块：

样本训练模块，用于采集所述滚轮轴承的可见光样本图像，对所述可见光样本图像进行标注，利用yolov4-tiny网络训练滚轮轴承图像检测模型；

滚轮轴承位置获取模块，用于利用所述滚轮轴承图像检测模型检测定位滚轮轴承可见光图像，得到可见光图像中的滚轮轴承位置；

温度测量模块，用于将所述滚轮轴承位置映射到红外图像中，利用红外测温装置对所述红外图像的映射区域的温度进行测量；

故障预警模块，用于通过滚轮轴承温度、检测边框大小、环境温度、目标置信度，对轴承是否存在故障进行判别，产生告警预警。

在另一实施方式中，还包括：

采用判别树算法对轴承是否存在故障进行判别，产生告警预警。

可见，本发明提供的带式输送机的滚轮轴承测温方法及故障预警方法采用了基于yolov4-tiny的深度学习方法通过采集的滚轮轴承视频图像来训练滚轮轴承图像检测模型并进行滚轮轴承故障定位，可见光图像不容易受温度干扰，通过yolov4-tiny目标检测算法对故障进行定位并采用红外测温对该区域温度进行测量，从而有效降低了误检和漏检问，从而提高了滚轮轴承测温及故障预警的准确性；进一步的，结合红外测温及决策树判断方法，将深度学习目标检测算法应用到带式输送机的滚轮轴承故障检测预警，从而进一步提高了滚轮轴承故障预警的准确性。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一个实施例的一种带式输送机的滚轮轴承测温方法的步骤示意图。

图2是本发明一个实施例的改进的yolov4-tiny网络的结构示意图。

图3是本发明一个实施例的一种带式输送机的滚轮轴承故障预警方法的判断过程示意图。

图4是本发明一个实施例的一种带式输送机的滚轮轴承测温与故障预警方法的步骤示意图。

图5是本发明一个实施例的一种带式输送机的滚轮轴承测温与故障预警方法的步骤示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：

作为一种实施例，本发明提供一种带式输送机的滚轮轴承测温方法，结合图1所示，所述方法包括如下步骤：

S1，采集所述滚轮轴承的可见光样本图像，对所述可见光样本图像进行标注，利用Yolov4-tiny网络训练滚轮轴承图像检测模型。

S2，利用所述滚轮轴承图像检测模型检测定位滚轮轴承可见光图像，得到可见光图像中的滚轮轴承位置；

S3，将所述滚轮轴承位置映射到红外图像中，利用红外测温装置对所述红外图像的映射区域的温度进行测量，从而得到该区域滚轮轴承的温度。

作为一种优选的实施方式，对所述可见光样本图像进行标注，还包括：

将labelImg标注工具增加图像批量生成功能和标注文件镜像旋转功能，使用所述labelImg标注工具对所述可见光样本图像进行标注。需要说明的是，本发明通过对labelImg标注工具进行改进，增加批量图像样本和标注文件镜像旋转功能，增加样本数量和多样性，从而对采集的轴承样本图像进行标注和扩增。然后，使用改进的labelImg标注工具工作对采集的样本进行boundbox标注，标注结束后，批量生成已标注的图像样本和标注文件的镜像样本。也可利用labelImg标注工具对融合图像中的滚轮轴承进行标注，建立融合滚轮轴承融合图像训练样本集。

作为一种优选的实施方式，将所述滚轮轴承位置映射到红外图像中，还包括：

使用空间融合法对红外图像和可见光图像进行配准和融合。需要说明的是，本发明通过对式输送机的滚轮测温装置获取可见光图像和红外图像，然后将可见光图像和红外图像进行配准和融合，实现红外图像与可见光图像位置映射。例如，对红外图像和可见光图像进行融合，可到融合图像；采集滚轮轴承融合图像样本。

优选的，通过如下方式建立可见光与红外图像映射模型：

采用空间域映射方法以空间像素为对象，采用加权运算法则构建映射函数，定义可见光图像为V、红外图像为I，配准融合后的图像为F。令常数V、I分别为可见光图像和红外图像的加权值，那么像素平均法的融合结果如下：

F(i，j)＝αVV(i，j)+αII(i，j)

其中V、I是全局参数，(i,j)是像素点坐标。

在红外图像中目标的亮暗程度使用区域的均值进行衡量，可见光图像的对比度和层次差异利用区域标准差进行衡量，那么两者的权重如下式所示。



直接设置分量权重或者用更复杂一些的相关系数Cor来确定，为了简单也可以取值。



其中，V和I分别表示两幅图像在该邻域内的平均像素。

作为一种优选的实施方式，还包括：

所述yolov4-tiny网络中，将neck部分的特征图与head部分的特征图进行融合重构。需要说明的是，本发明针对工业复杂环境场景，对yolov4-tiny进行改进，将neck部分的特征图与head部分的特征图进行融合重构，实现图像特征的增强，改进的增强网络如图2所示，其中，backbone实现对是图像中特征的提取，neck实现对backbone提取的特征进一步细化。利用yolov4-tiny检测算法对可见光图像滚轮轴承进行检测定位，然后将可见光图像中检测到的滚轮轴承位置映射到红外图像中，即将改进yolov4-tiny检测到的滚轮轴承位置映射到红外图像中，利用红外测温装置对映射区域温度进行测量。也可利用yolov4-tiny训练目标检测模型，实现对融合图像中滚轮轴承的检测，获得融合图像中滚轮轴承的位置信息。由此，通过对yolov4-tiny检测网络进行改进，然后训练带式输送机的滚轮轴承检测模型，实现对带式输送机的滚轮轴承的检测定位，从而提高了滚轮轴承的检测定位精度和准确性。

实施例二：

作为另一种实施例，本发明提供一种采用所述的带式输送机的滚轮轴承测温方法的滚轮轴承故障预警方法，结合图1所示，所述方法包括如下步骤：

S1，使用可见光图像摄像机采集拍摄带式输送机的所述滚轮轴承的可见光样本图像，对所述可见光样本图像进行标注，利用yolov4-tiny网络训练滚轮轴承图像检测模型；

S2，利用所述滚轮轴承图像检测模型检测定位滚轮轴承可见光图像，得到可见光图像中的滚轮轴承位置；

S3，将所述滚轮轴承位置映射到红外图像中，利用红外测温装置对所述红外图像的映射区域的温度进行测量；

S4，通过滚轮轴承温度、滚轮轴承检测边框大小、环境温度、滚轮轴承置信度即目标置信度，对轴承是否存在故障进行判别，产生告警预警。需要说明的是，本发明通过红外测温温度、检测置信度、检测面积、环境温度建立决策树模型，判断故障和对故障进行预警。依次确定对象是否为轴承、是轴承时确定该轴承的红外温度是否大于第一设定温度阈值、在轴承的红外温度大于第一设定温度阈值时确定检测框面积是否大于预设面积阈值、在检测框面积大于预设面积阈值时检测置信度是否大于给定阈值、在检测置信度大于给定阈值时检测环境温度是否大于第二预定温度阈值、在环境温度大于第二预定温度阈值时判定所述轴承存在故障；反之，在不满足上述任一判断条件时判定所述轴承不存在故障，判断过程如图3所示。进一步的，利用yolov4-tiny检测到可见光视频图像中滚轮轴承，获取检测框的位置信息；将滚轮轴承检测框位置信息，映射到红外图像中，利用红外测温原理，获取该区域的温度；通过判断检测框大小，可消除一些误检；通过检测置信度判断，也可能提高精度精度；通过温度的判断可以判断滚轮轴承是否存在故障。通过滚轮轴承区域温度、检测边框大小、环境温度、目标置信度，采用判别树算法对轴承是否存在故障进行判别，产生告警预警。可见，本发明利用yolov4-tiny目标检测算法训练轻量化检测模型，实现了对视频图像中滚轮轴承实时检测，实现对滚轮轴承的精确定位；结合图像融合和红外测温方法，实现滚轮轴承测温；运用决策树方法，实现滚轮轴承故障预警告警，有效缓解了带式输送机滚轮故障导致生产停歇的问题，为安全生产提供保障。与现有的技术相比，能够更精确的对故障进行定位和预警。

作为一种优选的实施方式，还包括：

采用判别树算法对轴承是否存在故障进行判别，产生告警预警。

实施例三：

作为另一种实施例，本发明提供一种带式输送机的滚轮轴承测温与故障预警方法，结合图1所示，所述方法包括如下步骤：

S11，对labelImg标注工具进行改进，增加批量图像样本和标注文件镜像旋转功能；

S12，使用空间融合的方法对带式输送机滚轮测温装置红外图像和可见光图像进行配准和融合；

S13，采集可见光滚轮轴承图像样本，对滚轮轴承进行标注，利用改进的yolov4-tiny网络训练检测模型；

S14，利用yolov4-tiny检测算法对可见光图像滚轮轴承进行检测定位，然后将可见光图像中检测到的滚轮轴承位置映射使用红外图像中利用红外测温装置对映射区域温度进行测量；

S15，通过滚轮轴承温度、检测边框大小、环境温度、目标置信度，采用判别树算法对轴承是否存在故障进行判别，产生告警预警。

由此，实施例三的实现过程有5个部分，第1部分采集可见光摄像机拍摄的带式输送机滚轮样本图像，利用改进的labelImg标注工具对滚轮进行标注和扩增，得到标注的原始样本和扩增样本，建立滚轮轴承训练样本库；第2部分对可见光图像和红外图像进行配准和融合，使红外摄像机拍摄的图像和可见光摄像机拍摄的图像大小一致，位置一致；第3部分对yolov4-tiny算法进行改进，利用建立的滚轮样本库和改进的yolov4-tiny网络训练滚轮轴承检测模型，实现对可见光视频图像中滚轮轴承的实时检测，输出滚轮轴承检测框在图像中的坐标座位信息；第4部分将改进yolov4-tiny检测到可见光图像中的滚轮轴承位置信息映射到红外图像中，利用红外测温装置对映射区域温度进行测量，输出该区域红外热像温度；第5部分利用判别树算法实现对轴承故障的判定。

实施例四：

作为另一种实施例，本发明提供一种带式输送机的滚轮轴承测温与故障预警方法，结合图4或图5所示，所述方法包括如下步骤：

S21，对labelImg标注工具进行改进，增加批量图像样本和标注文件镜像旋转功能，使labelImg标注工具能对原始样本和标注文件进行镜像扩增，增加样本数据量和多样性；

S22，采集可见光滚轮轴承图像样本，利用改进的labelImg标注工具对滚轮轴承进行标注和扩增，建立滚轮轴承训练样本库；

S23，使用空间融合的方法对带式输送机滚轮测温装置红外图像和可见光图像进行配准和融合；

S24，对yolov4-tiny网络进行改进，利用改进的yolov4-tiny网络和建立的滚轮轴承样本训练集，训练滚轮轴承检测模型；

S25，利用训练的轴承检测模型，实现对可见光视频图像中滚轮的检测，得到检测框位置信息；

S26，将得到的滚轮检测框位置信息映射到红外图像，利用红外测温特性即可得到该区域滚轮的温度；

S27，通过滚轮轴承温度、滚轮轴承检测框大小、环境温度、滚轮轴承检测置信度，采用判别树算法对轴承是否存在故障进行判别，产生告警预警。

可见，结合上述四个实施例，本发明提供的带式输送机的滚轮轴承测温方法及故障预警方法通过对labelImg标注工具进行改进，对采集的轴承样本进行标注和扩增；通过可见光和红外图像配准和融合，实现红外图像与可见光图像位置映射；通过对yolov4-tiny检测网络进行改进，然后训练带式输送机的滚轮轴承检测模型，实现对带式输送机的滚轮轴承的检测定位；通过红外测温仪，实现对定位的滚轮轴承区域温度的测量；通过轴承区域温度、边框大小、环境温度、目标置信度，利用判别树算法实现对轴承故障的判定。由于本发明采用了基于yolov4-tiny的深度学习方法通过采集的滚轮轴承视频图像来训练滚轮轴承图像检测模型并进行滚轮轴承故障定位，可见光图像不容易受温度干扰，通过yolov4-tiny目标检测算法对故障进行定位并采用红外测温对该区域温度进行测量，从而有效降低了误检和漏检问，从而提高了滚轮轴承测温及故障预警的准确性；进一步的，结合红外测温及决策树判断方法，将深度学习目标检测算法应用到带式输送机的滚轮轴承故障检测预警，从而进一步提高了滚轮轴承故障预警的准确性。从而解决了视频图像中输送机滚轮轴承的精确检测定位、测温和故障预警，缓解了带式输送机滚轮故障导致生产停歇的问题，为安全生产提供保障。

实施例五：

作为另一种实施例，本发明提供一种带式输送机的滚轮轴承测温装置，所述装置包括如下模块：

样本训练模块，用于采集所述滚轮轴承的可见光样本图像，对所述可见光样本图像进行标注，利用yolov4-tiny网络训练滚轮轴承图像检测模型；

滚轮轴承位置获取模块，用于利用所述滚轮轴承图像检测模型检测定位滚轮轴承可见光图像，得到可见光图像中的滚轮轴承位置；

温度测量模块，用于将所述滚轮轴承位置映射到红外图像中，利用红外测温装置对所述红外图像的映射区域的温度进行测量。

作为一种优选的实施方式，对所述可见光样本图像进行标注，还包括：

将labelImg标注工具增加图像批量生成功能和标注文件镜像旋转功能，使用所述labelImg标注工具对所述可见光样本图像进行标注。需要说明的是，本发明通过对labelImg标注工具进行改进，增加批量图像样本和标注文件镜像旋转功能，增加样本数量和多样性，从而对采集的轴承样本图像进行标注和扩增。然后，使用改进的labelImg标注工具工作对采集的样本进行boundbox标注，标注结束后，批量生成已标注的图像样本和标注文件的镜像样本。也可利用labelImg标注工具对融合图像中的滚轮轴承进行标注，建立融合滚轮轴承融合图像训练样本集。

作为一种优选的实施方式，将所述滚轮轴承位置映射到红外图像中，还包括：

使用空间融合法对红外图像和可见光图像进行配准和融合。需要说明的是，本发明通过对式输送机的滚轮测温装置获取可见光图像和红外图像，然后将可见光图像和红外图像进行配准和融合，实现红外图像与可见光图像位置映射。例如，对红外图像和可见光图像进行融合，可到融合图像；采集滚轮轴承融合图像样本。

优选的，通过如下方式建立可见光与红外图像映射模型：

采用空间域映射方法以空间像素为对象，采用加权运算法则构建映射函数，定义可见光图像为V、红外图像为I，配准融合后的图像为F。令常数V、I分别为可见光图像和红外图像的加权值，那么像素平均法的融合结果如下：

F(i，j)＝αVV(i，j)+αII(i，j)

其中V、I是全局参数，(i,j)是像素点坐标。

在红外图像中目标的亮暗程度使用区域的均值进行衡量，可见光图像的对比度和层次差异利用区域标准差进行衡量，那么两者的权重如下式所示。



直接设置分量权重或者用更复杂一些的相关系数Cor来确定，为了简单也可以取值。



其中，V和I分别表示两幅图像在该邻域内的平均像素。

作为一种优选的实施方式，还包括：

所述yolov4-tiny网络中，将neck部分的特征图与head部分的特征图进行融合重构。需要说明的是，本发明针对工业复杂环境场景，对yolov4-tiny进行改进，将neck部分的特征图与head部分的特征图进行融合重构，实现图像特征的增强，改进的增强网络如图2所示，其中，backbone实现对是图像中特征的提取，neck实现对backbone提取的特征进一步细化。利用yolov4-tiny检测算法对可见光图像滚轮轴承进行检测定位，然后将可见光图像中检测到的滚轮轴承位置映射到红外图像中，即将改进yolov4-tiny检测到的滚轮轴承位置映射到红外图像中，利用红外测温装置对映射区域温度进行测量。也可利用yolov4-tiny训练目标检测模型，实现对融合图像中滚轮轴承的检测，获得融合图像中滚轮轴承的位置信息。由此，通过对yolov4-tiny检测网络进行改进，然后训练带式输送机的滚轮轴承检测模型，实现对带式输送机的滚轮轴承的检测定位，从而提高了滚轮轴承的检测定位精度和准确性。

实施例六：

作为另一种实施例，本发明提供一种采用所述的带式输送机的滚轮轴承测温方法的滚轮轴承故障预警装置，所述装置包括如下模块：

样本训练模块，用于采集所述滚轮轴承的可见光样本图像，对所述可见光样本图像进行标注，利用yolov4-tiny网络训练滚轮轴承图像检测模型；

滚轮轴承位置获取模块，用于利用所述滚轮轴承图像检测模型检测定位滚轮轴承可见光图像，得到可见光图像中的滚轮轴承位置；

温度测量模块，用于将所述滚轮轴承位置映射到红外图像中，利用红外测温装置对所述红外图像的映射区域的温度进行测量；

故障预警模块，用于通过滚轮轴承温度、检测边框大小、环境温度、目标置信度，对轴承是否存在故障进行判别，产生告警预警。需要说明的是，本发明通过红外测温温度、检测置信度、检测面积、环境温度建立决策树模型，判断故障和对故障进行预警。依次确定对象是否为轴承、是轴承时确定该轴承的红外温度是否大于第一设定温度阈值、在轴承的红外温度大于第一设定温度阈值时确定检测框面积是否大于预设面积阈值、在检测框面积大于预设面积阈值时检测置信度是否大于给定阈值、在检测置信度大于给定阈值时检测环境温度是否大于第二预定温度阈值、在环境温度大于第二预定温度阈值时判定所述轴承存在故障；反之，在不满足上述任一判断条件时判定所述轴承不存在故障，判断过程如图3所示。进一步的，利用yolov4-tiny检测到可见光视频图像中滚轮轴承，获取检测框的位置信息；将滚轮轴承检测框位置信息，映射到红外图像中，利用红外测温原理，获取该区域的温度；通过判断检测框大小，可消除一些误检；通过检测置信度判断，也可能提高精度精度；通过温度的判断可以判断滚轮轴承是否存在故障。通过滚轮轴承区域温度、检测边框大小、环境温度、目标置信度，采用判别树算法对轴承是否存在故障进行判别，产生告警预警。可见，本发明利用yolov4-tiny目标检测算法训练轻量化检测模型，实现了对视频图像中滚轮轴承实时检测，实现对滚轮轴承的精确定位；结合图像融合和红外测温方法，实现滚轮轴承测温；运用决策树方法，实现滚轮轴承故障预警告警，有效缓解了带式输送机滚轮故障导致生产停歇的问题，为安全生产提供保障。与现有的技术相比，能够更精确的对故障进行定位和预警。

作为一种优选的实施方式，还包括：

采用判别树算法对轴承是否存在故障进行判别，产生告警预警。

作为另一种实施例，本发明提供一种带式输送机的滚轮轴承测温与故障预警装置，所述装置包括如下模块：

样本标注模块，用于对labelImg标注工具进行改进，增加批量图像样本和标注文件镜像旋转功能，使labelImg标注工具能对原始样本和标注文件进行镜像扩增，增加样本数据量和多样性；

样本标注模块，用于采集可见光滚轮轴承图像样本，利用改进的labelImg标注工具对滚轮轴承进行标注和扩增，建立滚轮轴承训练样本库；

图像融合模块，用于使用空间融合的方法对带式输送机滚轮测温装置红外图像和可见光图像进行配准和融合；

样本训练模块，用于对yolov4-tiny网络进行改进，利用改进的yolov4-tiny网络和建立的滚轮轴承样本训练集，训练滚轮轴承检测模型；

检测框位置获取模块，用于利用训练的轴承检测模型，实现对可见光视频图像中滚轮的检测，得到检测框位置信息；

温度测量模块，用于将得到的滚轮检测框位置信息映射到红外图像，利用红外测温特性即可得到该区域滚轮的温度；

故障预警模块，用于通过滚轮轴承温度、滚轮轴承检测框大小、环境温度、滚轮轴承检测置信度，采用判别树算法对轴承是否存在故障进行判别，产生告警预警。

可见，结合上述实施例四至实施例六，本发明提供的带式输送机的滚轮轴承测温及故障预警装置通过对labelImg标注工具进行改进，对采集的轴承样本进行标注和扩增；通过可见光和红外图像配准和融合，实现红外图像与可见光图像位置映射；通过对yolov4-tiny检测网络进行改进，然后训练带式输送机的滚轮轴承检测模型，实现对带式输送机的滚轮轴承的检测定位；通过红外测温仪，实现对定位的滚轮轴承区域温度的测量；通过轴承区域温度、边框大小、环境温度、目标置信度，利用判别树算法实现对轴承故障的判定。由于本发明采用了基于yolov4-tiny的深度学习方法通过采集的滚轮轴承视频图像来训练滚轮轴承图像检测模型并进行滚轮轴承故障定位，可见光图像不容易受温度干扰，通过Yolov-tiny目标检测算法对故障进行定位并采用红外测温对该区域温度进行测量，从而有效降低了误检和漏检问，从而提高了滚轮轴承测温及故障预警的准确性；进一步的，结合红外测温及决策树判断方法，将深度学习目标检测算法应用到带式输送机的滚轮轴承故障检测预警，从而进一步提高了滚轮轴承故障预警的准确性。从而解决了视频图像中输送机滚轮轴承的精确检测定位、测温和故障预警，缓解了带式输送机滚轮故障导致生产停歇的问题，为安全生产提供保障。

实施例七：

作为另一种实施例，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述带式输送机的滚轮轴承测温方法及故障预警方法。

作为另一种实施例，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储于所述移动终端内的存储器中，所述计算机可读存储介质包括执行上述带式输送机的滚轮轴承测温方法及故障预警方法的程序代码。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。