冶金生产过程中棒材所贴标签的识别方法、装置、设备及介质

权利要求

1.冶金生产过程中棒材所贴标签的识别方法，标签设置于所述棒材的端面，其特征在于，所述方法包括： 采集棒材的端面图像并存入数据库； 对所述数据库内的端面图像进行预处理，得到第一图像； 对预处理得到的第一图像对进行图像增强，得到第二图像； 基于所述第二图像对标签进行标注，并将标注后的第二图像进行格式转换，得到样本图像； 利用所述样本图像对初始神经网络进行训练，得到标签检测模型； 采集棒材标签的端面图像，利用所述标签检测模型对所述端面图像进行检测，得到端面图像中包含的标签； 对所述标签进行识别，得到标签信息。2.根据权利要求1所述的冶金生产过程中棒材所贴标签的识别方法，其特征在于，所述标签检测模型为包括SSD、YOLO中的一种。 3.根据权利要求1所述的冶金生产过程中棒材所贴标签的识别方法，其特征在于，得到端面图像中包含的标签的步骤后，还包括： 确定标签的标签参数，所述标签参数包括标签数量或/和标签斜率； 根据所述标签参数判断所述标签是否异常。 4.根据权利要求1所述的冶金生产过程中棒材所贴标签的识别方法，其特征在于，所述对预处理得到的第一图像对进行图像增强，包括： 对比度增强或/和亮度增强。 5.根据权利要求4所述的冶金生产过程中棒材所贴标签的识别方法，其特征在于，所述对比度增强包括： 将所述第一图像分为低频部分和高频部分；其中，通过低通滤波对所述第一图像进行处理，得到所述低频部分，利用所述第一图像减去所述低频部分，得到高频部分；对所述高频部分进行放大，并将放大后的所述高频部分加入到所述低频部分中，得到第二图像； 其中，第二图像的像素值f(i,j)为: f(i,j)＝m x(i,j)+G(i,j)[x(i,j)-m x(i,j)] m x(i,j)为低频部分的像素值，x(i,j)-m x(i,j)为高频部分的像素值，G(i,j)为增益，大于1；    i,j为图像中心点的坐标，k,l为图像中心点周围邻域的坐标，n为整数，(2n+1) 2为大小为(2n+1)*(2n+1)的区域， 为标准差。 6.根据权利要求4所述的冶金生产过程中棒材所贴标签的识别方法，其特征在于，所述亮度增强包括： 将第一图像的RGB值转换为灰度值，得到转换图像； 增加所述转换图像的像素值，得到第二图像；其中，灰度值转化的公式为：  其中，Gray表示灰度值，R表示红色通道颜色值，G表示绿色通道颜色值，B表示蓝色通道颜色值。 7.根据权利要求3所述的冶金生产过程中棒材所贴标签的识别方法，其特征在于，训练所述标签检测模型的步骤包括： 配置标签检测模型的网络镜像以及与样本图像对应的配置文件； 将所述网络镜像与所述配置文件与容器进行绑定； 拉取所述网络镜像，执行所述配置文件，利用所述样本图像训练所述标签检测模型。 8.冶金生产过程中棒材所贴标签的识别装置，标签设置于所述棒材的端面，其特征在于，所述装置包括： 图像采集模块，用于采集棒材的端面图像并存入数据库； 预处理模块，用于对所述数据库内的端面图像进行预处理，得到第一图像； 增强模块，用于对预处理得到的第一图像对进行图像增强，得到第二图像； 标注模块，用于基于所述第二图像对标签进行标注，并将标注后的第二图像进行格式转换，得到样本图像； 训练模块，用于利用所述样本图像对初始神经网络进行训练，得到标签检测模型； 检测模块，用于利用所述标签检测模型对现场采集棒材标签的端面图像行检测，得到端面图像中包含的标签； 识别模块，用于对所述标签进行识别，得到标签信息。 9.冶金生产过程中棒材所贴标签的识别设备，其特征在于，包括： 一个或多个处理器；和 其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-7中任意一项所述的方法。 10.机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-7中任意一项所述的方法。

说明书

技术领域

本发明涉及工业检测技术领域，尤其涉及一种冶金生产过程中棒材所贴标签的识别方法、装置、设备及介质。

背景技术

在棒材生产车间内，成捆棒材生产完成后均会贴上标签，标签内包含生产信息以及棒材规格信息；产品售出后，运输车行驶到指定位置，起重机从产品放置处吊起棒材放置到运输车上，使棒材捆的标签段朝向图像采集设备，由图像采集设备对棒材上的标签进行采集，从而达到对成品棒材的统计和生产追溯工作。

现有技术中，对于成品棒材的标签录入和扫描均使用人工，即，当起重机将成品棒材放置到运输车后，工人上车用扫描设备手动进行录入。这种人工识别的方法容易出现由于工作时间过长导致疲劳后产生的统计失误，而使用自动的棒材设备标签图像识别方法可以延长有效工作时间，提高信息处理效率，减少人力成本。

目前针对自动扫描获取棒材标签的设备和方法比较少，亟需一种新的技术手段，能够识别完善棒材标签，以及获取标签数据，并对数据进行处理，以保证棒材统计的可靠性和稳定性。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种冶金生产过程中棒材所贴标签的识别方法、装置、设备及介质，用于解决现有技术的至少一个缺陷。

为实现上述目的及其他相关目的，本发明提供一种冶金生产过程中棒材所贴标签的识别方法，设置标签设置于所述棒材的端面，所述方法包括：

采集棒材的端面图像并存入数据库；

对所述数据库内的端面图像进行预处理，得到第一图像；

对预处理得到的第一图像对进行图像增强，得到第二图像；

基于所述第二图像对标签进行标注，并将标注后的第二图像进行格式转换，得到样本图像；

利用所述样本图像对初始神经网络进行训练，得到标签检测模型；

采集棒材标签的端面图像，利用所述标签检测模型对所述端面图像进行检测，得到端面图像中包含的标签；

对所述标签进行识别，得到标签信息。

可选地，所述标签检测模型为包括SSD、YOLO中的一种。

可选地，得到端面图像中包含的标签的步骤后，还包括：

确定标签的标签参数，所述标签参数包括标签数量或/和标签斜率；

根据所述标签参数判断所述标签是否异常。

可选地，所述对预处理得到的第一图像对进行图像增强，包括：

对比度增强或/和亮度增强。

可选地，所述对比度增强包括：

将所述第一图像分为低频部分和高频部分；其中，通过低通滤波对所述第一图像进行处理，得到所述低频部分，利用所述第一图像减去所述低频部分，得到高频部分；对所述高频部分进行放大，并将放大后的所述高频部分加入到所述低频部分中，得到第二图像；

其中，第二图像的像素值f(i,j)为:

f(i,j)＝m x(i,j)+G(i,j)[x(i,j)-m x(i,j)]

m x(i,j)为低频部分的像素值，x(i,j)-m x(i,j)为高频部分的像素值，G(i,j)为增益，大于1；

i,j为图像中心点的坐标，k,l为图像中心点周围邻域的坐标，n为整数，(2n+1) 2为大小为(2n+1)*(2n+1)的区域， 为标准差。

可选地，所述亮度增强包括：

将第一图像的RGB值转换为灰度值，得到转换图像；

增加所述转换图像的像素值，得到第二图像；其中，灰度值转化的公式为：

其中，Gray表示灰度值，R表示红色通道颜色值，G表示绿色通道颜色值，B表示蓝色通道颜色值。

可选地，训练所述标签检测模型的步骤包括：

配置标签检测模型的网络镜像以及与样本图像对应的配置文件；

将所述网络镜像与所述配置文件与容器进行绑定；

拉取所述网络镜像，执行所述配置文件，利用所述样本图像训练所述标签检测模型。

为实现上述目的及其他相关目的，本发明提供一种冶金生产过程中棒材所贴标签的识别装置，标签设置于所述棒材的端面，所述装置包括：

图像采集模块，用于采集棒材的端面图像并存入数据库；

预处理模块，用于对所述数据库内的端面图像进行预处理，得到第一图像；

增强模块，用于对预处理得到的第一图像对进行图像增强，得到第二图像；

标注模块，用于基于所述第二图像对标签进行标注，并将标注后的第二图像进行格式转换，得到样本图像；

训练模块，用于利用所述样本图像对初始神经网络进行训练，得到标签检测模型；

检测模块，用于利用所述标签检测模型对现场采集棒材标签的端面图像行检测，得到端面图像中包含的标签；

识别模块，用于对所述标签进行识别，得到标签信息。

为实现上述目的及其他相关目的，本发明提供一种冶金生产过程中棒材所贴标签的识别设备，包括：

一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行所述的方法。

为实现上述目的及其他相关目的，本发明提供一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行所述的方法。

如上所述，本发明的一种冶金生产过程中棒材所贴标签的识别方法、装置、设备及介质，具有以下有益效果：

本发明的一种冶金生产过程中棒材所贴标签的识别方法，包括：采集棒材的端面图像并存入数据库；对所述数据库内的端面图像进行预处理，得到第一图像；对预处理得到的第一图像对进行图像增强，得到第二图像；基于所述第二图像对标签进行标注，并将标注后的第二图像进行格式转换，得到样本图像；利用所述样本图像对初始神经网络进行训练，得到标签检测模型；采集棒材标签的端面图像，利用所述标签检测模型对所述端面图像进行检测，得到端面图像中包含的标签；对所述标签进行识别，得到标签信息。本发明通过采集棒材的标签图像并入数据库，对数据库内数据进行预处理，针对预处理后的数据库获取增强图像信息，对增强图像进行标注，将增强图像的标注文件转化为模型适用的文件。将其发送至数据库，进行神经网络训练，然后利用训练好的神经网络来检测标签并识别标签，从而代替人工对冶金过程中棒材标签进行识别和实时统计，提高可靠性和精度，降低误差。

附图说明

图1为本发明一实施例一种冶金生产过程中棒材所贴标签的识别方法的流程图；

图2为本发明一实施例增强前的图像；

图3为本发明一实施例增强后的图像；

图4为本发明一实施例标签检测模型的网络结构图；

图5为本发明一实施例一种冶金生产过程中棒材所贴标签的识别装置的原理框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本申请实施例提供一种冶金生产过程中棒材所贴标签的识别方法，标签设置于所述棒材的端面，所述方法包括：

S100采集棒材的端面图像并存入数据库；

S200对所述数据库内的端面图像进行预处理，得到第一图像；

S300对预处理得到的第一图像对进行图像增强，得到第二图像；

S400基于所述第二图像对标签进行标注，并将标注后的第二图像进行格式转换，得到样本图像；

S500利用所述样本图像对初始神经网络进行训练，得到标签检测模型；

S600采集棒材标签的端面图像，利用所述标签检测模型对所述端面图像进行检测，得到端面图像中包含的标签；

S700对所述标签进行识别，得到标签信息。

本发明通过采集棒材的标签图像并入数据库，对数据库内数据进行预处理，针对预处理后的数据库获取增强图像信息，对增强图像进行标注，将增强图像的标注文件转化为模型适用的文件。将其发送至数据库，进行神经网络训练，然后利用训练好的神经网络来检测标签并识别标签，从而代替人工对冶金过程中棒材标签进行识别和实时统计，提高可靠性和精度，降低误差。

在步骤S200中，对所述数据库内的端面图像进行预处理，得到第一图像，包括：

对所述数据库内的重复的端面图像进行删减。具体地，可以通过计算两两图片之间的相似度，将相似度超过相似度阈值的图片认为是相同图片，随机删除其中一张图片。当然，在对重复图片进行删除时，还可以先对其质量进行评估，删除质量较低的重复图片。图片的质量可以结合对比度、亮度、清晰度等进行综合计算。对图片质量的计算属于常规技术手段，此处不再进行赘述。

在步骤S300中，对预处理得到的第一图像对进行图像增强，得到第二图像；增强前与增强后的图分别如图2和图3所示。

在一实施例，所述对预处理得到的第一图像对进行图像增强，包括：对比度增强或/和亮度增强。

具体地，所述对比度增强包括：

将所述第一图像分为低频部分和高频部分；其中，通过低通滤波(平滑，模糊技术)对所述第一图像进行处理，得到所述低频部分，利用所述第一图像减去所述低频部分，得到高频部分；对所述高频部分进行放大(放大系数集为对比度增益CG)，并将放大后的所述高频部分加入到所述低频部分中，得到第二图像；

其中，第二图像的像素值f(i,j)为:

f(i,j)＝m x(i,j)+G(i,j)[x(i,j)-m x(i,j)]

m x(i,j)为低频部分的像素值，x(i,j)-m x(i,j)为高频部分的像素值，G(i,j)为增益，大于1；

i,j为图像中心点的坐标，k,l为图像中心点周围邻域的坐标，n为整数，(2n+1) 2为大小为(2n+1)*(2n+1)的区域， 为标准差。

具体地，利用数值转换的亮度处理，对RGB三值转化为灰度值，再整体增加转化后图像的像素值从而对图像进行亮度增强处理。所述亮度增强包括：

将第一图像的RGB值转换为灰度值，得到转换图像；

增加所述转换图像的像素值，得到第二图像；其中，灰度值转化的公式为：

其中，Gray表示灰度值，R表示红色通道颜色值，G表示绿色通道颜色值，B表示蓝色通道颜色值。

在步骤S400中，基于所述第二图像对标签进行标注，并将标注后的第二图像进行格式转换，得到样本图像；

具体地，在进行标注时，可以利用标注工具Label-Img对第二图像中的标签进行标注，标注出标签的相切矩形，然后将标注好的图像进行格式转换，将xml标注图像转换成模型适用的csv文件，从而进行神经网络训练。通过样本图像对神经网络进行训练，得到标签检测模型。在训练好标签检测模型后，就可以采集棒材标签的端面图像，将端面图像输入至标签检测模型中，利用所述标签检测模型对所述端面图像进行检测，得到端面图像中包含的标签(标签中具有识别码，可以是二维码、条形码、一维码中的一种或多种组合)，然后对标签进行识别，得到标签信息。

在一实施例中，训练所述标签检测模型的步骤包括：

配置标签检测模型的网络镜像以及与样本图像对应的配置文件；将所述网络镜像与所述配置文件与容器进行绑定；拉取所述网络镜像，执行所述配置文件，利用所述样本图像训练所述标签检测模型。在本实施例中，标签检测模型采用SSD模型，其结构如图4所示，在训练标签检测模型的过程中，配置ssd-mobilenet网络镜像，使用ssd-mobilenet轻量级卷积神经网络，根据样本图片的特征确定网络在tensorflow上的配置文件并传入docker。在服务器上拉取镜像，并将上传至服务器的图片用于训练神经网络，并开始训练。

当然，标签检测模型除了可以使用SSD模型，还可以使用YOLO等目标检测网络，也可以用其他目标检测网络替代。

在本实施例中，标签检测模型对标签的检测包括两部分，一是对成捆棒材的检测，检测出每一捆棒材的位置，然后对每捆棒材的端面图像进行标签检测，得到标签。

在步骤S600中，采集棒材标签的端面图像，利用所述标签检测模型对所述端面图像进行检测，得到端面图像中包含的标签。

在标签检测模型对端面图像进行检测时，获取到标签的检测框位置与置信度。每一个检测框表示一个标签。

在一实施例中，得到端面图像中包含的标签的步骤后，还包括：

确定标签的标签参数，所述标签参数包括标签数量或/和标签斜率；

根据所述标签参数判断所述标签是否异常。

若在同一捆成捆棒材的端面图像中检测出相应的标签数量时，则可以从数量这一方面来判断标签正常，若检测的标签的数量与设定的数量不一致，则认为出现了异常。在通过数量判断标签是否正常后，还可以通过检测标签的斜率来判断是否正常。具体地，在正常情况下，检测出来的标签的上、下沿是与图像采集模块采集到的图像的边沿平行的，若出现倾斜超过设定阈值的情况，则会认为标签是不正常的。因此，通过斜率可以判断标签是否正常。在不正常的情况下，可以对标签进行现一次检测。

在一实施例中，通过sftp技术将服务器上的模型文件传回本地，并在本地配置tensorflow-gpu环境后，根据项目需求编辑逻辑，在Local运行模型即可实现算法目标。

在一实施例中，包括：使用较小训练集进行多次拟合，并采用适度的过拟合手段，对于棒材标签识别的深度学习，目的在于提高标签识别的精确度。

如图5所示，本申请实施例提供一种冶金生产过程中棒材所贴标签的识别装置，标签设置于所述棒材的端面，所述装置包括：

图像采集模块100，用于采集棒材的端面图像并存入数据库；

预处理模块200，用于对所述数据库内的端面图像进行预处理，得到第一图像；

增强模块300，用于对预处理得到的第一图像对进行图像增强，得到第二图像；

标注模块400，用于基于所述第二图像对标签进行标注，并将标注后的第二图像进行格式转换，得到样本图像；

训练模块500，用于利用所述样本图像对初始神经网络进行训练，得到标签检测模型；

检测模块600，用于利用所述标签检测模型对现场采集棒材标签的端面图像行检测，得到端面图像中包含的标签；

识别模块700，用于对所述标签进行识别，得到标签信息。

上述冶金生产过程中棒材所贴标签的识别装置实施例与冶金生产过程中棒材所贴标签的识别装置实施例相对应，其具体的说明可以参考方法实施例，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。

本申请实施例还提供了一种机器可读介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

冶金生产过程中棒材所贴标签的识别方法、装置、设备及介质.pdf