转炉下渣监测方法及系统

1545 编辑：中冶有色技术网来源：北京科技大学

2022-06-16 16:28:16

权利要求

1.转炉下渣监测方法，其特征在于，包括如下步骤：

步骤S1，采集转炉出钢过程中不同倾斜角度下的图片，所述图片覆盖出钢的完整过程，且每张图片至少包含炉口的钢渣图像；

步骤S2，对图片中的每个像素点进行标注，分别标注为背景、钢渣、炉内壁、炉口四个类别的分割标签，并将标签与图片的倾斜角度进行绑定；

步骤S3，将所有标注了标签的图片生成图片数据集，并将图片数据集按照预设比例划分为训练集和验证集；

步骤S4，构建图像双流分割模型，所述图像双流分割模型包括一个Stem模块、第一流卷积模块、第二流P-E模块、至少两个基于Transformer模型的融合模块、至少两个第一流下采样模块、至少两个第二流下采样模块和分割头模块，且融合模块和第一流下采样模块、第二流下采样模块的数量相同，数量为最大级数，并按级数依次排列；其中，第一流卷积模块和第二流P-E模块的输入端同时与Stem模块相连，输出端同时与第一级融合模块相连；所述融合模块的输出端同时与同级的第一流下采样模块和第二流下采样模块相连；除第一级融合模块外，其余级别的融合模块的输入端同时与上一级的第一流下采样模块和第二流下采样模块相连；最后一级第一流下采样模块和第二流下采样模块同时与分割头模块相连；

步骤S5，采用训练集和验证集对所述图像双流分割模型进行训练和验证，得到成熟的图像双流分割模型；

步骤S6，捕捉现场转炉的实时出钢图片，将图片进行预处理后，输入成熟的图像双流分割模型，并输出分割结果，得到钢渣、炉口和炉内壁的实时监测位置。

2.根据权利要求1所述的转炉下渣监测方法，其特征在于，所述融合模块包括至少一组融合单元和分流单元；其中，

每个融合单元包括卷积子模块、轻量化Transformer子模块和拼接融合子模块，其中卷积子模块包括连续卷积层和/或残差卷积层、批标准化层及ReLU激活函数层，轻量化Transformer子模块包括自注意力机制层、归一化层和多层感知机，拼接融合子模块包括转换序列特征维度层和拼接合并层；

每个分流单元包括1×1卷积子模块和P-E子模块，其中1×1卷积子模块包括1×1且步长为1的卷积层、批标准化层及ReLU激活函数，P-E子模块包括转换特征图维度层和线性映射层；

每个融合单元中，卷积子模块的输入端与第一流卷积模块相连，输出端与拼接融合子模块相连；轻量化Transformer子模块的输入端与第二流P-E模块相连，输出端与拼接融合子模块相连；拼接融合子模块的输出端再与分流单元相连，分流单元再分别与同一融合模块中的下一组卷积子模块、轻量化Transformer子模块相连或与同一级的第一流下采样模块和第二流下采样模块相连。

3.根据权利要求1或2所述的转炉下渣监测方法，其特征在于，步骤S4中所述Stem模块，包含卷积核大小为7×7且步长为2的卷积层、批标准化层及ReLU激活函数；所述第一流卷积模块包括1×1且步长为1的卷积层、批标准化层及ReLU激活函数；所述第二流P-E模块包括转换特征图维度层和线性映射层。

4.根据权利要求3所述的转炉下渣监测方法，其特征在于，所述第一流下采样模块包括最大池化层和1×1且步长为1的卷积层，第二流下采样模块包括转换序列特征维度层、最大池化层、1×1且步长为1的卷积层和转换特征图维度层；所述分割头模块包括转换序列特征维度层、拼接合并层、上采样层、1×1且步长为1的卷积层和归一化指数层。

5.根据权利要求4所述的转炉下渣监测方法，其特征在于，步骤S5中，假设输入图片的高为H，宽为W，C为模型的基础通道维度数，D为模型的基础序列维度数，图像双流分割模型中包括N级融合模块、N级第一流下采样模块和N级第二流下采样模块；训练及验证过程如下：

步骤S51，图片输入Stem模块后，输出特征图大小为C×H/2×W/2；

步骤S52，将所述特征图通过1×1卷积模块和P-E模块进行分流，第一流经过1×1卷积模块后得到大小为C×H/2×W/2的特征图，第二流经过P-E模块后得到大小为D×（HW/4）的序列特征；

步骤S53，将第一流卷积模块输出的特征图和第二流PE模块输出的序列特征同时输入到第一级融合模块中，经第一级融合模块的融合，增强了模型的特征提取能力，得到大小为C×H/2×W/2的特征图和D×（HW/4）的序列特征；

步骤S54，将C×H/2×W/2的特征图和D×（HW/4）的序列特征分别输入第一流下采样模块和第二流下采样模块；在第一流下采样模块中，第一流特征图经最大池化层和1×1且步长为1的卷积层将特征图分辨率减半，通道数翻倍，得到大小为2C×H/4×W/4的特征图；在第二流下采样模块中，第二流序列特征经转换序列特征维度层得到大小为D×H/2×W/2的特征图，然后经过最大池化层和1×1且步长为1的卷积层将特征图分辨率减半，通道数翻倍，得到大小为2D×H/4×W/4的特征图，再经过转换特征图维度层得到2D×（HW/16）的序列特征；

步骤S55，进入各级融合模块的融合和各级第一流下采样模块和第二流下采样模块的下采样的循环，直到将最后一级融合特征图分流，分别进入最后一级第一流下采样模块和第二流下采样模块，最终第一流输出大小为(2N)C×H/(2N+1)×W/(2N+1)的特征图，第二流输出大小(2N)D×（HW/(2N+1)2）的序列特征；

步骤S56，将最后一级输出的双流特征汇聚到分割头模块，通过拼接合并层合并后，经过卷积层、上采样层和归一化指数层输出分割结果；

步骤S57，将模型输出的分割结果与图片数据集对应的分割标签进行损失计算，根据损失函数的计算结果通过梯度的反传值更新模型参数，经验证集验证后，得到成熟的图像分割模型。

6.根据权利要求5所述的转炉下渣监测方法，其特征在于，步骤S53和步骤S54所述融合模块的融合，执行如下操作：

特征图和序列特征进入到第i级融合模块中的融合单元，第一流经过卷积子模块得到大小为(2i-1)C×H/2i×W/2i的特征图，第二流经过轻量化Transformer子模块得到大小为(2i-1)D×（HW/(2i)2）的序列特征，然后第一流特征图和第二流序列特征同时进入到拼接融合子模块中，在拼接融合子模块中，第二流的序列特征经转换序列特征维度层将大小为(2i-1)D×（HW/(2i)2）序列特征转换成大小为(2i-1)D×H/2i×W/2i的特征图，再与第一流的特征图经过拼接合并层在通道维度上进行拼接得到大小为(2i-1)（C+D）×H/2i×W/2i的融合特征图；再将融合特征图再输入到分流单元中，在分流单元中，经过1×1卷积子模块得到大小为(2i-1)C×H/2i×W/2i的第一流特征图，经过P-E子模块得到大小为(2i-1)D×（HW/(2i)2）的第二流序列特征；

第一流特征图和第二流序列特征再进入到下一组融合单元和分流单元或同一级第一流下采样模块和第二流下采样模块；若进入下一组融合单元和分流单元，则重复融合单元和分流单元的操作。

7.根据权利要求5所述的转炉下渣监测方法，其特征在于，步骤S51训练前，对图片进行随机水平翻转、随机竖直翻转、随机多尺度变换、随机角度变换和/或MixUp变换，对应的标签做同样变换。

8.转炉下渣监测系统，其特征在于，所述监测系统包括：数据采集子系统、图像双流分割模型子系统、实时图片采集及监测结果输出子系统；其中，

所述数据采集子系统包括：历史图片获取模块、分割标签标注模块、数据集生成模块；所述历史图片获取模块用于采集转炉出钢过程中不同倾斜角度下的图片，所述图片覆盖出钢的完整过程，且每张图片至少包含炉口的钢渣图像；所述分割标签标注模块用于对图片中的每个像素点进行标注，分别标注为背景、钢渣、炉内壁、炉口四个类别的分割标签，并将标签与图片的倾斜角度进行绑定；所述数据集生成模块用于将所有标注了标签的图片生成图片数据集，并将图片数据集按照预设比例划分为训练集和验证集；

所述图像双流分割模型子系统用于提供图像双流分割模型，并完成训练和验证得到成熟的图像双流分割模型；其中，所述图像双流分割模型包括：一个Stem模块、第一流卷积模块、第二流P-E模块、至少两个融合模块、至少两个第一流下采样模块、至少两个第二流下采样模块和分割头模块，且融合模块和第一流下采样模块、第二流下采样模块的数量相同，数量为最大级数，并按级数依次排列；其中，第一流卷积模块和第二流P-E模块的输入端同时与Stem模块相连，输出端同时与第一级融合模块相连；所述融合模块的输出端同时与同级的第一流下采样模块和第二流下采样模块相连；除第一级融合模块外，其余级别的融合模块的输入端同时与上一级的第一流下采样模块和第二流下采样模块相连；最后一级第一流下采样模块和第二流下采样模块同时与分割头模块相连；

所述实时图片采集及监测结果输出子系统用于捕捉现场转炉的实时出钢图片，将图片进行预处理后，发送给所述图像双流分割模型子系统；并接收成熟的图像双流分割模型所得到的分割结果，输出钢渣、炉口和炉内壁的实时监测位置。

9.根据权利要求8所述的转炉下渣监测系统，其特征在于，所述融合模块包括至少一组融合单元和分流单元；其中，

说明书

技术领域

[0001]本发明属于冶金工艺与设备领域，具体涉及转炉下渣监测方法及系统。

背景技术

[0002]转炉炼钢是以铁水、废钢、铁合金为主要原料，不借助外加能源，靠铁液本身的物理热和铁液组分间化学反应产生热量而在转炉中完成炼钢的过程；炼制过程中在钢水上会产生钢渣，出钢时挡住钢渣，以免钢包上层的钢渣过厚影响钢包质量，挡渣过程一般称为下渣或出渣。在炼钢生产现场中，减少转炉出钢时的下渣量是提高钢水质量的一个重要因素。如果下渣量过大，钢水容易出现回锰、回磷、回硅等现象，使得钢水成分难以控制，容易产生杂质，并在后续精炼中消耗较多的脱氧剂，增加额外的冶炼成本；而且，下渣时转炉倾斜角度过大，钢渣不但会流入钢包中，溢出量过大的话还可能会溅到钢包行车轨道上，对周围的生产设备造成损害。因此，需要对转炉下渣进行实时监测及处理，并尽可能减少下渣量。

[0003]现有技术中，在炼钢现场的下渣监测方法一般包括人工法、传感器法和图像处理法。其中，采用操作人员观察法来监测转炉下渣情况时，监测质量与操作人员状态和经验有关，灵活性差，而且生产过程中产生的化学物质会对人体造成危害；传感器法受实际环境影响较大，扛干扰能力差，还容易发生危险，需要维护并且维护成本较高；图像处理法又包括基于传统图像处理的方法和基于深度神经网络的图像处理方法；其中，传统的图像处理算法，由于炼钢现场环境复杂，采集到的图片噪声多，抗干扰能力差，精度低，无法满足实际要求，而基于深度神经网络的图像处理方法，现有的网络结构在复杂的炼钢场景中提取全局信息能力较差，导致识别结果不理想，尤其是当钢渣靠近炉口时，容易产生误分割，另外，高精度的网络模型复杂度高、实时性差，无法满足实时性要求。

发明内容

[0004]有鉴于此，本发明实施例提供了一种转炉下渣监测方法及系统，以提高下渣监测的实时性和准确性。

[0005]为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明实施例提供了一种转炉下渣监测方法，包括如下步骤：

步骤S1，采集转炉出钢过程中不同倾斜角度下的图片，所述图片覆盖出钢的完整过程，且每张图片至少包含炉口的钢渣图像；

步骤S2，对图片中的每个像素点进行标注，分别标注为背景、钢渣、炉内壁、炉口四个类别的分割标签，并将标签与图片的倾斜角度进行绑定；

步骤S3，将所有标注了标签的图片生成图片数据集，并将图片数据集按照预设比例划分为训练集和验证集；

步骤S5，采用训练集和验证集对所述图像双流分割模型进行训练和验证，得到成熟的图像双流分割模型；

[0006]作为本发明的一个优选实施例，所述融合模块包括至少一组融合单元和分流单元；其中，

[0007]作为本发明的一个优选实施例，步骤S4中所述Stem模块，包含卷积核大小为7×7且步长为2的卷积层、批标准化层及ReLU激活函数；所述第一流卷积模块包括1×1且步长为1的卷积层、批标准化层及ReLU激活函数；所述第二流P-E模块包括转换特征图维度层和线性映射层。

[0008]作为本发明的一个优选实施例，所述第一流下采样模块包括最大池化层和1×1且步长为1的卷积层，第二流下采样模块包括转换序列特征维度层、最大池化层、1×1且步长为1的卷积层和转换特征图维度层；所述分割头模块包括转换序列特征维度层、拼接合并层、上采样层、1×1且步长为1的卷积层和归一化指数层。

[0009]作为本发明的一个优选实施例，步骤S5中，假设输入图片的高为H，宽为W，C为模型的基础通道维度数，D为模型的基础序列维度数，图像双流分割模型中包括N级融合模块、N级第一流下采样模块和N级第二流下采样模块；训练及验证过程如下：

步骤S51，图片输入Stem模块后，输出特征图大小为C×H/2×W/2；

步骤S56，将最后一级输出的双流特征汇聚到分割头模块，通过拼接合并层合并后，经过卷积层、上采样层和归一化指数层输出分割结果；

[0010]作为本发明的一个优选实施例，步骤S53和步骤S54所述融合模块的融合，执行如下操作：

特征图和序列特征进入到第i级融合模块中的融合单元，第一流经过卷积子模块得到大小为(2i-1 )C×H/2i×W/2i的特征图，第二流经过轻量化Transformer子模块得到大小为(2i-1 )D×（HW/(2i)2）的序列特征，然后第一流特征图和第二流序列特征同时进入到拼接融合子模块中，在拼接融合子模块中，第二流的序列特征经转换序列特征维度层将大小为(2i-1 )D×（HW/(2i)2）序列特征转换成大小为(2i-1 )D×H/2i×W/2i的特征图，再与第一流的特征图经过拼接合并层在通道维度上进行拼接得到大小为(2i-1 )（C+D）×H/2i×W/2i的融合特征图；再将融合特征图再输入到分流单元中，在分流单元中，经过1×1卷积子模块得到大小为(2i-1 )C×H/2i×W/2i的第一流特征图，经过P-E子模块得到大小为(2i-1 )D×（HW/(2i)2）的第二流序列特征；

[0011]作为本发明的一个优选实施例，步骤S51训练前，对图片进行随机水平翻转、随机竖直翻转、随机多尺度变换、随机角度变换和/或MixUp变换，对应的标签做同样变换。

[0012]第二方面，本发明实施例还提供了一种转炉下渣监测系统，所述监测系统包括：数据采集子系统、图像双流分割模型子系统、实时图片采集及监测结果输出子系统；其中，

[0013]作为本发明的一个优选实施例，所述融合模块包括至少一组融合单元和分流单元；其中，

每个融合单元中，卷积子模块的输入端与第一流卷积模块相连，输出端与拼接融合子模块相连；轻量化Transformer子模块的输入端与第二流P-E模块相连，输出端与拼接融合子模块相连；拼接融合子模块的输出端再与分流单元相连，分流单元再分别与同一融合模块中的卷积子模块、轻量化Transformer子模块相连或与同一级的第一流下采样模块和第二流下采样模块相连。

[0014]本发明实施例提供的转炉下渣监测方法及系统，基于Transformer模型构建图像分割模型进行转炉下渣监测，通过分流与融合机制的多次交叉与结合，卷积的特征得到了轻量化Transformer子模块提取的全局信息特征，序列特征得到了卷积子模块提取的局部信息特征，不同特征融合的同时进行交互，不仅增大了模型的感受野，同时实现信息互补，从而增强了模型表达能力；另外特征的融合和互补使得Transformer无需原本的预训练权重而直接进行特征提取，从而使得模型结构可以根据实际需求进行更灵活地调整，每个融合模块中可以包含多组融合单元和分流单元，同时分流后可以再进行多级融合，获得最佳的信息表达结果，满足了工业现场应用的实时性，将钢渣、炉内壁、以及炉口准确识别出来，避免了现场恶劣环境的干扰，保证了操作人员的安全；提高了对钢渣的监测精度，并且鲁棒性强，能够准确地对转炉运行状况进行处理；同时节省了资源，提高了炼钢生产效率。

附图说明

[0015]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

[0016]图1为本发明实施例所提供的转炉下渣监测方法流程图；

图2为本发明实施例中图像双流分割模型结构示意图；

图3为本发明实施例中融合模块结构示意图；

图4为本发明实施例中训练和验证过程示意图；

图5为本发明实施例中训练数据流转及变化原理图；

图6为采用本发明实施例监测出钢过程时转炉第一倾斜角度下钢渣位置原图和分割效果图；

图7为采用本发明实施例监测出钢过程时转炉第二倾斜角度下钢渣位置原图和分割效果图；

图8为采用本发明实施例监测出钢过程时转炉第三倾斜角度下钢渣位置原图和分割效果图。

具体实施方式

[0017]下面结合附图对本发明实施例进行详细描述。

[0018]应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

[0019]针对上述问题，本发明实施例提出了一种转炉下渣监测方法及系统，基于Transformer模型对实时采集的转炉图像进行实时分割，将背景、钢渣、炉内壁和炉口检测出来，通过对钢渣图像的识别与处理，保证炼钢生产设备正常运转，同时提高合金元素收得率，节省材料成本，提高炼钢质量。本发明模型泛化能力和提取全局信息能力强，能够有效抑制复杂背景区域的干扰，并且能够根据实际需求灵活调整网络结构，图像分割精度高、实时性强，准确地识别钢渣部分；同时能够实时监测冶金工业现场情况，有效地保护现场工人、降低冶炼成本、提高冶炼质量。

[0020]如图1所示，本发明实施例所提供的转炉下渣监测方法，包括如下步骤：

步骤S1，采集转炉出钢过程中不同倾斜角度下的图片，所述图片覆盖出钢的完整过程，且每张图片至少包含炉口的钢渣图像。

[0021]本步骤中，转炉在出钢过程中，同时伴随下渣，钢渣在钢水上侧，下侧的钢水向钢包中倾倒时，一方面需要保证钢渣不会倒入钢包中，另一方面需要保证转炉的倾斜角度不会导致钢水上侧的钢渣溢出炉口。随着钢水的倒出，转炉倾斜角度发生改变，倾倒角度和倾倒速度在预设的范围内变化，才可以保证钢水的高质量倾倒。本步骤中，首先采集正常作业下的转炉出钢图片数据，作为基础数据对转炉的后续作业提供支持与参考。本步骤中，所述不同倾斜角度，以预设角度或时间为间隔进行数据采集，根据转炉的实际情况进行选择。所采集的图片，可以提供转炉的完整倾倒过程，同时包含炉口的钢渣图像。

[0022]步骤S2，对图片中的每个像素点进行标注，分别标注为背景、钢渣、炉内壁、炉口四个类别的分割标签，并将标签与图片的倾斜角度进行绑定。

[0023]步骤S3，将所有标注了标签的图片生成图片数据集，并将图片数据集按照预设比例划分为训练集和验证集。

[0024]步骤S4，构建图像双流分割模型，如图2所示，所述图像双流分割模型包括一个Stem模块、第一流卷积模块、第二流P-E模块、至少两个基于Transformer模型的融合模块、至少两个第一流下采样模块、至少两个第二流下采样模块和分割头模块，且融合模块和第一流下采样模块、第二流下采样模块的数量相同，数量为最大级数，并按级数依次排列；其中，第一流卷积模块和第二流P-E（Patch Embedding）模块的输入端同时与Stem模块相连，输出端同时与第一级融合模块相连；所述融合模块的输出端同时与同级的第一流下采样模块和第二流下采样模块相连；除第一级融合模块外，其余级别的融合模块的输入端同时与上一级的第一流下采样模块和第二流下采样模块相连；最后一级第一流下采样模块和第二流下采样模块同时与分割头模块相连。本步骤中，当图片输入所构建的图像双流分割模型后，自一个Stem模块作为开端，分为双流，第一流经过1×1卷积模块，第二流经过P-E模块，而后经第一级融合模块进行第一级融合后，再分别进行第一流和第二流的下采样；以四级为例，共历经四级融合和分别下采样后，再汇聚于分割头模块，最后输出分割图像。所述图像双流分割模型，基于引入Transformer模型进行构建，增大网络感受野，同时增强模型建模上下文信息的能力，能够减少钢渣周围背景的误分割，提高模型准确度。

[0025]本步骤中所述Stem模块，包含步长为2、卷积核大小为7×7的卷积层、批标准化层及ReLU激活函数；所述第一流卷积模块包括1×1且步长为1的卷积层、批标准化层及ReLU激活函数；所述第二流P-E模块包括转换特征图维度层和线性映射层。

[0026]如图3所示，所述融合模块包括至少一组融合单元和分流单元，每个融合单元包括卷积子模块、轻量化Transformer子模块和拼接融合子模块，其中卷积子模块包括连续卷积层和/或残差卷积层、批标准化层及ReLU激活函数层，轻量化Transformer子模块包括自注意力机制层、归一化层和多层感知机，拼接融合子模块包括转换序列特征维度层和拼接合并层；每个分流单元包括1×1卷积子模块和P-E子模块，其中1×1卷积子模块包括1×1且步长为1的卷积层、批标准化层及ReLU激活函数，P-E子模块包括转换特征图维度层和线性映射层。每个融合单元中，卷积子模块的输入端与第一流卷积模块相连，输出端与拼接融合子模块相连；轻量化Transformer子模块的输入端与第二流P-E模块相连，输出端与拼接融合子模块相连；拼接融合子模块的输出端再与分流单元相连。从融合单元的拼接融合子模块中输出的数据均通过分流单元进行分流，分流后的数据再分别输入下一组的卷积子模块和轻量化Transformer子模块，或第一流下采样模块和第二流下采样模块。

[0027]所述第一流下采样模块包括最大池化层和1×1且步长为1的卷积层，第二流下采样模块包括转换序列特征维度层、最大池化层、1×1且步长为1的卷积层和转换特征图维度层；所述分割头模块包括转换序列特征维度层、拼接合并层、上采样层、1×1且步长为1的卷积层和归一化指数层。

[0028]步骤S5，采用训练集和验证集对所述图像双流分割模型进行训练和验证，得到成熟的图像双流分割模型。

[0029]本步骤中，当采用训练集和验证集对模型进行训练和验证时，假设输入图片的高为H，宽为W，C为模型的基础通道维度数，D为模型的基础序列维度数；训练前对图片进行随机水平翻转、随机竖直翻转、随机多尺度变换、随机角度变换和/或MixUp等变换，对应的标签做同样变换。

[0030]如图4所示，训练及验证过程如下：

步骤S51，图片输入Stem模块后，输出特征图大小为C×H/2×W/2。

[0031]步骤S52，将所述特征图通过1×1卷积模块和P-E模块进行分流，第一流经过1×1卷积模块后得到大小为C×H/2×W/2的特征图，第二流经过P-E模块后得到大小为D×（HW/4）的序列特征。

[0032]步骤S53，将第一流卷积模块输出的特征图和第二流PE模块输出的序列特征同时输入到第一级融合模块中，经第一级融合模块的融合，得到大小为C×H/2×W/2的特征图和D×（HW/4）的序列特征；本实施例以第一级融合模块包含两组融合单元和分流单元为例进行说明。

[0033]特征图和序列特征首先进入到第一级融合模块中的第一个融合单元，第一流经过卷积子模块得到大小为C×H/2×W/2的特征图，第二流经过轻量化Transformer子模块得到大小为D×（HW/4）的序列特征，然后第一流特征图和第二流序列特征同时进入到拼接融合子模块中，在拼接融合子模块中，第二流的序列特征经转换序列特征维度层将大小为D×（HW/4）序列特征转换成大小为D×H/2×W/2的特征图，再与第一流的特征图经过拼接合并层在通道维度上进行拼接得到大小为（C+D）×H/2×W/2的融合特征图。然后将融合特征图再输入到分流单元中，在分流单元中，经过1×1卷积子模块得到大小为C×H/2×W/2的第一流特征图，经过P-E子模块得到大小为D×（HW/4）的第二流序列特征。第一流特征图和第二流序列特征再进入到第二组融合单元和分流单元，重复和第一组相同的操作。之后，第一流特征图和第二流序列特征分别输入到第一级第一流下采样模块和第一级第二流下采样模块。经过两组融合单元和分流单元的处理，增强了整体的特征提取能力。

[0034]步骤S54，将C×H/2×W/2的特征图和D×（HW/4）的序列特征分别输入第一流下采样模块和第二流下采样模块；在第一流下采样模块中，第一流特征图经最大池化层和1×1且步长为1的卷积层将特征图分辨率减半，通道数翻倍，得到大小为2C×H/4×W/4的特征图，在第二流下采样模块中，第二流序列特征经转换序列特征维度层得到大小为D×H/2×W/2的特征图，然后经过最大池化层和1×1且步长为1的卷积层将特征图分辨率减半，通道数翻倍，得到大小为2D×H/4×W/4的特征图，再经过转换特征图维度层得到2D×（HW/16）的序列特征。

[0035]步骤S55，进入各级融合模块的融合和各级第一流下采样模块和第二流下采样模块的下采样的循环，直到将最后一级融合特征图分流，分别进入最后一级第一流下采样模块和第二流下采样模块，最终第一流输出大小为(2N)C×H/(2N+1)×W/(2N+1)的特征图，第二流输出大小(2N)D×（HW/(2N+1)2）的序列特征。以四级融合模块且每级融合模块分别包括2、2、4、2组融合单元和分流单元为例，如图5所示，最终第一流输出大小为16C×H/32×W/32的特征图，第二流输出大小16D×（HW/1024）的序列特征。

[0036]整个循环过程中，在融合模块的融合单元中，将卷积子模块和轻量化Transformer子模块提取的特征通过拼接融合子模块进行融合，第一流得到了轻量化Transformer子模块提取的全局信息特征，第二流得到了卷积子模块提取的局部信息特征，特征融合的同时进行交互，不仅增大了模型的感受野，同时实现信息互补，从而增强了模型表达能力；另外特征的融合和互补使得Transformer无需原本的预训练权重而直接进行特征提取，从而使得模型结构可以进行更灵活地调整，每个融合模块中可以包含多组融合单元和分流单元，同时分流后可以再进行多级融合，获得最佳的信息表达结果。

[0037]步骤S56，将最后一级输出的双流特征汇聚到分割头模块，第二流序列特征经过转换序列特征维度层与第一流特征图通过拼接合并层合并后，经过上采样层、卷积层和归一化指数层输出分割结果。

[0038]如图5所示，以四级融合模块且每级融合模块分别包括2、2、4、2组融合单元和分流单元为例，第一级融合模块包括两组融合单元和分流单元；第二级融合模块包括两组融合单元和分流单元；第三级融合模块包括四组融合单元和分流单元；第四级融合模块包括两组融合单元和分流单元。由图5可以看出步骤S51至步骤S55数据的流动及变化过程。

[0039]步骤S57，将模型输出的分割结果与图片数据集对应的分割标签进行损失计算，根据损失函数的计算结果通过梯度的反传值更新模型参数，经验证集验证后，得到成熟的图像分割模型。

[0040]步骤S6，捕捉现场转炉的实时出钢图片，将图片进行预处理后，输入成熟的图像双流分割模型，并输出分割结果，得到钢渣、炉口和炉内壁的实时监测位置。

[0041]图6为出钢过程中转炉第一倾斜角度下钢渣位置原图和分割效果图；图7为出钢过程中转炉第二倾斜角度下钢渣位置原图和分割效果图；图8为出钢过程中转炉第三倾斜角度下钢渣位置原图和分割效果图。如图6-8所示，采用本实施例所述转炉下渣监测方法对转炉出钢时的钢渣位置进行监测，模型的分割结果能够将背景、钢渣、炉内壁、以及炉口准确识别出来，进而准确获取渣线位置，为控制转炉倾斜角提供位置给定。

[0042]由以上技术方案可以看出，本发明基于Transformer网络的图像分割模型，应用于转炉出渣监测时，全局信息提取能力强，能够根据实际需求灵活调整网络结构，满足工业现场应用的实时性，能够监测钢渣位置，并将钢渣、炉口和炉内壁分割出来，避免了现场恶劣环境的干扰，保证了操作人员的安全；提高了对钢渣的监测精度，并且鲁棒性强，能够准确地对转炉运行状况进行处理；同时节省了资源，提高了炼钢生产效率。

[0043]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。

[0044]基于同样的思想，本发明实施例还提供了一种转炉下渣监测系统，如图8所述监测系统包括：数据采集子系统、图像双流分割模型子系统、实时图片采集及监测结果输出子系统。

[0045]其中，所述数据采集子系统包括：历史图片获取模块、分割标签标注模块、数据集生成模块；

所述历史图片获取模块用于采集转炉出钢过程中不同倾斜角度下的图片，所述图片覆盖出钢的完整过程，且每张图片至少包含炉口的钢渣图像；所述分割标签标注模块用于对图片中的每个像素点进行标注，分别标注为背景、钢渣、炉内壁、炉口四个类别的分割标签，并将标签与图片的倾斜角度进行绑定；所述数据集生成模块用于将所有标注了标签的图片生成图片数据集，并将图片数据集按照预设比例划分为训练集和验证集；

所述图像双流分割模型子系统用于提供图像双流分割模型，并完成训练和验证得到成熟的图像双流分割模型；其中，如图2和图3所示，所述图像双流分割模型包括：一个Stem模块、第一流卷积模块、第二流P-E模块、至少两个融合模块、至少两个第一流下采样模块、至少两个第二流下采样模块和分割头模块，且融合模块和第一流下采样模块、第二流下采样模块的数量相同，数量为最大级数，并按级数依次排列；其中，第一流卷积模块和第二流P-E模块的输入端同时与Stem模块相连，输出端同时与第一级融合模块相连；所述融合模块的输出端同时与同级的第一流下采样模块和第二流下采样模块相连；除第一级融合模块外，其余级别的融合模块的输入端同时与上一级的第一流下采样模块和第二流下采样模块相连；最后一级第一流下采样模块和第二流下采样模块同时与分割头模块相连。

[0046]所述融合模块包括至少一组融合单元和分流单元，每个融合单元包括卷积子模块、轻量化Transformer子模块和拼接融合子模块，其中卷积子模块包括连续卷积层和/或残差卷积层、批标准化层及ReLU激活函数层，轻量化Transformer子模块包括自注意力机制层、归一化层和多层感知机，拼接融合子模块包括转换序列特征维度层和拼接合并层；每个分流单元包括1×1卷积子模块和P-E子模块，其中1×1卷积子模块包括1×1且步长为1的卷积层、批标准化层及ReLU激活函数，P-E子模块包括转换特征图维度层和线性映射层。每个融合单元中，卷积子模块的输入端与第一流卷积模块相连，输出端与拼接融合子模块相连；轻量化Transformer子模块的输入端与第二流P-E模块相连，输出端与拼接融合子模块相连；拼接融合子模块的输出端再与分流单元相连，分流单元再分别与同一融合模块中的下一组卷积子模块、轻量化Transformer子模块相连或与同一级的第一流下采样模块和第二流下采样模块相连。

[0047]所述实时图片采集及监测结果输出子系统用于捕捉现场转炉的实时出钢图片，将图片进行预处理后，发送给所述图像双流分割模型子系统；并接收成熟的图像双流分割模型所得到的分割结果，输出钢渣、炉口和炉内壁的实时监测位置。

[0048]本实施例中各子系统及模块通过处理器实现，当需要存储时适当增加存储器。其中，所述处理器可以是但不限于微处理器MPU、中央处理器(Central Processing Unit，CPU)、网络处理器 (Network Processor，NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件等。所述存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

[0049]需要说明的是，本实施例所述转炉下渣监测系统与所述转炉下渣监测方法是对应的，对所述方法的限定和描述同样适用于所述系统，在此不再赘述。

[0050]在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。

[0051]以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

全文PDF

转炉下渣监测方法及系统.pdf

声明：

“转炉下渣监测方法及系统” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。

我是此专利(论文)的发明人(作者)