基于多任务关联的风机叶片损伤识别方法与系统

权利要求书： 1.基于多任务关联的风机叶片损伤识别方法，其特征在于，包括：

获取风机叶片的图像，对获取的风机叶片图像进行预处理；

将风机叶片图像输入至多任务关联神经网络模型中，所述多任务关联神经网络模型包括多任务主干网络和两个子任务分支网络，首先利用多任务主干网络提取风机叶片图像的底层共享特征，之后在两个子任务分支网络中分别提取损伤位置特征以及损伤类型特征，然后分别输出风机叶片损伤的位置以及损伤类型的识别结果；

其中，将两个子任务分支网络分别在提取损伤位置特征以及损伤类型特征时进行特征提取任务相关联，由线性映射函数将一个分支任务的损伤高维特征映射到另一个分支任务的特征提取的标签空间中，并通过激活函数转换为概率分布的形式，进而通过另一个分支任务的真实标签对概率分布进行损失评价，获取损伤位置特征以及损伤类型特征分支任务两者之间存在的相关性。

2.如权利要求1所述的基于多任务关联的风机叶片损伤识别方法，其特征在于，所述多任务关联神经网络模型中的损伤位置特征以及损伤类型特征的特征提取由特征提取单元实现，所述特征提取单元由注意力机制、卷积层以及残差网络组成，每个特征提取单元包括三个卷积层。

3.如权利要求2所述的基于多任务关联的风机叶片损伤识别方法，其特征在于，在特征提取单元中引入注意力机制提高风机叶片图像特征的表达能力，对风机叶片图像的高维特征进行提取，将注意力机制的输出作为卷积层的输入，通过卷积层进一步提取风机叶片图像的空间特征，然后将卷积层输出的特征与输入特征相加组成残差网络。

4.如权利要求1所述的基于多任务关联的风机叶片损伤识别方法，其特征在于，所述多任务主干网络中叠加两个特征提取单元来提取共享的网络特征参数，两个子任务分支网络各自叠加两个特征提取单元，分别用于风机叶片损伤位置识别和损伤类型识别两个任务，根据两个子任务空间之间存在的潜在的映射关系，通过位置识别任务的特征来推理损伤类型识别任务的结果，同时，损伤类型识别任务的特征也来推理风机叶片损伤位置识别任务的特征。

5.如权利要求1所述的基于多任务关联的风机叶片损伤识别方法，其特征在于，在子任务分支网络的输出层融入多任务相关性单元，提取损伤位置特征以及损伤类型特征任务之间的相互关联性，通过使用一个分支任务的标签来训练另一个分支任务的特征提取过程，多任务相关性单元在高维特征空间提取多任务间的潜在相关性；然后，通过设计的损失函数对映射后的结果与真实标签之间的不一致性进行最小化处理。

6.如权利要求5所述的基于多任务关联的风机叶片损伤识别方法，其特征在于，所述多任务相关性单元的处理过程包括：多任务相关性提取由线性映射函数实现，将对应损伤特征提取分支任务的高维特征映射到另一个分支任务的标签空间，并通过激活函数将其转换为概率分布的形式，进而通过另一个分支任务的真实标签对概率分布进行损失评价，使得相关性学习单元提炼两任务分支之间存在的相关性，然后通过自适应平均池化来抽取特征样本。

7.如权利要求6所述的基于多任务关联的风机叶片损伤识别方法，其特征在于，使用交叉熵损失函数作为损伤位置识别以及损伤类型识别两个子任务的损失函数进行训练，使用相对熵作为相关损失函数来惩罚两个子任务分支之间的不一致性。

8.如权利要求7所述的基于多任务关联的风机叶片损伤识别方法，其特征在于，模型训练中参数获取方法包括：以交叉熵损失函数，最小为目的训练由风机叶片损伤识别主干网络与损伤位置识别以及损伤类型识别分支网络组成的多任务神经网络架构，得到预训练模型参数。

9.如权利要求7所述的基于多任务关联的风机叶片损伤识别方法，其特征在于，固定预训练模型参数，引入多任务相关性单元并训练其关联性权重参数，之后进行模型微调。

10.基于多任务关联的风机叶片损伤识别系统，其特征在于，包括：

图像获取模块，用于获取风机叶片的图像，对获取的风机叶片图像进行预处理；

特征提取模块，用于将风机叶片图像输入至多任务关联神经网络模型中，所述多任务关联神经网络模型包括多任务主干网络和两个子任务分支网络，首先利用多任务主干网络提取风机叶片图像的底层共享特征，之后在两个子任务分支网络中分别提取损伤位置特征以及损伤类型特征；

识别结果输出模块，用于分别输出风机叶片损伤的位置以及损伤类型的识别结果；

其中，将两个子任务分支网络分别在提取损伤位置特征以及损伤类型特征时进行特征提取任务相关联，由线性映射函数将一个分支任务的损伤高维特征映射到另一个分支任务的特征提取的标签空间中，并通过激活函数转换为概率分布的形式，进而通过另一个分支任务的真实标签对概率分布进行损失评价，获取损伤位置特征以及损伤类型特征分支任务两者之间存在的相关性。

说明书： 基于多任务关联的风机叶片损伤识别方法与系统技术领域[0001] 本公开涉及风机叶片图像识别技术领域，具体涉及一种基于多任务关联的风机叶片损伤识别方法与系统。背景技术[0002] 本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。[0003] 随着风力发电技术的快速发展，风力发电机作为有效利用风能的核心设施已被广泛应用在新能源发电领域。由于外界环境与自身结构的作用，风力发电机的叶片往往会面临各种结构损伤。这些损伤可能会进一步导致风机运行异常，降低发电效率，甚至造成严重的安全事故。[0004] 现有的利用视觉进行风机叶片损伤识别时，往往通过照相机、无人机机载摄像机等图像采集设备获取风机叶片的图像，并进一步依据图像进行叶片损伤识别，该任务已在风机叶片结构健康监测任务中广泛使用。然而，风机叶片损伤位置识别与类型识别这两个任务具有一定的关联性，因为风机叶片特定的损伤往往出现在风机叶片特定的位置。具体来讲，风机叶片的迎风面和背风面是由结构胶粘接在一起的，因此胶衣开裂一般都会出现在叶片粘合处，也就是叶片的前缘（翼型在旋转方向的最前端）和后缘（翼型在旋转方向的最后端），统称为叶缘，由于叶片表面受力面积较大，且长期暴露于复杂环境之中，容易受到恶劣环境的影响，比如风沙、冰雹等，还会遭受各种鸟类的撞击，因此，裂纹损伤往往出现在风机叶片的表面。风力发电机所在地势一般较高，而且叶片的尖端部分又是风机运行时的最高位置，叶片引下线布置于叶片内腔之中，从叶片根部向叶片尖端部分，叶片的截面变得越来越小，引下线到叶片表面的距离也会越来越短，两者之间的击穿电压也会随之减小。同时，从叶片结构设计来看，叶片根部到叶片尖端部分，使用的力学结构材料逐渐减少，材料变薄也就意味着绝缘性能的相对下降，因此大部分的雷击事故会造成叶尖部分的损伤。[0005] 发明人发现，现有的风机叶片损伤识别方法中并没有注重风机叶片损伤位置以及类型之间的关联性，面对大量采集到的风机叶片图片，无法自动化高效率地进行叶片结构损伤位置与损伤类型的识别；并且在一些风机叶片损伤检测的场景下，往往会面临识别任务复杂、损伤类型多样、数据样本匮乏等问题，导致传统的面向单一检测任务的算法在风机叶片损伤识别问题上时受到一定的限制，其识别准确率有限。发明内容[0006] 本公开为了解决上述问题，提出了基于多任务关联的风机叶片损伤识别方法与系统，通过多任务同时学习的方式，充分利用目标任务之间存在的内在关联性，共享不同任务学习得到的有效特征，通过含有多任务网络框架的网络结构使损伤位置以及损伤类型两个识别任务同时学习，得到准确的识别结果。[0007] 根据一些实施例，本公开采用如下技术方案：基于多任务关联的风机叶片损伤识别方法，包括：

获取风机叶片的图像，对获取的风机叶片图像进行预处理；

将风机叶片图像输入至多任务关联神经网络模型中，所述多任务关联神经网络模型包括多任务主干网络和两个子任务分支网络，首先利用多任务主干网络提取风机叶片图像的底层共享特征，之后在两个子任务分支网络中分别提取损伤位置特征以及损伤类型特征，然后分别输出风机叶片损伤的位置以及损伤类型的识别结果；

其中，将两个子任务分支网络分别在提取损伤位置特征以及损伤类型特征时进行特征提取任务相关联，由线性映射函数将一个分支任务的损伤高维特征映射到另一个分支任务的特征提取的标签空间中，并通过激活函数转换为概率分布的形式，进而通过另一个分支任务的真实标签对概率分布进行损失评价，获取损伤位置特征以及损伤类型特征分支任务两者之间存在的相关性。

[0008] 根据一些实施例，本公开采用如下技术方案：基于多任务关联的风机叶片损伤识别系统，包括：

图像获取模块，用于获取风机叶片的图像，对获取的风机叶片图像进行预处理；

特征提取模块，用于将风机叶片图像输入至多任务关联神经网络模型中，所述多任务关联神经网络模型包括多任务主干网络和两个子任务分支网络，首先利用多任务主干网络提取风机叶片图像的底层共享特征，之后在两个子任务分支网络中分别提取损伤位置特征以及损伤类型特征；

识别结果输出模块，用于分别输出风机叶片损伤的位置以及损伤类型的识别结果；

其中，将两个子任务分支网络分别在提取损伤位置特征以及损伤类型特征时进行特征提取任务相关联，由线性映射函数将一个分支任务的损伤高维特征映射到另一个分支任务的特征提取的标签空间中，并通过激活函数转换为概率分布的形式，进而通过另一个分支任务的真实标签对概率分布进行损失评价，获取损伤位置特征以及损伤类型特征分支任务两者之间存在的相关性。

[0009] 根据一些实施例，本公开采用如下技术方案：一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于多任务关联的风机叶片损伤识别方法。

[0010] 根据一些实施例，本公开采用如下技术方案：一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于多任务关联的风机叶片损伤识别方法。

[0011] 与现有技术相比，本公开的有益效果为：本公开提出了含有多任务主干网络与两个子任务分支网络的多任务关联神经网络模型，该网络框架可以同时对风机图像中的叶片损伤位置和损伤类型进行识别。特征提取单元中采用注意力机制、卷积层和残差网络组成以增强图像特征的提取能力。

[0012] 本公开提出了多任务相关性单元，通过将该单元融入网络框架中，用来关联两个不同任务之间的内在交互信息，提取两个不同任务之间存在的关联性，从而利用关联性特征提高子任务的识别精度。[0013] 本公开提出了多任务交叉关联损失训练方法，通过设计的训练流程使得所提出的多任务关联神经网络可以更好地学习两个子任务，使得它们在学习的过程中可以相互促进，提高两个子任务的识别精度。附图说明[0014] 构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。[0015] 图1为本公开实施例的整体网络框架示意图；图2为本公开实施例的多任务相关性单元的结构示意图；

图3为本公开实施例EndoNet在DTU数据集下的混淆矩阵；

图4为本公开实施例EndoNet在B30数据集下的混淆矩阵；

图5为本公开实施例AlexNet在DTU数据集下的混淆矩阵；

图6为本公开实施例AlexNet在B30数据集下的混淆矩阵；

图7为本公开实施例MtDCNN在DTU数据集下的混淆矩阵；

图8为本公开实施例MtDCNN在B30数据集下的混淆矩阵；

图9为本公开实施例MTLNet在DTU数据集下的混淆矩阵；

图10为本公开实施例MTLNet在B30数据集下的混淆矩阵；

图11为本公开实施例ResNet50在DTU数据集下的混淆矩阵；

图12为本公开实施例ResNet50在B30数据集下的混淆矩阵；

图13为本公开实施例OursDTU在数据集下的混淆矩阵；

图14为本公开实施例OursB30在数据集下的混淆矩阵。

具体实施方式[0016] 下面结合附图与实施例对本公开作进一步说明。[0017] 应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。[0018] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。[0019] 实施例1本公开的一种实施例中提供了一种基于多任务关联的风机叶片损伤识别方法，包括：

步骤一：获取风机叶片的图像，对获取的风机叶片图像进行预处理；

步骤二：将风机叶片图像输入至多任务关联神经网络模型中，所述多任务关联神经网络模型包括多任务主干网络和两个子任务分支网络，首先利用多任务主干网络提取风机叶片图像的底层共享特征，之后在两个子任务分支网络中分别提取损伤位置特征以及损伤类型特征；

步骤三：分别输出风机叶片损伤的位置以及损伤类型的识别结果；

其中，将两个子任务分支网络分别在提取损伤位置特征以及损伤类型特征时进行特征提取任务相关联，由线性映射函数将一个分支任务的损伤高维特征映射到另一个分支任务的特征提取的标签空间中，并通过激活函数转换为概率分布的形式，进而通过另一个分支任务的真实标签对概率分布进行损失评价，获取损伤位置特征以及损伤类型特征分支任务两者之间存在的相关性。

[0020] 作为一种实施例，本公开的一种多任务关联神经网络实现对风机叶片损伤位置和类型的识别方法，通过精心设计的网络结构使得两个任务可以同时学习，相互促进，得到准确的识别结果，具体的实施过程如下：步骤1：获取风机叶片的图像，对获取的风机叶片图像进行预处理；

步骤2：将风机叶片图像输入至多任务关联神经网络模型中，所述多任务关联神经网络模型包括多任务主干网络和两个子任务分支网络；首先利用多任务主干网络提取风机叶片图像的底层共享特征，之后在两个子任务分支网络中分别提取损伤位置特征以及损伤类型特征；

具体的，多任务关联神经网络模型包含一个多任务主干网络和两个子任务分支网络，多任务主干网络用于底层共享特征提取，两个子任务分支网络用于不同任务各自的特征提取与分类。多任务关联神经网络模型中的特征提取由特征提取单元实现，特征提取单元由注意力机制、卷积层以及残差网络组成，每个特征提取单元包括三个卷积层。

[0021] 在特征提取单元中引入注意力机制提高图像特征的表达能力，对图像的高维特征进行提取，将注意力机制的输出作为卷积层的输入，通过卷积层进一步提取空间特征，然后将卷积层输出的特征与输入特征相加组成残差网络。[0022] 假定图像输入为 ，在特征提取单元中引入注意力机制用于提高图像特征的表达能力，对图像的高维度代表性特征进行提取，以此来保留图像数据中有价值的关键特征。所采用的注意力机制描述如下：（1）

其中：

（2）

以上公式中， ， 为输入向量的线性映射参数，作用是将原始输入向量

进行特征映射。 表示对齐函数，用于衡量 与 之间的相似性，并通过

将相似性转化为0?1的权重形式， 为注意力机制最终的输出结果。

[0023] 将注意力机制的输出 作为卷积层的输入，通过卷积层进一步提取空间特征。然后，卷积输出结果与输入特征进行相加组成残差网络：（3）

其中，为卷积层与残差网络之后提取到的特征输出。之后，对每个单元都通过一个批量归一化层 和一个 非线性层进行处理，最终得到特征提取单元

的表示形式为：

（4）

其中，为提取的特征输出， 为特征提取单元。

[0024] 基于特征提取单元，所提出的网络模型分为主干部分和分支部分，多任务主干网络用于提取数据中的共享特征，子任务分支网络用于提取两个任务各自独有的特征。[0025] 多任务主干网络叠加了两个特征提取单元来提取共享的网络特征参数，网络可表述为：（5）

其中， 为提取的特征输出， 为特征提取单元， 为特征提取单元的迭

代次数。

[0026] 针对不同识别任务，多任务主干网络后面分成了两个子任务分支网络。两个子任务分支网络各自叠加两个特征提取单元，分别用于风机叶片损伤位置识别和损伤类型识别两个任务。[0027] （6）其中， 为子任务分支网络提取的特征输出， 为特征提取单元的迭代次

数。接下来通过全连接 进行线性映射，最后通过Sigmoid 激活函数将模型的输出转化成概率分布的形式。

[0028] （7）其中， 代表子任务分支网络的分支索引， 为特征提取单元。

[0029] 由于特定的风机叶片损伤往往会出现在风机叶片的特定位置，因此，风机叶片损伤位置识别和损伤类型识别两个子任务具有一定的关联性。由于两个子任务空间之间存在着潜在的映射关系，可以通过位置识别任务学到的特征来推理损伤识别任务的结果；相反，通过损伤识别任务学到的特征也可以用来推理位置识别任务的结果。因此，一个识别任务可以作为另外一个识别任务的参考依据，以此来促进两个任务的识别效率与精度。[0030] 本公开设计一种多任务相关性单元，并在在子任务分支网络的输出层融入多任务相关性单元，如图1所示，融入4个多任务相关性单元，用于更有效地提取两个不同任务之间的相互关联性。通过使用一个任务的标签来训练另一个任务的特征提取过程，相关性单元可以在高维特征空间提炼多任务间的潜在相关性。然后，通过设计的相关损失函数对映射后的结果与真实标签之间的不一致性进行最小化处理。[0031] 设计的多任务相关性单元的具体处理过程如图2所示，它由线性映射函数实现，将对应分支任务的高维特征映射到另一个分支任务的标签空间，并通过Sigmoid激活函数将其转换为概率分布的形式，进而通过另一个分支任务的真实标签对概率分布进行损失评价，使得相关性学习单元可以更好的提炼两任务分支之间存在的相关性。[0032] 然后，通过自适应平均池化 来抽取特征样本，在一定程度上减少了部分参数，减轻了过拟合现象。最后通过Sigmoid 激活函数将模型的输出转化成概率分布的形式。[0033] （8）其中， , 分别代表子任务分支网络的分支索引与输出索引，

为线性相关函数, 为线性相关函数的权重参数。

[0034] 使用交叉熵损失函数作为两个分支任务的损失函数，使用相对熵作为相关损失函数来惩罚两个分支之间的不一致性。[0035] 交叉熵损失函数主要用于度量两个概率分布之间的信息差异和相似性。在深度学习的分类任务中，交叉熵常用于比较模型的预测结果和数据的真实标签，随着预测结果越来越准确，交叉熵的值会越来越小，如果预测完全正确，交叉熵的值就会变为0。[0036] 本公开使用交叉熵损失函数作为两个识别任务的损失函数，假定为第i张图片的标签值，n表示位置类型，m表示损伤类型， 和 为网络的输出经过Sigmoid激活函数激活后的值， ，

。 分别为主干网络以及两个分支网络的权重，共享部分参数使用 表示，两任务分支部分的参数分别使用 表示。两个任务的交叉熵损失函数分别表示为：

（9）

（10）

其中：

（11）

相对熵（KullbackLeiblerDivergence，KL?divergence）可以用于测量两个概率分布之间的差异，本专利使用KL?divergence作为相关损失函数来惩罚两个任务之间的不一致 性。因 为K L散 度具 有非 对称性 并且 不满 足三 角不等 式性 质 ，故，为了更好的拟合两个概率分布，我们将损失函数设计为：

（12）

其中，为两个任务前期的共享参数， 为风机叶片位置分支的网络权重， 为风机叶片损伤分支的网络权重， ， 分别为两个任务分支的预测输出经过Sigmoid激活函数激活后的结果，其中 ， ， 和 为用于平

衡KL散度的超参数，其中：

（13）

（14）

结合以上所提到的损失函数，为了能在最后一步联合训练的过程中更新整个网络的参数，将网络模型总的损失函数设计为：

（15）

其中，为样本总数， ， ， 是用于平衡损失的超参数， 是

一个正则化项，它使用了L2正则化准则，另外参数 用于控制正则化项和损失函数之间的平衡。

[0037] 作为一种实施例，本公开模型训练的过程为：为了充分地利用两个任务之间的关联性，本公开设计了整个网络模型的训练过程，以构建高精度的多任务识别模型。具体将通过以下四个步骤来完成所提出网络模型的训练过程。

[0038] 1.数据预处理：首先对输入图像进行裁剪处理，获取方形图像数据后传入网络模型。将数据样本分为训练集、验证集与测试集。[0039] 2.模型预训练：模型参数初始化与预训练。a）鉴于残差块的参数数量远远大于其他参数，使用ResNet50在ImageNet数据集上得到的预训练模型初始化网络模型中的卷积层与残差模块参数，其余参数进行随机初始化。

[0040] b）以交叉熵损失函数 ， 最小为目的训练由主干网络与分支网络组成的多任务神经网络架构，得到预训练模型参数{ }。

[0041] 3.关联性训练：固定预训练模型参数，引入多任务相关性单元并训练其关联性权重参数。[0042] a）加载第二步中训练好的模型参数{ }，并将这些模型参数冻结。[0043] b）引入模型中的四个多任务相关性单元，使用 损失函数单独训练多任务相关性单元的线性相关函数的权重参数 ，通过这种方式让网络模型学习到两个任务之间的关联信息。[0044] 4.模型微调：解冻之前冻结的模型参数{ }，使用最终设计的损失函数联合训练整个网络模型，通过微调网络模型中的所有参数{ }，以达到最好的识别效果。[0045] 提出的网络模型以端到端的方式完成训练，训练过程中能够互动地对叶片损伤位置和类型同时进行识别，通过主干网络中提取到的共享特征和两个分支各自的特征对网络模型进行联合优化，同时通过对相关性学习单元的设计，使两个任务分支的梯度可以流向另一个任务，从而使得两个任务的学习可以相互受益。[0046] 实验结果为了充分验证模型的表现，选取两个公开数据集分别对模型进行验证，这两个数据集分别为DTU公开数据集以及Blade30公开数据集。

[0047] 1）DTU数据集：总共包含了559张高分辨率图像，数据集中的风机叶片损伤类型包括了胶衣开裂、裂纹、雷击等多种常见的损伤类型。[0048] 2）Blade30数据集：由无人机拍摄的30个不同风机叶片的图像序列组成，这30个风机叶片取自不同的风力发电机，该数据集涵盖了1320张风机叶片图像数据。[0049] 在本实验中，风机叶片损伤位置的类型分为叶尖、叶缘、叶表三类；风机叶片损伤识别的类型分为胶衣开裂、裂纹、雷击、无损伤四类。实验中模型训练时的一些参数设置为：图像尺寸=224 224，批次大小=8，学习率= 、训练轮次=200。本专利以风机叶片损伤识别任务的检测精度为参考，将训练时所有训练轮次中该任务在验证集检测精度最高的模型文件保存下来，用于模型的测试。

[0050] 为了验证所提出模型的优越性，本研究选取了EndoNet、AlexNet、MtDCNN、MTLNet、ResNet50模型与所提出的模型进行对比实验。所有实验均在Linux操作系统下，使用Pytorch深度学习框架进行。实验在DTU数据集以及Blade30数据集下，通过F1Score与混淆矩阵两个评价指标来评估模型的性能。[0051] F1Score是评估分类任务中检测模型性能好坏的一个重要衡量指标，它的取值为精确率和召回率的调和平均数，取值范围从0到1:（16）

其中：

（17）

（18）

TP为模型预测结果为正类的正样本个数，FP为模型预测结果为正类的负样本个数，FN为模型预测结果为负类的正样本个数。

[0052] 混淆矩阵是用于识别（分类）任务精度评估的一种标准格式，它采用矩阵形式来表示，列坐标对应为模型的预测类别，横坐标对应为数据的真实归属类别。混淆矩阵作为可视化工具来评估识别任务的精度，可以通过直观方式将实验结果展现出来。[0053] （1）F1Score实验结果表1、表2分别给出了各对比算法分别在DTU数据集与Blade30数据集下的实验结果。由表1、表2可知在F1score评价指标下，实验结果最佳的皆为本专利提出的算法模型，该模型在风机叶片位置和风机叶片损伤各个类别下的F1score得分最高。这是因为所提的多任务学习模型在训练过程中，不同分支的任务可以充分利用到另一个任务的领域知识，使得两个任务的学习可以相互受益，因此所提的模型取得了更好的分类效果。

[0054] 表1DTU数据集下各模型的F1score比较表2Blade30数据集下各模型的F1score比较

（2）混淆矩阵实验结果

由图3?图14可知，图3为本公开实施例EndoNet在DTU数据集下的混淆矩阵；图4为EndoNet在B30数据集下的混淆矩阵；图5为AlexNet在DTU数据集下的混淆矩阵；图6为AlexNet在B30数据集下的混淆矩阵；图7为MtDCNN在DTU数据集下的混淆矩阵；图8为MtDCNN在B30数据集下的混淆矩阵；图9为MTLNet在DTU数据集下的混淆矩阵；图10为MTLNet在B30数据集下的混淆矩阵；图11为ResNet50在DTU数据集下的混淆矩阵；图12为ResNet50在B30数据集下的混淆矩阵；图13为OursDTU在数据集下的混淆矩阵；图14为本OursB30在数据集下的混淆矩阵，表明在各个混淆矩阵评价指标下，本公开提出的算法模型取得了最好的实验效果，相较于其他对比实验，本公开提出模型的混淆矩阵中对角线概率值最高，因此所提出的模型正确分类的样本数量最多，模型的检测精度最高。通过混淆矩阵的实验结果证明了本专利提出的算法模型相较于其他对比模型的优越性。

[0055] （3）消融实验为了更好的研究影响识别模型性能提升的因素，本公开对模型进行了消融实验，将分别对基线模型、基线模型+相关性单元以及基线模型+相关性单元+注意力机制三种结构进行实验分析，然后通过各结构的F1Score来评估不同的模型结构对于分类任务的影响。其中，基线模型指的是两个任务分支之间没有任何联系，两任务除共享网络的主干部分，网络分支部分分别进行独立的训练学习，彼此之间互不影响；基线+相关性单元模型指的是在基线的基础之上添加了4个多任务相关性单元；基线+相关性单元+注意力机制是在基线+相关性单元的基础上进一步增加了注意力机制。

[0056] 在消融实验中，表3和表4给出了以上模型分别在DTU数据集与Blade30数据集上的表现。由表3和表4可知，增加多任务相关性单元后，两个任务可以分别学到另一个任务的领域知识，可以使得两个任务分支在训练的过程中相互促进，因此识别精度相较于基线模型得到一定提升。增加注意力机制后，网络模型可以关注到图像中更为重要的关键特征，因此模型的识别精度得到了进一步的提升。消融实验进一步验证了所提出方法的有效性与可靠性。[0057] 表3DTU数据集下的消融实验表4Blade30数据集下的消融实验

实施例2

本公开的一种实施例中提供了一种基于多任务关联的风机叶片损伤识别系统，包括：

图像获取模块，用于获取风机叶片的图像，对获取的风机叶片图像进行预处理；

特征提取模块，用于将风机叶片图像输入至多任务关联神经网络模型中，所述多任务关联神经网络模型包括多任务主干网络和两个子任务分支网络，首先利用多任务主干网络提取风机叶片图像的底层共享特征，之后在两个子任务分支网络中分别提取损伤位置特征以及损伤类型特征；

识别结果输出模块，用于分别输出风机叶片损伤的位置以及损伤类型的识别结果；

其中，将两个子任务分支网络分别在提取损伤位置特征以及损伤类型特征时进行特征提取任务相关联，由线性映射函数将一个分支任务的损伤高维特征映射到另一个分支任务的特征提取的标签空间中，并通过激活函数转换为概率分布的形式，进而通过另一个分支任务的真实标签对概率分布进行损失评价，获取损伤位置特征以及损伤类型特征分支任务两者之间存在的相关性。

[0058] 本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。[0059] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。[0060] 上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。