基于行列和张量积的风机叶片开裂故障预测方法

权利要求书： 1.一种基于行列和张量积的风机叶片开裂故障预测方法，其特征在于，将基于行列和张量积的降维方法、三维卷积神经网络以及Squeeze?Excitation注意力机制进行结合，用于风机叶片开裂故障预测，能够快速、准确地预测风机叶片一周内是否发生开裂故障以及防止风机叶片因为存在隐患仍继续运行而出现严重的损坏；在使用过程中的步骤为：步骤（1）：对利用数据采集与监视控制系统采集到的风机多维度数据进行数据清理，对错误数据的删除、重复数据的清除以及去掉不变的特征维度，并对剩余数据进行数据归一化；数据采集与监视控制系统共对R台风机进行数据采集，剩余数据共有I个特征维度，每个特征维度下采样次数共T次；

特征维度表示数据采集与监视控制系统采集到的数据种类；

风机多维度数据具体为：数据采集与监视控制系统分别对R台风机每10分钟采样一次的数据以及数据的标注信息；在标注信息中，0表示该风机叶片开裂故障样本对应风机一周内未发生开裂故障，1表示该风机叶片开裂故障样本对应的风机在一周内发生开裂故障；

对剩余数据进行数据归一化的方法为：

v’r,i,t=(vr,i,t?vr,i,tmin)/(vr,i,tmax?vr,i,tmin)(1)其中，vr,i,t为第r台风机第i特征维度下第t次采样获得的风机叶片数据，vr,i,tmax和vr,i,tmin分别是第r台风机第i特征维度下的风机叶片数据最大值和最小值；v’r,i,t为归一化后的第r台风机第i特征维度下第t次采样获得的风机叶片数据；

步骤（2）：在进行数据清理后，采用基于行列和张量积的降维方法对清理后的数据进行降维；

基于行列和张量积的降维方法为：

U2=sumrow(v’1,i,t)?sumcol(v’2,i,t)(2)U3=sumrow(U2)?sumcol(v’3,i,t)(3)UR=sumrow(UR?1)?sumcol(v’R,i,t)(4)其中，v’1,i,t表示数据采集与监视控制系统在第1台风机采集到的数据归一化后的数据，v’2,i,t表示数据采集与监视控制系统在第2台风机采集到的数据归一化后的数据，v’3,i,t表示数据采集与监视控制系统在第3台风机采集到的数据归一化后的数据，以此类推，v’R,i,t表示数据采集与监视控制系统在第R台风机采集到的数据归一化后的数据，皆为I×T的矩阵形式；sumrow()表示逐行累加，sumcol()表示逐列累加；符号?表示张量积运算；

依据所述公式反复迭代，最终实现降维；其中，降维前数据总量为R×I×T，降维后缩减为I×T，达到缩减数据量的目的；

步骤（3）：经过降维后的风机数据特征维度为I，故在UR中选取风机产生的实时多维度数据数量为I，即一个I×I的矩阵，生成对应的图像，再缩放为112×112的图像，根据数据采集的时间顺序依次取16组图像，相互堆叠得到16×112×112的三维模型，将16×112×112的三维模型与自身叠加以获得16×112×112×3的三维模型并作为一个样本，最后将所有样本按4:1比例分为训练数据集与测试数据集；

16×112×112×3指深度×长度×宽度×通道数；

步骤（4）：设置网络的初始参数，将训练数据集输入预设的深度学习网络模型进行训练，当迭代次数达到阈值时训练完成，将测试数据集输入到训练好的网络模型中，得出预测风机叶片状态的分类结果；

预设的深度学习网络模型以ResNet50模型为原型，结合Squeeze?Excitation注意力模块，构建三维卷积神经网络3D?ResNet50；

Squeeze?Excitation注意力模块用于比较输入的三维模型特征中不同通道对预测性能的重要程度，并通过调整通道的权重来提升模型预测性能；

3D?ResNet50用于提取所述的16×112×112×3三维模型特征；

3D?ResNet50的具体内容为：

输入16×112×112×3三维模型；

经过一个尺寸3×7×7的卷积核的卷积处理；

经过一次尺寸1×3×3的最大池化处理；

依次接入Conv2_x、Conv3_x、Conv4_x、Conv5_x残差模块；

再接入一个Squeeze?Excitation注意力模块；

再依次接入1个平均池化层、1个Dropout层、1个全连接层、1个Dropout层、1个全连接层、1个Softmax层；

最后接入1个Classification层，输出预测结果；

预测结果的具体内容为：输出为0，表示该风机叶片开裂故障样本对应风机一周内未发生开裂故障；输出为1，表示该风机叶片开裂故障样本对应的风机在一周内发生开裂故障；

Conv2_x残差模块的具体内容为：

输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复3次并依次连接；

Conv3_x残差模块的具体内容为：

输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复4次并依次连接；

Conv4_x残差模块的具体内容为：

输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复6次并依次连接；

Conv5_x残差模块的具体内容为：

输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复3次并依次连接；

Squeeze?Excitation注意力模块具体内容为：输入后分为2个分支：

分支1未经处理直接输出；

分支2依次接入一个全局平均池化层、一个全连接层，经过ReLU()函数处理，接入一个全连接层，再经过Sigmoid()函数处理；

分支1与分支2合并，再接入Fscale()函数处理；

最后输出；

Fscale()函数为：

Xc=Fscale(Uc,Sc)=ScUc(5)Xc为第c个通道输出的三维数据，Uc为第c个通道输入的原始三维数据，Sc为第c个通道对应的通道权重；Fscale()函数的目的为将各通道中的三维数据分别与其通道权重相乘，增加模型中有用信息的重要程度，达到提升模型预测性能的效果；

通道权重Sc为：

Sc=σ(W2δ(W1Zc))(6)其中，Zc为经过全局平均池化操作后的三维数据，δ为ReLU()激活函数，σ为Sigmoid()激活函数，W1为第一个全连接层的参数，W2为第二个全连接层的参数。

说明书： 一种基于行列和张量积的风机叶片开裂故障预测方法技术领域[0001] 本发明属于风电设备运行、风机叶片维护、智能电网、量子技术、智能技术、数据识别技术、维护技术领域，涉及一种基于行列和张量积的风机叶片开裂故障预测方法。背景技术[0002] 现有2021年12月7日申请号为202111484234.4的风机叶片故障检测方法、系统专利，该专利通过光纤传感器采集风机叶片的振动频率，再根据振动频率判断风机叶片是否受损。然而，有两个缺点限制了该方法的实用性：（1）该方法是基于单一信号去检测叶片裂纹，但在叶片损伤尚未扩大时，其引起的故障信号很微弱，仅凭一种传感器难以采集到明显的特征；（2）基于传感器的方法对检测环境往往有较高的要求，传感器采集到的信号可能会被复杂的环境所影响，导致故障预测的准确率降低。[0003] 另外，现有2021年5月14日申请号为202110529739.1的一种风机叶片故障预测方法、系统及存储介质专利，该专利在数据采集与监视控制系统数据的处理上，人为选取其中5个特征维度作为深度学习模型的输入。这种数据处理方法存在一定的主观性，且无法全面地利用数据采集与监视控制系统采集的数据，能够提取的故障特征有限。

[0004] 因此，提出一种基于行列和张量积的风机叶片开裂故障预测方法，该方法能够全面、快速地从数据采集与监视控制系统采集的数据中提取特征，且不易受环境的影响，可以实现对风机叶片一周内是否发生开裂故障进行预测，并拥有较高的准确率。发明内容[0005] 本发明提出一种基于行列和张量积的风机叶片开裂故障预测方法，将基于行列和张量积的降维方法、三维卷积神经网络以及Squeeze?Excitation注意力机制进行结合，用于风机叶片开裂故障预测，能够快速、准确地预测风机叶片一周内是否发生开裂故障以及防止风机叶片因为存在隐患仍继续运行而出现严重的损坏；在使用过程中的步骤为：步骤（1）：对利用数据采集与监视控制系统采集到的风机多维度数据进行数据清理，对错误数据的删除、重复数据的清除以及去掉不变的特征维度，并对剩余数据进行数据归一化；数据采集与监视控制系统共对R台风机进行数据采集，剩余数据共有I个特征维度，每个特征维度下采样次数共T次；

特征维度表示数据采集与监视控制系统采集到的数据种类；

风机多维度数据具体为：数据采集与监视控制系统分别对R台风机每10分钟采样一次的数据以及数据的标注信息；在标注信息中，0表示该风机叶片开裂故障样本对应风机一周内未发生开裂故障，1表示该风机叶片开裂故障样本对应的风机在一周内发生开裂故障；

对剩余数据进行数据归一化的方法为：

v’r,i,t=(vr,i,t?vr,i,tmin)/(vr,i,tmax?vr,i,tmin) (1)

其中，vr,i,t为第r台风机第i特征维度下第t次采样获得的风机叶片数据，vr,i,tmax和vr,i,tmin分别是第r台风机第i特征维度下的风机叶片数据最大值和最小值；v’r,i,t为归一化后的第r台风机第i特征维度下第t次采样获得的风机叶片数据；

步骤（2）：在进行数据清理后，采用基于行列和张量积的降维方法对清理后的数据进行降维；

基于行列和张量积的降维方法为：

U2=sumrow(v’1,i,t)?sumcol(v’2,i,t)(2)U3=sumrow(U2)?sumcol(v’3,i,t)(3)

UR=sumrow(UR?1)?sumcol(v’R,i,t)(4)其中，v’1,i,t表示数据采集与监视控制系统在第1台风机采集到的数据归一化后的数据，v’2,i,t表示数据采集与监视控制系统在第2台风机采集到的数据归一化后的数据，v’3,i,t表示数据采集与监视控制系统在第3台风机采集到的数据归一化后的数据，以此类推，v’R,i,t表示数据采集与监视控制系统在第R台风机采集到的数据归一化后的数据，皆为I×T的矩阵形式；sumrow()表示逐行累加，sumcol()表示逐列累加；符号?表示张量积运算；

依据所述公式反复迭代，最终实现降维；其中，降维前数据总量为R×I×T，降维后缩减为I×T，达到缩减数据量的目的；

步骤（3）：经过降维后的风机数据特征维度为I，故在UR中选取风机产生的实时多维度数据数量为I，即一个I×I的矩阵，生成对应的图像，再缩放为112×112的图像，根据数据采集的时间顺序依次取16组图像，相互堆叠得到16×112×112的三维模型，将16×112×

112的三维模型与自身叠加以获得16×112×112×3的三维模型并作为一个样本，最后将所有样本按4:1比例分为训练数据集与测试数据集；

16×112×112×3指深度×长度×宽度×通道数；

步骤（4）：设置网络的初始参数，将训练数据集输入预设的深度学习网络模型进行训练，当迭代次数达到阈值时训练完成，将测试数据集输入到训练好的网络模型中，得出预测风机叶片状态的分类结果；

预设的深度学习网络模型以ResNet50模型为原型，结合Squeeze?Excitation注意力模块，构建三维卷积神经网络3D?ResNet50；

Squeeze?Excitation注意力模块用于比较输入的三维模型特征中不同通道对预测性能的重要程度，并通过调整通道的权重来提升模型预测性能；

3D?ResNet50用于提取所述的16×112×112×3三维模型特征；

3D?ResNet50的具体内容为：

输入16×112×112×3三维模型；

经过一个尺寸3×7×7的卷积核的卷积处理；

经过一次尺寸1×3×3的最大池化处理；

依次接入Conv2_x、Conv3_x、Conv4_x、Conv5_x残差模块；

再接入一个Squeeze?Excitation注意力模块；

再依次接入1个平均池化层、1个Dropout层、1个全连接层、1个Dropout层、1个全连接层、1个Softmax层；

最后接入1个Classification层，输出预测结果；

预测结果的具体内容为：输出为0，表示该风机叶片开裂故障样本对应风机一周内未发生开裂故障；输出为1，表示该风机叶片开裂故障样本对应的风机在一周内发生开裂故障；

Conv2_x残差模块的具体内容为：

输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复3次并依次连接；

Conv3_x残差模块的具体内容为：

输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复4次并依次连接；

Conv4_x残差模块的具体内容为：

输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复6次并依次连接；

Conv5_x残差模块的具体内容为：

输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复3次并依次连接；

Squeeze?Excitation注意力模块具体内容为：

输入后分为2个分支：

分支1未经处理直接输出；

分支2依次接入一个全局平均池化层、一个全连接层，经过ReLU()函数处理，接入一个全连接层，再经过Sigmoid()函数处理；

分支1与分支2合并，再接入Fscale()函数处理；

最后输出；

Fscale()函数为：

Xc=Fscale(Uc,Sc)=ScUc(5)

Xc为第c个通道输出的三维数据，Uc为第c个通道输入的原始三维数据，Sc为第c个通道对应的通道权重；Fscale()函数的目的为将各通道中的三维数据分别与其通道权重相乘，增加模型中有用信息的重要程度，达到提升模型预测性能的效果；

通道权重Sc为：

Sc=σ(W2δ(W1Zc))(6)

其中，Zc为经过全局平均池化操作后的三维数据，δ为ReLU()激活函数，σ为Sigmoid()激活函数，W1为第一个全连接层的参数，W2为第二个全连接层的参数。

[0006] 本发明相对于现有技术具有如下的优点及效果：(1)现有2021年12月7日申请号为202111484234.4的风机叶片故障检测方法、系统专利，该专利通过光纤传感器采集风机叶片的振动频率，再根据振动频率判断风机叶片是否受损。此方法过于依赖于单一传感器采集的振动信号，易受环境因素影响，难以保证故障预测的准确性。而本发明所使用的数据来自数据采集与监视控制系统采集到的风机多维度数据，综合考虑多种影响风机叶片的因素，使环境因素的干扰降到最低。同时，本发明构建一种三维卷积神经网络模型3D?ResNet50用于预测风机叶片开裂故障，该网络模型能够学习大量数据采集与监视控制系统采集到的数据及其对应的标签，再将需要预测的处于工作状态的风机数据代入训练好的网络模型，便可实现对风机叶片一周内是否将发生开裂故障进行预测，并拥有较高的预测准确率，为后续的运维工作提供更充足的时间。

[0007] (2)现有2021年5月14日申请号为202110529739.1的一种风机叶片故障预测方法、系统及存储介质专利，该专利在数据采集与监视控制系统数据的处理上，人为选取其中5个特征维度作为深度学习模型的输入。这种数据处理方法存在一定的主观性，且无法全面地利用数据采集与监视控制系统采集的数据。而本发明仅进行对错误数据的删除、重复数据的清除以及对剩余数据进行数据归一化，保留大部分与风机叶片开裂情况相关的特征维度，保证数据的规范性和全面性。此外，为确保数据总量仍在可接受范围内，本发明采用基于行列和张量积的降维方法。该方法能够大幅压缩数据采集与监视控制系统采集到的数据，减少存储数据所需的空间。该方法也为后续对卷积神经网络的训练提供了便利，减少网络模型的训练时间，提升模型的性能，使得本发明能够在资源有限的设备上部署和应用。[0008] (3)现有2022年6月27日申请号为202210742710.6的一种风电机组叶片多故障检测分类方法专利，该专利在训练网络模型时，只在基本网络ResNet18的基础上进行了将全连接层替换为卷积层、使用批量归一化的简单改动，对模型性能的提升不明显。而本发明将Squeeze?Excitation注意力模块嵌入到三维卷积神经网络模型3D?ResNet50当中。该模块用于比较输入的三维模型特征中不同通道对预测性能的重要程度，学习不同通道的重要性程度，并通过调整通道的权重来提升模型预测性能，能有效提高风机叶片开裂故障预测的准确率。附图说明[0009] 图1是本发明方法的总体流程图。[0010] 图2是本发明方法中所预设的深度学习网络模型的整体结构图。[0011] 图3是本发明方法中Conv2_x残差模块的整体结构图。[0012] 图4是本发明方法中Conv3_x残差模块的整体结构图。[0013] 图5是本发明方法中Conv4_x残差模块的整体结构图。[0014] 图6是本发明方法中Conv5_x残差模块的整体结构图。[0015] 图7是本发明方法中Squeeze?Excitation注意力模块的整体结构图。实施方式

[0016] 本发明提出的基于行列和张量积的风机叶片开裂故障预测方法，结合附图详细说明如下：图1是本发明方法的整体流程图。

[0017] 对利用数据采集与监视控制系统采集到的风机多维度数据进行数据清理，包括对错误数据的删除、重复数据的清除以及去掉不变的特征维度，并对剩余数据进行数据归一化；在进行数据清理后，采用基于行列和张量积的降维方法对清理后的数据进行降维；将降维后的数据生成图像，并根据数据采集的时间顺序依次取数组图像，相互堆叠得到三维模型并作为一个样本，最后将全部样本按4:1比例分为训练数据集与测试数据集；设置网络的初始参数，将训练数据集输入预设的深度学习网络模型进行训练，当迭代次数达到阈值时训练完成，将测试数据集输入到训练好的网络模型中，得出预测风机叶片状态的分类结果。[0018] 风机多维度数据具体为：数据采集与监视控制系统分别对R台风机每10分钟采样一次的数据以及数据的标注信息；在标注信息中，0表示该风机叶片开裂故障样本对应风机一周内未发生开裂故障，1表示该风机叶片开裂故障样本对应的风机在一周内发生开裂故障；对剩余数据进行数据归一化的方法为：

v’r,i,t=(vr,i,t?vr,i,tmin)/(vr,i,tmax?vr,i,tmin) (1)

其中，vr,i,t为第r台风机第i特征维度下第t次采样获得的风机叶片数据，vr,i,tmax和vr,i,tmin分别是第r台风机第i特征维度下的风机叶片数据最大值和最小值；v’r,i,t为归一化后的第r台风机第i特征维度下第t次采样获得的风机叶片数据；

基于行列和张量积的降维方法为：

U2=sumrow(v’1,i,t)?sumcol(v’2,i,t) (2)

U3=sumrow(U2)?sumcol(v’3,i,t) (3)

UR=sumrow(UR?1)?sumcol(v’R,i,t) (4)

其中，v’1,i,t表示数据采集与监视控制系统在第1台风机采集到的数据归一化后的数据，v’2,i,t表示数据采集与监视控制系统在第2台风机采集到的数据归一化后的数据，v’3,i,t表示数据采集与监视控制系统在第3台风机采集到的数据归一化后的数据，以此类推，v’R,i,t表示数据采集与监视控制系统在第R台风机采集到的数据归一化后的数据，皆为I×T的矩阵形式；sumrow( )表示逐行累加，sumcol( )表示逐列累加；符号?表示张量积运算；

依据所述公式反复迭代，最终实现降维；降维前数据总量为R×I×T，降维后缩减为I×T，达到缩减数据量的目的。

[0019] 图2是本发明方法中所预设的深度学习网络模型的整体结构图。[0020] 预设的深度学习网络模型具体内容为：输入16×112×112×3三维模型；

经过一个尺寸3×7×7的卷积核的卷积处理；

经过一次尺寸1×3×3的最大池化处理；

依次接入Conv2_x、Conv3_x、Conv4_x、Conv5_x残差模块；

再接入一个Squeeze?Excitation注意力模块；

再依次接入1个平均池化层、1个Dropout层、1个全连接层、1个Dropout层、1个全连接层、1个Softmax层；

最后接入1个Classification层，输出预测结果；

预测结果的具体内容为：输出为0，表示该风机叶片开裂故障样本对应风机一周内未发生开裂故障；输出为1，表示该风机叶片开裂故障样本对应的风机在一周内发生开裂故障。

[0021] 图3是本发明方法中Conv2_x残差模块的整体结构图。Conv2_x残差模块的具体内容为：输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复3次并依次连接；

图4是本发明方法中Conv3_x残差模块的整体结构图。Conv3_x残差模块的具体内容为：

输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复4次并依次连接；

图5是本发明方法中Conv4_x残差模块的整体结构图。Conv4_x残差模块的具体内容为：

输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复6次并依次连接；

图6是本发明方法中Conv5_x残差模块的整体结构图。Conv5_x残差模块的具体内容为：

输入后分为2个分支：

分支1为未经处理直接输出；

分支2为依次经过尺寸为1×1×1的卷积核的卷积处理、尺寸为3×3×3的卷积核的卷积处理、尺寸为1×1×1的卷积核的卷积处理；

分支1与分支2合并；

最后输出；

相同的结构重复3次并依次连接；

图7是本发明方法中Squeeze?Excitation注意力模块的整体结构图。Squeeze?Excitation注意力模块的具体内容为：

输入后分为2个分支：

分支1未经处理直接输出；

分支2依次接入一个全局平均池化层、一个全连接层，经过ReLU()函数处理，接入一个全连接层，再经过Sigmoid()函数处理；

分支1与分支2合并，再接入Fscale()函数处理；

最后输出；

Fscale()函数为：

Xc=Fscale(Uc,Sc)=ScUc(5)

其中，Xc为第c个通道输出的三维数据，Uc为第c个通道输入的原始三维数据，Sc为第c个通道对应的通道权重；Fscale()函数的目的为将各通道中的三维数据分别与其通道权重相乘，增加模型中有用信息的重要程度，达到提升模型预测性能的效果；

通道权重Sc为：

Sc=σ(W2δ(W1Zc))(6)

其中，Zc为经过全局平均池化操作后的三维数据，δ为ReLU()激活函数，σ为Sigmoid()激活函数，W1为第一个全连接层的参数，W2为第二个全连接层的参数。

[0022] 以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。