基于机器视觉的风机叶片缺陷自诊断定位方法

520 编辑：中冶有色技术网来源：东华理工大学

2024-04-01 11:17:07

权利要求书： 1.一种基于机器视觉的风机叶片缺陷自诊断定位方法，其特征是该方法包括如下步骤：步骤1：通过视觉传感器获取风机叶片各种缺陷样本图像集，对样本图像人工分类，为后续判断分类器的正确率提供依据；

步骤2：对步骤1采集到的图像样本数据集中的缺陷特征及噪声进行分析，采用中值滤波，在很好地保留了目标边缘特征的同时去除图像中大部分噪声；

步骤3：根据步骤2获得的去噪后的图像样本集，采用阈值法将样本集中图像的目标区域完整的分割出来，然后运用Blob分割算法度量图像中连通区域的形心、边界盒、面积属性来对物体的检测区域进行分析和处理，并标记缺陷位置；

步骤4：根据步骤3获得的缺陷特征样本集，依据样本特性创建基于颗粒特征向量的分类器，采用支持向量机对样本集合进行训练，得到准确度较高的分类器；

步骤5：将不同缺陷类别图像作为输入，可以快速准确地实现风机叶片的缺陷分类及定位；

其特征是步骤3的具体步骤为：

步骤3.1：首先根据滤波后样本集直方图设置灰度值阈值，采用阈值分割法分离图像前景和背景，获得二值图像；

步骤3.2：对步骤3.1获得的二值图像采用形态学方法，进行闭运算消除小的孤立噪声的同时获得叶片表面缺陷连通区域；

步骤3.3：根据骤3.2获得图像目标像素，统计出目标图像中满足叶片缺陷条件的Blob数目，并对图像中每个Blob进行标记；

步骤3.4：Blob信息提取，采用Blob线处理方法获取连通区域的几何特征，即连通区域的线段边界点、最小外接矩形及形心位置，最后计算获得风机缺陷位置坐标。

2.如权利要求1所述的一种基于机器视觉的风机叶片缺陷自诊断定位方法，其特征是步骤4的具体步骤为：步骤4.1：对由步骤3获得的图像缺陷样本，分别取它们的面积特征、圆度因子、细长度特征以及孔洞数作为目标特征，计算样本集的各特征参数；

步骤4.2：基于步骤4.1获得的样本集各特征参数的非线性特性，选用非线性内核函数，将各特征参数数据映射到高维空间中使样本数据变成线性；

步骤4.3：求解特性空间中的最优分类函数，得到最优分类模型；

步骤4.4：选用叶片缺陷训练样本集，经步骤3特征提取后，输入SM分类器，依据分类结果测试分类器的可靠性。

说明书：一种基于机器视觉的风机叶片缺陷自诊断定位方法技术领域[0001] 本发明涉及的是一种风机叶片自诊断方法，具体是一种基于机器视觉的风机叶片多种缺陷自诊断定位方法。背景技术[0002] 我国近年对风能大力开发，风机容量占比迅速提升，减少向大气排放的温室气体约15万吨。然而，在风机的运行中，维护的成本占据能源成本的10％?20％，风机叶片一直处于恶劣的自然环境中，容易使得叶片产生缺陷导致机组运行失效或安全事故，对叶片的缺陷进行监测能够及时发现并排除存在危险，减少运维成本。当前解决这个问题的方法主要有：1.声发生法：当叶片在运行时产生裂纹、折断等缺陷时，对其进行敲击，其返回的声信号将发生改变，但由于环境噪音较大，对叶片状态分析造成很大影响。叶片敲击在实验室中容易完成，但实际运行过程中难以实现。2.应力监测：通过在叶片上布置检测光纤，叶片在运转时发生的振动及形变都会使得光纤内部的光信号传输发生微小的变化，通过分析传输的信号的变化，对叶片进行监测。光纤监测的敏感度高，但是成本太高。3.超声波探伤和红外热成像检测技术受噪声和环境温度影响很大，且成本较高。随着计算机技术及图像处理技术的不断发展，基于机器视觉的无损检测技术也得到了迅速的发展。中国专利公开号CN108510001A公开了一种风力发电机叶片缺陷分类方法及其分类系统。利用在风力发电机叶片图像样本数据集上进行过训练的ResNet提取叶片的缺陷特征；利用ResNet提取的所述叶片的缺陷特征来获得频繁程度高的叶片缺陷类别信息；将提取的频繁程度高的叶片缺陷类别信息用于决策树的构建，重复迭代直至收敛后得到缺陷分类模型，并利用基于高频取样CatBoost方法对其缺陷特征进行分类。这种方法虽然得到缺陷分类模型并分类，但未对缺陷进行标记和定位，不利于后续的缺陷追踪。中国专利公开号CN103984952A公开了基于机器视觉图像对电力系统风力发电机叶片表面裂纹故障进行诊断的方法。该方法包括步骤一、划分风力发电机叶片，获得叶片基元；步骤二、对风力发电机叶片基元进行拍照，并对背景进行剔除；步骤三、对步骤二获得的叶片基元结果图像进行二次划分成图像基元，并对基元结果图像进行特征提取；步骤四、对故障诊断所用的支持向量机进行训练；步骤五、使用训练好的支持向量机对风力发电机叶片基元的表面故障种类进行诊断；步骤六、对所有的叶片基元均进行步骤二、三、五的操作，直至完成整片叶片的表面故障诊断。这种方法能够诊断大型叶片表面缺陷，但专利中仅提到了对叶片表面裂纹的检测，未对其他缺陷的检测展开研究，检测效果单一。并且也未对缺陷进行标记和定位，同样不利于后续的缺陷追踪。发明内容[0003] 本发明针对现有技术存在的不足，提供一种基于机器视觉的风机叶片缺陷自诊断定位方法,即风机叶片自动判别、定位及分类方法，针对当前叶片诊断过程中缺少叶片定位技术，提出解决方案，保证叶片缺陷快速识别、分类的同时标记定位缺陷位置，为后续叶片表面缺陷追踪提供依据。[0004] 本发明的技术方案如下：一种基于机器视觉的风机叶片缺陷自诊断定位方法，其特征是该方法包括如下步骤：[0005] 步骤1：通过视觉传感器获取风机叶片各种缺陷样本图像集，对样本图像人工分类，为后续判断分类器的正确率提供依据；[0006] 步骤2：对步骤1采集到的图像样本数据集中的缺陷特征及噪声进行分析，采用中值滤波，在很好地保留目标边缘特征的同时去除图像中大部分噪声；[0007] 步骤3：根据步骤2获得的去噪后的图像样本集，采用阈值法将样本集中图像的目标区域完整的分割出来，然后运用Blob分割算法度量图像中连通区域的形心、边界盒、面积等属性来对物体的检测区域进行分析和处理，并标记缺陷位置；该方法可以检测单个叶片中的多种不同类型缺陷，标记各缺陷在图像中的位置；[0008] 步骤4：根据步骤3获得的缺陷特征样本集，依据样本特性创建基于颗粒特征向量的分类器，采用支持向量机对样本集合进行训练，得到准确度较高的分类器；步骤3中已标记出缺陷坐标，在进行缺陷分类训练时直接读取每幅图像中各缺陷在图像中的起点和终点位置，能够最大限度的减少图像扫描时间，减少样本训练及缺陷分类检测的时间；[0009] 步骤5：将不同缺陷类别图像作为输入，可以快速准确地实现风机叶片的缺陷分类及定位。[0010] 进一步的，所述步骤3的具体步骤为：[0011] 步骤3.1：首先根据滤波后样本集直方图设置灰度值阈值，采用阈值分割法分离图像前景和背景，获得二值图像；[0012] 步骤3.2：对步骤3.1获得的二值图像采用形态学方法，进行闭运算消除小的孤立噪声的同时获得叶片表面缺陷连通区域；[0013] 步骤3.3：根据骤3.2获得图像目标像素，统计出目标图像中满足叶片缺陷条件的Blob数目，并对图像中每个Blob进行标记；[0014] 步骤3.4：Blob信息提取，采用Blob线处理方法获取连通区域的几何特征，即连通区域的线段边界点、最小外接矩形及形心位置，最后计算获得风机缺陷位置坐标。[0015] 进一步的，所述步骤4的具体步骤为：[0016] 步骤4.1：对由步骤3获得的图像缺陷样本，分别取它们的面积特征、圆度因子、细长度特征以及孔洞数作为目标特征，计算样本集的各特征参数；[0017] 步骤4.2：基于步骤4.1获得的样本集各特征参数的非线性特性，选用非线性内核函数，将各特征参数数据映射到高维空间中使样本数据变成线性；[0018] 步骤4.3：求解特性空间中的最优分类函数，得到最优分类模型；[0019] 步骤4.4：选用叶片缺陷训练样本集，经步骤3特征提取后，输入SM分类器，依据分类结果测试分类器的可靠性。[0020] 本发明的优点是：发明提供了一种基于机器视觉的风机叶片缺陷自诊断、定位及分类方法，该方法快速有效识别叶片表面缺陷，对缺陷进行分类、标记及定位，实时掌握叶片情况，追踪缺陷发展。该方法能够有效监测风力发电机叶片健康状况，保障风机安全运行，提高风机工作效率，大大降低运维成本。附图说明[0021] 图1为本发明方法的系统工作流程图。[0022] 图2为本发明CMOS相机标定后重投影误差图。[0023] 图3为本发明矫正后角点和实际角点图。[0024] 图4为本发明方法的缺陷定位、分类与识别流程图。具体实施方式[0025] 下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。[0026] 参照图1,本实施例程包括：图像采集模块、图像预处理模块、缺陷提取与标记模块、缺陷分类模块。其中图像采集模块用于采集测试图像样本集及系统工作过程中对叶片未知类别图像数据的实时采集，并将采集的信息传输到PC机。图像预处理模块对采集的叶片图像进行图像滤波去除噪声，之后缺陷提取与标记模块根据上述预处理后的样本数据运用阈值法+Blob分割算法度量图像中连通区域的属性，对物体的检测区域进行分析和处理，提取测试叶片图像的多种缺陷特征并标记缺陷位置。缺陷分类模块依据各类缺陷特征创建基于颗粒特征向量的分类器对缺陷进行分类，从而得到更加精确的缺陷分类，最后输出叶片缺陷坐标及缺陷类别。[0027] 所述图像采集模块，CMOS摄像机作为图像采集传感器，获取风机叶片图像。为消除相机畸变给缺陷定位带来的影响，使用GP100?2型的菲林标定板作为参数计算的拍摄对象，采集标定板不同姿态的图像共17张，使用CameraCalibrator对采集到的标定的图像进行解算，求出各幅图像的旋转矩阵和平移矩阵，进而计算出重投影误差(如图2)，并得到修正参数(如图3)。[0028] 所述预处理模块，其主要任务是去除图像噪声。采用5*5的十字交叉中值滤波模板，滤除孤立噪声的同时很好地保留了目标边缘细节。[0029] 所述缺陷提取与标记模块参考图4特征提取部分，其主要任务是图像的目标区域与背景完整的分割出来，提取缺陷连通区域并标记缺陷，得到缺陷形心坐标。与现有技术相比，本发明具有的优势是可以快速的识别并标记一副图像中的多种缺陷类型。具体实施步骤如下：[0030] 1.采用Otsu算法(最大类间方差)自动计算阈值实现图像二值化。读取图像像素值，计算灰度直方图，根据类间方差最大确定最佳阈值，对灰度图像进行阈值自动分割。[0031] 2.叶片缺陷的一些位置本来应该是一个完整的连通区域，但因为叶片在同一位置的缺陷程度比较浅，使得在二值化后缺陷变成一个个独立的小连通区域。这会使得对缺陷的检测出现数目过多，可能导致缺陷被判断为多个独立缺陷。根据二值化图像特征，选用圆盘形模板采用闭运算将弥散分布的孔洞合并得到连通区域，同时去除孤立亮点噪声。[0032] 3.Blob连通区域统计，并标记每个连通区域。[0033] 4.采用Blob处理方法，在连通区域的扫描过程中，同时获取连通区域的几何特征，包括连通区域的线段边界点、最小外接矩形及形心位置，并同时将缺陷连通区域数据存入各Blob的信息结构体中。[0034] 所述缺陷分类模块参考图4训练阶段，根据风机运转过程中叶片常见缺陷(麻面、点蚀、裂纹、断裂)确定特征参数，作为分类器的特征向量对分类器进行训练，并对样本集中的缺陷进行分类。具体步骤如下：[0035] 1.选取特征向量。根据缺陷类型选取面积特征A、圆度因子C、细长度特征S以及孔洞数为训练分类器的输入特征参数。[0036] 面积特征A：其中，(i,j)目标区域的起始坐标，M,N为目标区域的长和宽，I(x,y)为目标区域像素；

[0037] 圆度因子C：其中，P为目标区域周长，A为目标区域面积；[0038] 细长度为目标区域等效矩形的长宽比；[0039] 孔洞数用拓扑形状特征描述，这里用欧拉数E来表示拓扑特征。H表示目标区域中空洞数，C表示连通域数。孔洞数结合面积特征快速有效区分麻面和点蚀。[0040] E＝C?H[0041] 2.利用支持向量机(SM)对叶片缺陷进行决策分类，样本特征向量数据作为分类器的输入。由于样本空间非线性问题，在支持向量中，针对样本集线性不可分的情况，本发明选用径向基核函数完成将输入原始样本数据映射到高维空间中使样本数据变成线性可分，确定最优分类线，最终得到最优分类模型。[0042] 3.分类器测试阶段。将各种叶片缺陷的图像作为输入，可得到缺陷定位的相关数据(表1列出了各种缺陷数据示例)以及分类结果。为了得到分类器的准确度对实验结果进行分析。[0043] 表1叶片缺陷检测数据示例(部分数据)[0044][0045][0046] 使用训练完成的分类器对叶片中的麻面、裂纹、点蚀、折断情况进行诊断，分类结果及准确率如表2所示。[0047] 表2各缺陷分类的准确率[0048][0049] 由表2可知，对四种缺陷检测的准确率分别为86.02％、93.12％、87.11％、96.06％，各种缺陷准确度较高，平均准确度高达90.63％。如表3所示，为比较算法的准确度，与卷积神经网络(CNN)算法Inception?2、ResNet?50、ResNet?101、Inception?ResNet?2实验数据比较，检测的准确率高于目前常用的这四种卷积算法。

[0050] 表3不同的卷积神经网络算法与本发明方法分类效果对比[0051]