风机叶片图像分割与网格优化拼接方法

权利要求书： 1.风机叶片图像分割与网格优化拼接方法，其特征在于，包括以下步骤：S1、连续采集单面风机叶片的图像构成待拼接的一组原始图像；

S2、利用U?net算法对一组原始图像的每个原始图像进行图像前景分割，提取风机叶片主体部分形成一组待配准图像；

S3、将每个待配准图像网格化，对每个待配准图像的网格顶点建立从1到m的索引，然后把网格顶点的x,y坐标表示为一个2m维度的向量，＝[x1y1x2y2…xmym]，定义关于的全局能量函数，并对能量函数最小化得到网格顶点最优解 为：其中，ψa()为对齐误差项；ψl()为局部相似性项；ψg()为全局相似性正则项；ψline()为直线保持正则项；λl、λg、λline分别为局部相似项、全局相似性项、直线保持约束项的调节权重；

S4、根据网格顶点最优解，进行图像映射和像素融合，完成图像拼接；

一组待配准图像为N个，对一组待配准图像进行编号为i，i＝1～N，利用SIFT算法提取每个待配准图像特征点并对重叠区的特征点进行匹配，得粗匹配特征点对集合，利用随机抽样一致性算法剔除粗匹配特征点对集合中的误匹配对，得有效匹配特征点对集合；

确定有效匹配特征点对集合内的特征点所在四边形网格，用该四边形网格的顶点坐标线性描述对应特征点的位置，并确定网格顶点匹配对，得网格顶点匹配对集合；

对齐误差项ψa()为：

其中，J为存在重叠区的图像对集合； 为 所在四边形的网格顶点ij

坐标的线性加权；M 为网格顶点匹配对集合； 与 为一对有效匹配特征点对。

2.如权利要求1所述的风机叶片图像分割与网格优化拼接方法，其特征在于，局部相似性项ψl()为：其中， 为几何变换前的网格顶点坐标， 为几何变换后的网格顶点坐标，为几何变换前的网格对角线向量， 为几何投影变换后的网格对角线向量； 为 的变换矩阵，Ei表示全部网格的对角线向量集。

3.如权利要求2所述的风机叶片图像分割与网格优化拼接方法，其特征在于，全局相似性项ψg()为：其中， 为权重函数； 与 为对角线相似变换函数；si和θi为全局几何变换参数。

4.如权利要求2所述的风机叶片图像分割与网格优化拼接方法，其特征在于，利用LSD算法对风叶图像中的直线l进行提取，得直线集合L，在每条直线l上采集个n样点，得每条直线的样点集合直线保持约束项ψline()为：

其中，[al,bl]⊥为直线的单位法向量； 为样点 所在网格的四个顶点坐标线性加权。

5.如权利要求1所述的风机叶片图像分割与网格优化拼接方法，其特征在于，步骤S2具体包括以下步骤：S2a、采集至少80张风机叶片的原始图像，对原始图像采用手工标记风机叶片主体部分的方法进行人工分割得到标定图像；

S2b、搭建基于U?net的深度学习网络，以原始图像作为输入图像、标定图像作为输出图像载入至深度学习网络，进行训练，获得风机叶片模型；

S2c、以步骤S1的一组原始图像中的每个原始图像作为输入图像，利用风机叶片分割模型进行处理得到对应的输出图像，即得待配准图像。

说明书： 风机叶片图像分割与网格优化拼接方法技术领域[0001] 本发明涉及图像拼接领域。更具体地说，本发明涉及一种风机叶片图像分割与网格优化拼接方法。背景技术[0002] 风机叶片是风电机组的关键部件，由于长期暴露在外部自然环境中，风机叶片的表面会出现砂眼、裂纹、剥皮等常见缺陷，进而影响了风力发电的效率与风机的寿命。目前，风机叶片的缺陷检测主要依靠人工，存在工作效率低、危险性与成本高的问题。随着无人机技术的推广应用，利用无人机替代人工进行巡检作业，通过高清分辨率相机近距离观察叶片，可对有缺陷的叶片提前发现、及时处理，保障系统设备安全运行。根据不完全统计，该方式比传统人工检测至少快3倍，成本节约近50％，减少发电机2/3的停机时间。[0003] 无人机进行风机叶片巡检作业时，为了满足缺陷识别的分辨率要求，拍摄相机无法通过单次拍摄实现完整叶片的覆盖，一般地，单个风叶单面拍摄需要20?40张照片不等，加之叶片巡检分迎风面、背风面、前缘与后缘之分，众多零散的图片不利于叶片巡检作业的管理；通过图片分析出叶片缺陷，也无法定位具体的缺陷位置，故而需要对拍摄的零散风机叶片进行拼接。风机叶片拼接过程的问题存在两点特殊性：1)风机叶片主体相对背景而言特征单一，图像中绝大多数特征点来源于背景，不利于拼接过程中叶片特征保持；2)在无人机获取风机叶片图像时，视点位置发生了明显的平移，会导致很大的视差，破坏了传统图像拼接方法的单点透视假设，属于多视点图像拼接问题，因此直接进行图像拼接会出现很大的配准误差，往往会产生严重的扭曲或者重影现象。基于此，提出一种基于无人机对风机巡检作业的图像拼接算法，将无人机拍摄的离散风机叶片无失真拼接成完整的大幅叶片图像，为叶片故障标识、定位以及巡检照片管理提供技术手段是目前急需解决的问题。发明内容[0004] 本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。[0005] 本发明还有一个目的是提供一种风机叶片图像分割与网格优化拼接方法，其使用深度学习U?net算法和直线保持约束的风叶拼接方法，解决了目标与背景景深过大导致目标拼接失败的问题；利用直线保持技术的网格化拼接技术，对风机边缘的直线特征进行了有效保护，实现了多幅风机叶片的自然拼接，拼接得到的图像视觉效果畸变小、连续真实。[0006] 为了实现根据本发明的这些目的和其它优点，提供了一种风机叶片图像分割与网格优化拼接方法，包括以下步骤：[0007] S1、连续采集单面风机叶片的图像构成待拼接的一组原始图像；[0008] S2、利用U?net算法对一组原始图像的每个原始图像进行图像前景分割，提取风机叶片主体部分形成一组待配准图像；[0009] S3、将每个待配准图像网格化，对每个待配准图像的网格顶点建立从1到m的索引，然后把网格顶点的x,y坐标表示为一个2m维度的向量，＝[x1y1x2y2…xmym]，定义关于的全局能量函数，并对能量函数最小化得到网格顶点最优解 为：[0010][0011] 其中，ψa()为对齐误差项；ψl()为局部相似性项；ψg()为全局相似性正则项；ψline()为直线保持正则项；λl、λg、λline分别为局部相似项、全局相似性项、直线保持约束项的调节权重；

[0012] S4、根据网格顶点最优解，进行图像映射和像素融合，完成图像拼接。[0013] 优选的是，一组待配准图像为N个，对一组待配准图像进行编号为i，i＝1～N，利用SIFT算法提取每个待配准图像特征点并对重叠区的特征点进行匹配，得粗匹配特征点对集合，利用随机抽样一致性算法剔除粗匹配特征点对集合中的误匹配对，得有效匹配特征点对集合；[0014] 确定有效匹配特征点对集合内的特征点所在四边形网格，用该四边形网格的顶点坐标线性描述对应特征点的位置，并确定网格顶点匹配对，得网格顶点匹配对集合；[0015] 对齐误差项ψa()为：[0016][0017] 其中，J为存在重叠区的图像对集合； 为 所在四边形的网格ij

顶点坐标的线性加权；M 为网格顶点匹配对集合； 与 为一对有效匹配特征点对。

[0018] 优选的是，局部相似性项ψl()为：[0019][0020] 其中， 为几何变换前的网格顶点坐标， 为几何变换后的网格顶点坐标，为几何变换前的网格对角线向量， 为几何投影变换后的网格对角线向量； 为 的变换矩阵，Ei表示全部网格的对角线向量集。

[0021] 优选的是，全局相似性项ψg()为：[0022][0023] 其中， 为权重函数； 与 为对角线相似变换函数；si和θi为全局几何变换参数。

[0024] 优选的是，利用LSD算法对风叶图像中的直线l进行提取，得直线集合L，在每条直线l上采集个n样点，得每条直线的样点集合[0025] 直线保持约束项ψline()为：[0026][0027] 其中，[al,bl]⊥为直线的单位法向量； 为样点 所在网格的四个顶点坐标线性加权。

[0028] 优选的是，步骤S2具体包括以下步骤：[0029] S2a、采集至少80张风机叶片的原始图像，对原始图像采用手工标记风机叶片主体部分的方法进行人工分割得到标定图像；[0030] S2b、搭建基于U?net的深度学习网络，以原始图像作为输入图像、标定图像作为输出图像载入至深度学习网络，进行训练，获得风机叶片模型；[0031] S2c、以步骤S1的一组原始图像中的每个原始图像作为输入图像，利用风机叶片分割模型进行处理得到对应的输出图像，即得待配准图像。[0032] 本发明至少包括以下有益效果：[0033] 第一、由于无人机对风机叶片的巡检拍摄为多视点拍摄，拍摄点之间有很大的平移，会导致很大的视差，且存在明显的背景和前景景深，干扰拼接，本申请使用深度学习U?net算法和直线保持约束的风叶拼接方法，解决了目标与背景景深过大导致目标拼接失败的问题；[0034] 第二、利用直线保持技术的网格化拼接技术，同时优化直线判据，对风机边缘的直线特征进行了有效保护，以使在网格优化阶段只需一次优化求解，实现了多幅风机叶片的自然拼接，拼接得到的图像视觉效果畸变小、连续真实，且计算方式直接、适用范围广，可靠性更高。[0035] 本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。附图说明[0036] 图1为本发明的风机叶片图像分割与网格优化拼接方法的流程示意图；[0037] 图2为本发明的其中一实施例中的两张原始图像；[0038] 图3为本发明的其中一实施例中的两张待配准图像；[0039] 图4为本发明的其中一实施例中的两张具有重叠区的两张待配准图片的特征点粗匹配结果示意图；[0040] 图5为本发明的其中一实施例中的其中两张具有重叠区的两张待配准图片的特征点剔除误匹配对后的结果示意图；[0041] 图6为本发明的其中一实施例中的完成图像拼接的图像示意图。具体实施方式[0042] 下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。[0043] 如图1所示，本发明提供一种风机叶片图像分割与网格优化拼接方法，包括以下步骤：[0044] S1、无人机连续采集单面风机叶片的图像构成待拼接的一组原始图像；[0045] S2、利用U?net算法对一组原始图像的每个原始图像进行图像前景分割，提取风机叶片主体部分形成一组待配准图像；[0046] S3、对每个待配准图像建立均匀四边形网格，即将每个待配准图像网格化，对每个待配准图像的网格顶点建立从1到m的索引，然后把网格顶点的x,y坐标表示为一个2m维度的向量，＝[x1y1x2y2…xmym]，定义关于的全局能量函数，并对能量函数最小化得到网格顶点最优解[0047] 关于的全局能量函数为：＝ψa()+λlψl()+λgψg()+λlineψline()[0048] 为：[0049] 其中，ψa()为对齐误差项；ψl()为局部相似性项；ψg()为全局相似性正则项；ψline()为直线保持正则项；λl、λg、λline分别为局部相似项、全局相似性项、直线保持约束项的调节权重；

[0050] S4、根据网格顶点最优解，进行图像映射和像素融合，完成图像拼接。[0051] 在上述技术方案中，无人机对单面风机叶片连续采集，连续采集过程中，无人机与叶片的距离基本保持不变，且采集的任意相邻两张原始图像间存在重叠区，局部相似项、全局相似性项、直线保持约束项的调节权重取决于图像中细节与结构问题特征，对于一类图像而言，调节权重不变，步骤S3中，ψa()为对齐误差项，其用于调控使待配准图像的重叠区能够更好的对齐，ψl()为局部相似性项，其在于确保每个网格尽量经历相似几何变换的情况下，将重叠区网格的几何变换传播到整张网格之上，保证网格几何变换的连续性；ψg()为全局相似性正则项，其在于控制非重叠区的网格以全局相似变换为主，而重叠区的网格以对齐为主，保证重叠区能够充分对齐，而非重叠区能够尽力保证经历一个相似变换，而减少投影失真；ψline()为直线保持正则项，其在于保持叶片自身线性结构特征；步骤S4具体为：根据获得的网格顶点(坐标)最优解，将所有图像映射到一个统一的坐标系下，使得不同待配准图像的匹配点处于同一位置下，并求加权平均进行像元融合，完成图像拼接；由于无人机对风机叶片的巡检拍摄为多视点拍摄，拍摄点之间有很大的平移，会导致很大的视差，且存在明显的背景和前景景深，干扰拼接，采用这种技术方案，使用深度学习U?net算法和直线保持约束的风叶拼接方法，解决了目标与背景景深过大导致目标拼接失败的问题；利用直线保持技术的网格化拼接技术，对风机边缘的直线特征进行了有效保护，实现多幅风机叶片的自然拼接，拼接得到的图像视觉效果畸变小、连续真实，且计算方式直接、适用范围广，可靠性更高。[0052] 在另一种技术方案中，一组待配准图像为N个，对一组待配准图像进行编号为i，i＝1～N，利用SIFT算法提取每个待配准图像特征点并对重叠区的特征点进行匹配，得粗匹配特征点对集合，粗匹配特征点对集合中存在的误匹配对会引起图像几何校正的误差，利用随机抽样一致性算法剔除粗匹配特征点对集合中的误匹配对，得有效匹配特征点对集合；[0053] 确定有效匹配特征点对集合内的特征点所在四边形网格，用该四边形网格的顶点坐标线性描述对应特征点的位置，并确定网格顶点匹配对，得网格顶点匹配对集合；[0054] 则对齐误差项ψa()为：[0055][0056] 其中，J为存在重叠区的图像对集合，对于由连续拍摄的原始图像进行前景分割获得的待配准图像而言，任意相邻两张待配准图像为一对存在重叠区的图相对；[0057] 为 所在四边形的网格顶点坐标的线性加权；Mij为网格顶点匹配对集合； 与 为一对有效匹配特征点对。在上述技术方案中，得粗匹配特征点对集合具体包括以下步骤：

[0058] 步骤一、由待配准图像与高斯核函数卷积生成每个待配准图像在不同尺度下的尺度空间L(x,y,σ)：L(x,y,σ)＝G(x,y,σ)*I(x,y)，其中， 为高斯核函数；σ为高斯正态分布的方差，也称为尺度空间因子；(x,y)为待配准图像当前像素点的索引；I(x,y)表示待配准图像；*表示卷积运算；

[0059] 对尺度空间进行离散化采样，生成的一系列高斯图像，构成高斯金字塔，将高斯金字塔中相邻两层的尺度空间函数进行相减得到高斯差分金字塔D(x,y,σ)，进而构建差分高斯尺度空间，其中，D(x,y,σ)＝(G(x,y,kσ)?G(x,y,σ))*I(x,y)＝L(x,y,kσ)?L(x,y,σ)；[0060] 步骤二、检测尺度空间的极值点，并精确定位极值点：将差分高斯尺度空间里的每个像素点与同层的8个像素点、上层的9个像素点和下层的9个像素点供26个像素点比较大小，如果当前像素点为极大值或极小值，则把当前像素点定位关键点；[0061] 由于边缘和噪声对差分高斯尺度空间的影响较大，对关键点进行进一步的筛选，精确定位具有尺度不变性的特征点，并且需要滤除低对比度点和边缘响应点，以精确定位极值点，得特征点；[0062] 步骤三、确定高斯金字塔特征点(x,y)处的梯度大小m(x,y)和方向θ(x,y)，利用特征点处的梯度大小和方向来计算特征点的主方向，以保证特征点的旋转不变性，其中，[0063][0064] L(x,y)为特征点(x,y)的尺度；[0065] 以特征点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，梯度直方图的方位是0～360度，其中每10度一个柱，直方图的主峰值代表了特征点处邻域梯度的主方向，即特征点的主方向；[0066] 步骤四、确定特征点主方向之后，以特征点为中心取8×8的窗口，进而计算每个4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，最终形成128维的SIFT特征描述向量，即生成特征描述子；[0067] 步骤五、用最近邻距离和次近邻距离比(NNDR)准则实现对空间邻接的两个待配准图像的特征点进行匹配，匹配完成后邻接的两个待配准图像中匹配中的点集构成粗匹配特征点对集合；采用这种方案，将获得的有效匹配特征点对的有效匹配特征点的位置用其所在四边形网格顶点的坐标线性描述，获得网格顶点匹配对集合，使得网格的顶点参与对齐误差项的计算，以使待配准图片在重叠区能够更好的对齐，进一步提升图像间的配准效果。[0068] 在另一种技术方案中，局部相似性项ψl()为：[0069][0070] 其中， 为几何变换前的网格顶点坐标， 为几何变换后的网格顶点坐标，为几何变换前的网格对角线向量， 为几何投影变换后的网格对角线向量； 为 的变换矩阵，Ei表示全部网格的对角线向量集。采用这种方案，确保每个网格尽量经历相似几何变换的情况下，将重叠区网格的几何变换传播到整张网格之上，保证网格几何变换的连续性。

[0071] 在另一种技术方案中，全局相似性项ψg()为：[0072][0073] 其中， 为权重函数，其与网格边距离重叠区的距离正相关，对远离重叠区的网格对角线赋予更高的权重值，对重叠区对齐项约束起主导作用； 与 为对角线相似变换函数；si和θi为全局几何变换参数，具体为旋转参数和尺度参数。采用这种方案，控制非重叠区的网格以全局相似变换为主，而重叠区的网格以对齐为主，保证重叠区能够充分对齐，而非重叠区能够尽力保证经历一个相似变换，而减少投影失真。

[0074] 在另一种技术方案中，利用LSD算法对风叶图像中的直线l进行提取，得直线集合L，在每条直线l上采集个n样点，得每条直线的样点集合[0075] 直线保持约束项ψline()为：[0076][0077] 其中，[al,bl]⊥为直线的单位法向量； 为样点 所在网格的四个顶点坐标线性加权。采用这种方案，优化直线判据，以使在网格优化阶段只需一次优化求解，且利用直线保持技术的网格化拼接技术，对风机边缘的直线特征进行了有效保护，实现多幅风机叶片的自然拼接，拼接得到的图像视觉效果畸变小、连续真实。

[0078] 在另一种技术方案中，步骤S2具体包括以下步骤：[0079] S2a、采集至少80张风机叶片的原始图像，对原始图像采用手工标记风机叶片主体部分的方法进行人工分割得到标定图像；[0080] S2b、搭建基于U?net的深度学习网络，以原始图像作为输入图像、标定图像作为输出图像载入至深度学习网络，进行训练，获得风机叶片模型；[0081] S2c、以步骤S1的一组原始图像中的每个原始图像作为输入图像，利用风机叶片分割模型进行处理得到对应的输出图像，即得待配准图像。采用这种方案，使用深度学习U?net算法，解决原始图像背景景深过大的问题。[0082] 实施例1[0083] 如图2?6所示，一种风机叶片图像分割与网格优化拼接方法，包括以下步骤：[0084] S1、无人机连续采集单面风机叶片的23张图像构成待拼接的一组原始图像，部分原始图像(做灰度处理后)如图2所示；[0085] S2、利用U?net算法对一组原始图像的每个原始图像进行图像前景分割，提取风机叶片主体部分形成一组待配准图像，图2所示的原始图像对应的待配准图像(做灰度处理后)如图3所示；[0086] 利用SIFT算法提取每个待配准图像特征点并对重叠区的特征点进行匹配，得粗匹配特征点对集合，其中两张具有重叠区的两张待配准图片的特征点粗匹配结果如图4所示；利用随机抽样一致性算法剔除粗匹配特征点对集合中的误匹配对，得有效匹配特征点对集合，其中两张具有重叠区的两张待配准图片的特征点剔除误匹配对后的结果如图5所示[0087] S3、以像素为单位对每个待配准图像建立均匀四边形网格，大小为40×40像素，降采样图片分辨率为800×600像素，权重系数取值λl＝0.25、λg＝0.75、λline＝1.1，经过CGLS迭代，有效解决大规模稀疏矩阵的优化求解问题，根据统计，23张图像在网格优化求解时，共72934个稀疏项，16928顶点参与优化，迭代时间为2.6秒，全部处理时间为69.5秒；

[0088] S4、根据网格顶点最优解，进行图像映射和像素融合，完成图像拼接，具体如图6所示。[0089] 尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。