对于未知风机结构的无人机巡检方法

421 编辑：管理员来源：电子科技大学

2024-03-12 16:29:01

权利要求书： 1.一种对于未知风机结构的无人机巡检方法，其特征在于：包括以下步骤：S1.远距离对风机整体进行多角度拍照，风机要全部包含在照片中且靠近照片中心部位，对照片进行处理获取关键巡检点坐标信息；

所述步骤S1包括以下子步骤：

S101.远距离对风机整体进行多角度拍照得到多张照片，每张照片中风机要全部包含在照片中且靠近照片中心部位；

S102.对于拍摄的每一张照片图像，获取关键巡检点在图像中的像素点坐标Puv(u,v)、相机的内参矩阵K；记录拍照时飞机的经纬度信息、相机的姿态角信息，确定相机坐标系到大地坐标系的旋转矩阵Rcw；设置一个北东地坐标系参考原点，并计算出拍照点在坐标系中的坐标t(X0,Y0,Z0)，记录相机坐标系下拍摄点距离巡检点之间的深度Zc；

S103.对于任一关键巡检点，推导相机坐标系下巡检点的归一化坐标Pc，并计算出关键巡检点的理论三维坐标Pw(Xw,Yw,Zw)：?1

Pc＝K ZcPuv

S2.利用已获取的关键巡检点坐标信息计算出将叶片等分的巡检点坐标信息；

S3.利用巡检点坐标信息计算出所需的巡航点坐标信息，生成航迹；

S4.无人机起飞并到巡航点，利用巡检点坐标信息调整无人机位姿使其正对目标点；

S5.在所在巡航点进行拍照的之前对巡检点进行一次目标识别，再次调整云台姿态，将巡检点尽量靠近照片中心；

所述步骤S5包括以下子步骤：

S501.在所在巡航点进行拍照的之前对巡检点进行一次目标识别；

S502.将在巡航点拍照所得的照片进行在线图像处理，识别需要巡检的叶片部分，再调节相机云台的姿态使之处于照片的中心部位；

S503.设Pw是实际目标点地理坐标位置，O是光心，Po是光心沿相机坐标系Z轴到Pw所在平面的垂足，P是Pw与Po沿相机坐标系的u轴与v轴相交点；Zc是Pw所在平面到光心的垂直距离，u`是Pw与Po在相机坐标系下沿u轴方向的实际地理距离，v`是Pw与Po在相机坐标系下沿v轴方向的实际地理距离；D是Pw与O之间的距离；d是P与O之间的距离；

在前面计算出来Pw之后，光心O的地理坐标t和Rcw已知，则：D＝|t?Pw|， Pc＝Rcw(Pw?t)计算得Zc，其中fx是由αf合并、fy是由βf合并，f为相机焦距，α,β是像素坐标在u、v坐标T

轴上缩放倍数，[cx,cy]是原点的平移量；

再根据：

得u`实际相机坐标系下的横向长度与v`实际相机坐标系下的长纵向度；

由Zc与u`进行勾股定理得得所需的偏航角度由d、v`、D得所需的俯仰角度

2.根据权利要求1所述的一种对于未知风机结构的无人机巡检方法，其特征在于：所述关键巡检点包括风机的三个叶尖和一个轮毂中心。

3.根据权利要求1所述的一种对于未知风机结构的无人机巡检方法，其特征在于：所述步骤S102中，获取关键巡检点在图像中的像素点坐标包括如下两种方式：方式一、在拍摄完图像之后，从存储卡中导出图像进行标注获取像素坐标；

方式二、在实时回传的视频图像上进行标注获取像素坐标。

4.根据权利要求1所述的一种对于未知风机结构的无人机巡检方法，其特征在于：所述步骤S2包括：

预先设置轮毂中心与每个叶尖点之间线段的分段段数，获取风机关键巡检点坐标后，再利用叶尖点与轮毂中心之间的线段等分分割获取巡检点坐标。

5.根据权利要求1所述的一种对于未知风机结构的无人机巡检方法，其特征在于：所述步骤S3包括：

根据巡检需求，预设巡检点与巡航点之间的约束条件，所述约束条件包括巡航点与巡检点之间的距离以及巡航点相对于巡检点的方向；其中巡检点指的是电力杆塔上需要巡检的目标点，巡航点是无人机拍照时的位置；

根据巡检点和约束条件，计算出所需的巡航点坐标信息，并生成航迹。

6.根据权利要求1所述的一种对于未知风机结构的无人机巡检方法，其特征在于：所述步骤S4包括：

控制无人机飞到巡检点附近，根据此时无人机的姿态和位置，调节姿态到无人机正对巡检点的方向，利用空间中无人机所在的位置与巡检点的坐标信息获取空间中一个方向向量，其中，调节姿态时需要调节相应的偏航以及俯仰角度。

说明书：一种对于未知风机结构的无人机巡检方法技术领域[0001] 本发明涉及风机的叶片巡检，特别是涉及一种对于风机结构信息未知的无人机巡检方法。

背景技术[0002] 叶片是风力发电机组的一个重要组成部件，由于风机所处环境较为恶劣，叶片在严苛的环境中运行时受到风沙、雨雪、雷电等自然因素的破坏，形成表面脱落、砂眼、雷击、

叶边磨损等缺陷，需要通过对叶片进行定期检查和维护以预防缺陷造成的事故发生。传统

的叶片检查手段是利用望远镜和绳索垂降人工检测，有危险系数大、效率低、成本高等缺

点。随着风电市场的逐渐发展，大型风电机组的相继出现，叶片的长度也由原来的30?40m增

长至60?70m，一般来说，风电机组的使用年限为20年，叶片重量的增长和叶片长度的增长给

叶片的维护带来了挑战。

[0003] 随着技术的发展，无人机在巡检工作的应用范围日益广泛。无人机由于具有悬停、低速飞行、操作简便、维护方便、性价比高等特点，因此，将无人机运用到叶片检测中，将大

大提高工作效率。现有方法由操作人员通过地面站显示的实时图像观察叶片表面状态，当

发现可疑点时远程操作无人机采集各角度的画面以便进一步详细检查，这需要不断的操控

调整无人机的姿态方便拍摄，需要投入很大的人力，而且操控不好误差会很大，同时人力成

本也很高。还有针对风机结构已知的情况下，利用风机结构信息进行算法优化实现无人机

自主巡检的方法，可以很大程度上减少人力成本，效率更高，但是并没有高效的针对风机结

构未知情况下的巡检方法。

发明内容[0004] 本发明的目的在于克服现有技术的不足，提供一种对于风机结构信息未知的无人机巡检方法，在提升效率的同时，使得无人机自主巡检的可靠性更强。

[0005] 本发明的目的是通过以下技术方案来实现的：一种对于未知风机结构的无人机巡检方法，包括以下步骤：

[0006] S1.远距离对风机整体进行多角度拍照，风机要全部包含在照片中且靠近照片中心部位，对照片进行处理获取关键巡检点坐标信息；

[0007] S2.利用已获取的关键巡检点坐标信息计算出将叶片等分的巡检点坐标信息；[0008] S3.利用巡检点坐标信息计算出所需的巡航点坐标信息，生成航迹；[0009] S4.无人机起飞并到巡航点，利用巡检点坐标信息调整无人机位姿使其正对目标点；

[0010] S5.在所在巡航点进行拍照的之前对巡检点进行一次目标识别，再次调整云台姿态，将巡检点尽量靠近照片中心。

[0011] 进一步地，所述关键巡检点包括风机的三个叶尖和一个轮毂中心。[0012] 进一步地，所述步骤S1包括以下子步骤：[0013] S101.远距离对风机整体进行多角度拍照得到多张照片，每张照片中风机要全部包含在照片中且靠近照片中心部位；

[0014] S102.对于拍摄的每一张照片图像，获取关键巡检点在图像中的像素点坐标Puv(u,v)、相机的内参矩阵K；记录拍照时飞机的经纬度信息、相机的姿态角信息，确定相机坐标系

到大地坐标系的旋转矩阵Rcw；设置一个北东地坐标系参考原点，并计算出拍照点在坐标系

中的坐标t(X0,Y0,Z0)，记录相机坐标系下拍摄点距离巡检点之间的深度Zc；

[0015] S103.对于任一关键巡检点，推导相机坐标系下巡检点的归一化坐标Pc，并计算出关键巡检点的理论三维坐标Pw(Xw,Yw,Zw)：

[0016] Pc＝K?1ZcPuv[0017][0018] 进一步地，所述步骤S102中，获取关键巡检点在图像中的像素点坐标包括如下两种方式：

[0019] 方式一、在拍摄完图像之后，从存储卡中导出图像进行标注获取像素坐标；[0020] 方式二、在实时回传的视频图像上进行标注获取像素坐标。[0021] 进一步地，所述步骤S2包括：[0022] 预先设置轮毂中心与每个叶尖点之间线段的分段段数，获取风机关键巡检点坐标后，再利用叶尖点与轮毂中心之间的线段等分分割获取巡检点坐标。

[0023] 进一步地，所述步骤S3包括：[0024] 根据巡检需求，预设巡检点与巡航点之间的约束条件，所述约束条件包括巡航点与巡检点之间的距离以及巡航点相对于巡检点的方向；其中巡检点指的是电力杆塔上需要

巡检的目标点，巡航点是无人机拍照时的位置；

[0025] 根据巡检点和约束条件，计算出所需的巡航点坐标信息，并生成航迹。[0026] 进一步地，所述步骤S4包括：[0027] 控制无人机飞到巡检点附近，根据此时无人机的姿态和位置，调节姿态到无人机正对巡检点的方向，利用空间中无人机所在的位置与巡检点的坐标信息获取空间中一个方

向向量，其中，调节姿态时需要调节相应的偏航以及俯仰角度。

[0028] 进一步地，所述步骤S5包括以下子步骤：[0029] S501.在所在巡航点进行拍照的之前对巡检点进行一次目标识别；[0030] S502.将在巡航点拍照所得的照片进行在线图像处理，识别需要巡检的叶片部分，再调节相机云台的姿态使之处于照片的中心部位；

[0031] S503.设Pw是实际目标点地理坐标位置，O是光心，Po是光心沿相机坐标系Z轴到Pw所在平面的垂足，P是Pw与Po沿相机坐标系的u轴与v轴相交点；Zc是Pw所在平面到光心的垂

直距离，u`是Pw与Po在相机坐标系下沿u轴方向的实际地理距离，v`是Pw与Po在相机坐标系

下沿v轴方向的实际地理距离；D是Pw与O之间的距离；d是P与O之间的距离；

[0032] 在前面计算出来Pw之后，光心O的地理坐标t和Rcw已知，则：[0033] D＝|t?Pw|， Pc＝Rcw(Pw?t)[0034] 计算得Zc，其中fx是由αf合并、fy是由βf合并，f为相机焦距，α,β是像素坐标在u、vT

坐标轴上缩放倍数，[cx,cy]是原点的平移量；

[0035] 再根据：[0036][0037][0038] 得u`实际相机坐标系下的横向长度与v`实际相机坐标系下的长纵向度；[0039] 由Zc与u`进行勾股定理得得所需的偏航角度[0040] 由d、v`、D得所需的俯仰角度[0041] 按照计算得到的偏航以及俯仰角度对航迹中巡航点的姿态信息进行调整即可。[0042] 本发明的有益效果是：本发明能够在未知风机结构的条件下，调整无人机位姿使其正对目标点；在所在巡航点进行拍照的之前对巡检点进行一次目标识别，再次调整云台

姿态，将巡检点尽量靠近照片中心，在提升效率的同时，使得无人机自主巡检的可靠性更

强。

附图说明[0043] 图1为本发明的方法流程图；[0044] 图2为无人机的姿态调整示意图；[0045] 图3为云台姿态的调整示意图。具体实施方式[0046] 下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

[0047] 如图1所示，一种对于未知风机结构的无人机巡检方法，包括以下步骤：[0048] S1.远距离对风机整体进行多角度拍照，风机要全部包含在照片中且靠近照片中心部位，对照片进行处理获取关键巡检点坐标信息；

[0049] S2.利用已获取的关键巡检点坐标信息计算出将叶片等分的巡检点坐标信息；[0050] S3.利用巡检点坐标信息计算出所需的巡航点坐标信息，生成航迹；[0051] S4.无人机起飞并到巡航点，利用巡检点坐标信息调整无人机位姿使其正对目标点；

[0052] S5.在所在巡航点进行拍照的之前对巡检点进行一次目标识别，再次调整云台姿态，将巡检点尽量靠近照片中心，按照调整后的航迹，以及航迹中各个巡航点的云台姿态进

行无人机自主巡检，以提高巡检精度。

[0053] 在本申请的实施例中，所述关键巡检点包括风机的三个叶尖和一个轮毂中心；所述步骤S1包括以下子步骤：

[0054] S101.远距离对风机整体进行多角度拍照得到多张照片，每张照片中风机要全部包含在照片中且靠近照片中心部位；

[0055] S102.对于拍摄的每一张照片图像，获取关键巡检点在图像中的像素点坐标Puv(u,v)、相机的内参矩阵K；记录拍照时飞机的经纬度信息、相机的姿态角信息，确定相机坐标系

到大地坐标系的旋转矩阵Rcw；设置一个北东地坐标系参考原点，并计算出拍照点在坐标系

中的坐标t(X0,Y0,Z0)，记录相机坐标系下拍摄点距离巡检点之间的深度Zc；

[0056] S103.对于任一关键巡检点，推导相机坐标系下巡检点的归一化坐标Pc，并计算出关键巡检点的理论三维坐标Pw(Xw,Yw,Zw)：

[0057] Pc＝K?1ZcPuv[0058][0059] 进一步地，所述步骤S102中，获取关键巡检点在图像中的像素点坐标包括如下两种方式：

[0060] 方式一、在拍摄完图像之后，从存储卡中导出图像进行标注获取像素坐标；[0061] 方式二、在实时回传的视频图像上进行标注获取像素坐标。[0062] 在本申请的实施例中，所述步骤S2包括：[0063] 预先设置轮毂中心与每个叶尖点之间线段的分段段数，获取风机关键巡检点坐标后，再利用叶尖点与轮毂中心之间的线段等分分割获取巡检点坐标；具体实施的时候可以

根据场景调整两张照片的重合度，调整相应的飞行距离。

[0064] 进一步地，所述步骤S3包括：[0065] 根据巡检需求，预设巡检点与巡航点之间的约束条件，所述约束条件包括巡航点与巡检点之间的距离以及巡航点相对于巡检点的方向；其中巡检点指的是电力杆塔上需要

巡检的目标点，巡航点是无人机拍照时的位置；

[0066] 根据巡检点和约束条件，计算出所需的巡航点坐标信息，并生成航迹。[0067] 在本申请的实施例中，所述步骤S4包括：[0068] 控制无人机飞到巡检点附近，根据此时无人机的姿态和位置，调节姿态到无人机正对巡检点的方向，利用空间中无人机所在的位置与巡检点的坐标信息获取空间中一个方

向向量，其中，调节姿态时需要调节相应的偏航以及俯仰角度；如图2所示，该实施例中，

是无人机此时的方向向量，是无人机所在点与巡检点连线的方向向量。

[0069] 所述步骤S5包括以下子步骤：[0070] S501.在所在巡航点进行拍照的之前对巡检点进行一次目标识别；因为第一次使用一张照片包括了所有巡检点，会有相应的误差，并且因为是利用点进行操作，可能导致最

后拍照的照片上没有完全包括需要拍的物体，因为叶片比较宽，也比较长，所以加一个类似

目标识别的操作是可行的；

[0071] S502.将在巡航点拍照所得的照片进行在线图像处理，识别需要巡检的叶片部分，再调节相机云台的姿态使之处于照片的中心部位；这样无论对于后期的巡检照片处理还是

巡检的稳定性都是有益的；

[0072] S503.如图3所示，设Pw是实际目标点地理坐标位置，O是光心，Po是光心沿相机坐标系Z轴到Pw所在平面的垂足，P是Pw与Po沿相机坐标系的u轴与v轴相交点；Zc是Pw所在平面到

光心的垂直距离，u`是Pw与Po在相机坐标系下沿u轴方向的实际地理距离，v`是Pw与Po在相

机坐标系下沿v轴方向的实际地理距离；D是Pw与O之间的距离；d是P与O之间的距离；

[0073] 在前面计算出来Pw之后，光心O的地理坐标t和Rcw已知，则：[0074] D＝|t?Pw|， Pc＝Rcw(Pw?t)[0075] 计算得Zc，其中fx是由αf合并、fy是由βf合并，f为相机焦距，α,β是像素坐标在u、vT

坐标轴上缩放倍数，[cx,cy]是原点的平移量；

[0076] 再根据：[0077][0078][0079] 得u`实际相机坐标系下的横向长度与v`实际相机坐标系下的长纵向度；[0080] 由Zc与u`进行勾股定理得得所需的偏航角度[0081] 由d、v`、D得所需的俯仰角度[0082] 按照计算得到的偏航以及俯仰角度对航迹中巡航点的姿态信息进行调整即可。[0083] 本发明能够在未知风机结构的条件下，调整无人机位姿使其正对目标点；在所在巡航点进行拍照的之前对巡检点进行一次目标识别，再次调整云台姿态，将巡检点尽量靠

近照片中心，在提升效率的同时，使得无人机自主巡检的可靠性更强。

[0084] 以上所述是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应该看作是对其他实施例的排除，而可用于其他组合、修改和环境，并能够在本文所

述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的

改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。