基于融合感知的矿用电铲物料面识别方法、装置及系统

权利要求书： 1.一种基于融合感知的矿用电铲物料面识别方法，其特征在于，包括以下步骤：获取物料面的点云数据和图像信息；其中，所述点云数据由安装在矿铲上的激光雷达采集，所述图像信息由安装在矿铲上的摄像头采集；

接收矿铲主控系统发送的矿铲状态的欧拉角信息；

根据所述欧拉角信息，计算出激光雷达坐标系相对于铲车坐标系的旋转矩阵；根据激光雷达在矿铲上的安装位置，计算出激光雷达坐标系相对于铲车坐标系的平移矩阵；根据所述旋转矩阵和平移矩阵，得到激光雷达坐标系下的点坐标相对于铲车坐标系下的点坐标的转换关系；根据所述转换关系，将所述物料面的点云数据中每一个坐标点转换为在铲车坐标系下的坐标位置；

根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及所述图像信息，识别分割出物料面的有效物料点云；

将所述有效物料点云发送至矿铲主控系统。

2.根据权利要求1所述的基于融合感知的矿用电铲物料面识别方法，其特征在于，根据所述欧拉角信息，计算出激光雷达坐标系相对于铲车坐标系的旋转矩阵，包括：假设激光雷达坐标系相对于铲车坐标系的旋转矩阵为R，旋转角度为 ,点P在铲车坐标系 下的坐标为( )；点P在激光雷达坐标系 下的坐标为( ),得到式（1）的坐标系的转换关系：(1)

根据式（1），可得 和 为：

? (2)

(3)

根据式（2）和式（3），可以得出以下的坐标转换矩阵等式：(4)

根据式（4），可得旋转矩阵R为：

(5)

将上述的二维空间内的坐标旋转推广至三维空间中绕z轴的旋转，旋转角度 便是欧拉角中的航向角，由于旋转前后z轴没有发生变换，上述公式（4）可以写为以下形式：(6)

由此可得航向角旋转矩阵 为：

(7)

由上述公式（6）同理可以推导出绕坐标轴y轴旋转 的俯仰角pictch的公式如下:(8)

由此可得俯仰角pictch旋转矩阵 为：

(9)

也可以推导出绕坐标轴x轴旋转 的横滚角roll的公式如下:(10)

由此可得横滚角roll旋转矩阵 为：

(11)

由于假设不存在翻滚角所以此处的横滚角roll旋转矩阵 设置为单位矩阵：(12)

按照不同的顺序对坐标轴进行旋转可以得到不同的旋转矩阵R，R共有六种形式，分别为；

(13)；

；

按照欧拉角的测量方式，每次旋转按照铲车底盘坐标系的坐标轴进行外旋旋转，外旋旋转矩阵是左乘矩阵，按照X?Y?Z的顺序进行旋转，得到的旋转矩阵是 ,通过主控系统发送的欧拉角的角度值，计算出对应的旋转矩阵。

3.根据权利要求2所述的基于融合感知的矿用电铲物料面识别方法，其特征在于，根据激光雷达在矿铲上的安装位置，计算出激光雷达坐标系相对于铲车坐标系的平移矩阵，包括：通过测量安装位置激光雷达原点到铲车坐标系原点的三维坐标x,y,z，得到激光雷达与铲车坐标系的平移矩阵为：(14)。

4.根据权利要求3所述的基于融合感知的矿用电铲物料面识别方法，其特征在于，根据所述旋转矩阵和平移矩阵，得到激光雷达坐标系下的点坐标相对于铲车坐标系下的点坐标的转换关系，包括：根据所述旋转矩阵和平移矩阵，得到铲车坐标系下点的坐标( , , )与激光雷达坐标系下点的坐标( , , )的转换关系为：(15)。

5.根据权利要求4所述的基于融合感知的矿用电铲物料面识别方法，其特征在于，根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及所述图像信息，识别分割出物料面的有效物料点云，包括：对物料面的点云数据中的坐标点进行均匀采样滤波；

对均匀采样滤波后的点云数据进行离群点去除；

拟合出点云数据中的最大平面后去除地面点云；

通过对分割模型输入物料面的图像信息，得到结果掩膜图像，其中物料面和背景的像素值不相同；利用阈值分割以及轮廓检测得到物料面的图像位置信息；

利用点云图像融合原理，将物料面的点云数据中的坐标点在铲车坐标系下的坐标位置通过配准迭代映射到物料面的图像上，通过在图像分割的物料面区域中进一步分割点云，得到有效物料点云。

6.根据权利要求5所述的基于融合感知的矿用电铲物料面识别方法，其特征在于，利用点云图像融合原理，将物料面的点云数据中的坐标点在铲车坐标系下的坐标位置通过配准迭代映射到物料面的图像上，通过在图像分割的物料面区域中进一步分割点云，得到有效物料点云，包括：在点云中随机选取种子点，利用k?d树对种子点半径r范围内进行搜索，如果在这个范围内存在点，则将这些点与种子点归为同一聚类簇；

在聚类簇中选取新的种子点，继续执行上一步中的半径内搜索过程，直到聚类簇中的点数不再增加，则该聚类簇聚类结束；

通过算法的输入参数设置聚类的点数范围，所述点数范围为每个聚类所限制的最大最小点数；

若聚类簇点数在阈值范围内，则保留该聚类结果，否则予以去除；

在剩余的点云中再次选择新的种子点，继续执行以上步骤，直到遍历完点云中的所有的点；通过多次迭代保存多个符合点云点数阈值的聚类簇，从中挑选出点数最多的聚类，作为需要的最终的有效物料点云。

7.根据权利要求1所述的基于融合感知的矿用电铲物料面识别方法，其特征在于，接收矿铲主控系统发送的矿铲状态的欧拉角信息之前，所述方法还包括：设定处理器与矿铲主控系统的通讯协议以及具体报文格式，包括心跳包格式和矿铲主控系统给处理器发送的通知报文要求以及处理器发送给矿铲主控系统的应答以及扫描结果报文要求；

根据矿铲主控系统所在的ip地址以及侦听开启的端口号对矿铲主控系统进行连接，连接成功后处理器开始给矿铲主控系统发送心跳包以确定两者的连接状态；

当矿铲激光雷达所在的方向朝向物料面时，矿铲主控系统向处理器发送扫描通知以及矿铲状态的欧拉角信息，所述欧拉角信息包括旋转角、横滚角和俯仰角，处理器接收到通知后向矿铲主控系统发送开始扫描的信号。

8.一种基于融合感知的矿用电铲物料面识别装置，其特征在于，包括：获取单元，用于获取物料面的点云数据和图像信息；其中，所述点云数据由安装在矿铲上的激光雷达采集，所述图像信息由安装在矿铲上的摄像头采集；

接收单元，用于接收矿铲主控系统发送的矿铲状态的欧拉角信息；

转换单元，用于根据所述欧拉角信息，计算出激光雷达坐标系相对于铲车坐标系的旋转矩阵；根据激光雷达在矿铲上的安装位置，计算出激光雷达坐标系相对于铲车坐标系的平移矩阵；根据所述旋转矩阵和平移矩阵，得到激光雷达坐标系下的点坐标相对于铲车坐标系下的点坐标的转换关系；根据所述转换关系，将所述物料面的点云数据中每一个坐标点转换为在铲车坐标系下的坐标位置；

识别单元，用于根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及所述图像信息，识别分割出物料面的有效物料点云；

发送单元，用于将所述有效物料点云发送至矿铲主控系统。

9.一种基于融合感知的矿用电铲物料面识别系统，其特征在于，包括：激光雷达与图像融合感知装置、矿铲主控系统以及处理器；所述激光雷达与图像融合感知装置内设置有激光雷达和摄像头，所述激光雷达与图像融合感知装置设置在矿铲上；所述激光雷达、摄像头与所述处理器通信连接，所述处理器与所述矿铲主控系统通信连接；

所述激光雷达与图像融合感知装置，用于采用物料面的点云数据和图像信息；

所述处理器，用于接收矿铲主控系统发送的矿铲状态的欧拉角信息；根据所述欧拉角信息，计算出激光雷达坐标系相对于铲车坐标系的旋转矩阵；根据激光雷达在矿铲上的安装位置，计算出激光雷达坐标系相对于铲车坐标系的平移矩阵；根据所述旋转矩阵和平移矩阵，得到激光雷达坐标系下的点坐标相对于铲车坐标系下的点坐标的转换关系；根据所述转换关系，将所述物料面的点云数据中每一个坐标点转换为在铲车坐标系下的坐标位置；根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及所述图像信息，识别分割出物料面的有效物料点云；将所述有效物料点云发送至矿铲主控系统；

所述矿铲主控系统，用于向处理器发送扫描指令、矿铲状态的欧拉角信息，以及接收处理器发送的有效物料点云。

说明书： 基于融合感知的矿用电铲物料面识别方法、装置及系统技术领域[0001] 本发明涉及矿用电铲物料面识别技术领域，具体涉及一种基于融合感知的矿用电铲物料面识别方法、装置及系统。背景技术[0002] 矿山实际工作场景环境较为恶劣，夏季高温暴晒，冬季低温大风且时常伴有沙尘暴，铲车师傅在控制电铲进行物料挖掘时，也面临由外界环境以及操作经验等方面带来的限制，操作的效率不高且存在一定的安全隐患。为确保矿山现场工作的安全性以及在此基础上提高矿物挖掘的效率，无人化矿卡的技术推动很有必要，而作为无人控制的核心关键点便是能够正确获取到矿物的具体坐标位置，在定位矿物精确位置的基础上对铲车进行远程或无人轨迹规划以正确挖取到物料。[0003] 现有的视觉方案很难达到获取具体精确的位置坐标的同时对三维物料面进行识别和分割，难以满足实际的铲车对物料的定位需求。因此，有必要提出一种基于融合感知的矿用电铲物料面识别方法及装置，以解决上述问题。发明内容[0004] 本发明的目的在于针对现有技术的不足之处，提供一种基于融合感知的矿用电铲物料面识别方法、装置及系统，以解决现有技术很难达到获取具体精确的位置坐标的同时对三维物料面进行识别和分割，难以满足实际的铲车对物料的定位需求的问题。[0005] 第一方面，本发明提供一种基于融合感知的矿用电铲物料面识别方法，包括以下步骤：[0006] 获取物料面的点云数据和图像信息；其中，所述点云数据由安装在矿铲上的激光雷达采集，所述图像信息由安装在矿铲上的摄像头采集；[0007] 接收矿铲主控系统发送的矿铲状态的欧拉角信息；[0008] 根据激光雷达在矿铲上的安装位置以及所述欧拉角信息，将所述物料面的点云数据中的坐标点转换为在铲车坐标系下的坐标位置；[0009] 根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及所述图像信息，识别分割出物料面的有效物料点云；[0010] 将所述有效物料点云发送至矿铲主控系统。[0011] 进一步地，根据激光雷达在矿铲上的安装位置以及所述欧拉角信息，将所述物料面的点云数据中的坐标点转换为在铲车坐标系下的坐标位置，包括：[0012] 根据所述欧拉角信息，计算出激光雷达坐标系相对于铲车坐标系的旋转矩阵；[0013] 根据激光雷达在矿铲上的安装位置，计算出激光雷达坐标系相对于铲车坐标系的平移矩阵；[0014] 根据所述旋转矩阵和平移矩阵，得到激光雷达坐标系下的点坐标相对于铲车坐标系下的点坐标的转换关系；[0015] 根据所述转换关系，将所述物料面的点云数据中每一个坐标点转换为在铲车坐标系下的坐标位置。[0016] 进一步地，根据所述欧拉角信息，计算出激光雷达坐标系相对于铲车坐标系的旋转矩阵，包括：[0017] 假设激光雷达坐标系相对于铲车坐标系的旋转矩阵为R，旋转角度为 ,点P在铲车坐标系 下的坐标为( )；点P在激光雷达坐标系 下的坐标为( ),得到式（1）的坐标系的转换关系：

[0018] (1)[0019] 根据式（1），可得 和 为：[0020] ? (2)[0021] (3)[0022] 根据式（2）和式（3），可以得出以下的坐标转换矩阵等式：[0023] (4)[0024] 根据式（4），可得旋转矩阵R为：[0025] (5)[0026] 将上述的二维空间内的坐标旋转推广至三维空间中绕z轴的旋转，旋转角度 便是欧拉角中的航向角，由于旋转前后z轴没有发生变换，上述公式（4）可以写为以下形式：[0027] (6)[0028] 由此可得航向角旋转矩阵 为：[0029] (7)[0030] 由上述公式（6）同理可以推导出绕坐标轴y轴旋转 的俯仰角pictch的公式如下:[0031] (8)[0032] 由此可得俯仰角pictch旋转矩阵 为：[0033] (9)[0034] 也可以推导出绕坐标轴x轴旋转 的横滚角roll的公式如下:[0035] (10)[0036] 由此可得横滚角roll旋转矩阵 为：[0037] (11)[0038] 由于假设不存在翻滚角所以此处的横滚角roll旋转矩阵 设置为单位矩阵：[0039] (12)[0040] 按照不同的顺序对坐标轴进行旋转可以得到不同的旋转矩阵R，R共有六种形式，分别为[0041][0042] (13)[0043] ；[0044] 按照欧拉角的测量方式，每次旋转按照铲车底盘坐标系的坐标轴进行外旋旋转，外旋旋转矩阵是左乘矩阵，按照X?Y?Z的顺序进行旋转，得到的旋转矩阵是 ,通过主控系统发送的欧拉角的角度值，计算出对应的旋转矩阵。[0045] 进一步地，根据激光雷达在矿铲上的安装位置，计算出激光雷达坐标系相对于铲车坐标系的平移矩阵，包括：[0046] 通过测量安装位置激光雷达原点到铲车坐标系原点的三维坐标x,y,z，得到激光雷达与铲车坐标系的平移矩阵为：[0047] (14)。[0048] 进一步地，根据所述旋转矩阵和平移矩阵，得到激光雷达坐标系下的点坐标相对于铲车坐标系下的点坐标的转换关系，包括：[0049] 根据所述旋转矩阵和平移矩阵，得到铲车坐标系下点的坐标((Xc,Yc,Zc))与激光雷达坐标系下点的坐标( , , )的转换关系为：[0050] (15)。[0051] 进一步地，根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及所述图像信息，识别分割出物料面的有效物料点云，包括：[0052] 对物料面的点云数据中的坐标点进行均匀采样滤波；[0053] 对均匀采样滤波后的点云数据进行离群点去除；[0054] 拟合出点云数据中的最大平面后去除地面点云；[0055] 通过对分割模型输入物料面的图像信息，得到结果掩膜图像，其中物料面和背景的像素值不相同；利用阈值分割以及轮廓检测得到物料面的图像位置信息；[0056] 利用点云图像融合原理，将物料面的点云数据中的坐标点在铲车坐标系下的坐标位置通过配准迭代映射到物料面的图像上，通过在图像分割的物料面区域中进一步分割点云，得到有效物料点云。[0057] 进一步地，利用点云图像融合原理，将物料面的点云数据中的坐标点在铲车坐标系下的坐标位置通过配准迭代映射到物料面的图像上，通过在图像分割的物料面区域中进一步分割点云，得到有效物料点云，包括：[0058] 在点云中随机选取种子点，利用k?d树对种子点半径r范围内进行搜索，如果在这个范围内存在点，则将这些点与种子点归为同一聚类簇；[0059] 在聚类簇中选取新的种子点，继续执行上一步中的半径内搜索过程，直到聚类簇中的点数不再增加，则该聚类簇聚类结束；[0060] 通过算法的输入参数设置聚类的点数范围，所述点数范围为每个聚类所限制的最大最小点数；[0061] 若聚类簇点数在阈值范围内，则保留该聚类结果，否则予以去除；[0062] 在剩余的点云中再次选择新的种子点，继续执行以上步骤，直到遍历完点云中的所有的点；通过多次迭代保存多个符合点云点数阈值的聚类簇，从中挑选出点数最多的聚类，作为需要的最终的有效物料点云。[0063] 进一步地，接收矿铲主控系统发送的矿铲状态的欧拉角信息之前，所述方法还包括：[0064] 设定处理器与矿铲主控系统的通讯协议以及具体报文格式，包括心跳包格式和矿铲主控系统给处理器发送的通知报文要求以及处理器发送给矿铲主控系统的应答以及扫描结果报文要求；[0065] 根据矿铲主控系统所在的ip地址以及侦听开启的端口号对矿铲主控系统进行连接，连接成功后处理器开始给矿铲主控系统发送心跳包以确定两者的连接状态；[0066] 当矿铲激光雷达所在的方向朝向物料面时，矿铲主控系统向处理器发送扫描通知以及矿铲状态的欧拉角信息，所述欧拉角信息包括旋转角、横滚角和俯仰角，处理器接收到通知后向矿铲主控系统发送开始扫描的信号。[0067] 第二方面，本发明提供一种基于融合感知的矿用电铲物料面识别装置，包括：[0068] 获取单元，用于获取物料面的点云数据和图像信息；其中，所述点云数据由安装在矿铲上的激光雷达采集，所述图像信息由安装在矿铲上的摄像头采集；[0069] 接收单元，用于接收矿铲主控系统发送的矿铲状态的欧拉角信息；[0070] 转换单元，用于根据激光雷达在矿铲上的安装位置以及所述欧拉角信息，将所述物料面的点云数据中的坐标点转换为在铲车坐标系下的坐标位置；[0071] 识别单元，用于根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及所述图像信息，识别分割出物料面的有效物料点云；[0072] 发送单元，用于将所述有效物料点云发送至矿铲主控系统。[0073] 第三方面，本发明提供一种基于融合感知的矿用电铲物料面识别系统，包括：激光雷达与图像融合感知装置、矿铲主控系统以及处理器；所述激光雷达与图像融合感知装置内设置有激光雷达和摄像头，所述激光雷达与图像融合感知装置设置在矿铲上；所述激光雷达、摄像头与所述处理器通信连接，所述处理器与所述矿铲主控系统通信连接；[0074] 所述激光雷达与图像融合感知装置，用于采用物料面的点云数据和图像信息；[0075] 所述处理器，用于接收矿铲主控系统发送的矿铲状态的欧拉角信息；根据激光雷达在矿铲上的安装位置以及所述欧拉角信息，将所述物料面的点云数据中的坐标点转换为在铲车坐标系下的坐标位置；根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及所述图像信息，识别分割出物料面的有效物料点云；将所述有效物料点云发送至矿铲主控系统；[0076] 所述矿铲主控系统，用于向处理器发送扫描指令、矿铲状态的欧拉角信息，以及接收处理器发送的有效物料点云[0077] 本发明具有以下有益效果：本发明提供的基于融合感知的矿用电铲物料面识别方法、装置及系统，获取物料面的点云数据和图像信息，点云数据由安装在矿铲上的激光雷达采集，图像信息由安装在矿铲上的摄像头采集；接收矿铲主控系统发送的矿铲状态的欧拉角信息；根据激光雷达在矿铲上的安装位置以及欧拉角信息，将物料面的点云数据中的坐标点转换为在铲车坐标系下的坐标位置；根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及图像信息，识别分割出物料面的有效物料点云；将有效物料点云发送至矿铲主控系统，以为后续矿铲主控系统的路径规划和物料挖取提供数据基础，能够获取具体精确的位置坐标的同时对三维物料面进行识别和分割，满足实际的铲车对物料的定位需求。附图说明[0078] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0079] 图1是本发明的基于融合感知的矿用电铲物料面识别方法的流程图；[0080] 图2是二维坐标系转换示意图；[0081] 图3是航向角转换示意图；[0082] 图4是俯仰角转换示意图；[0083] 图5是横滚角转换示意图；[0084] 图6是三维坐标系转换示意图；[0085] 图7是本发明的基于融合感知的矿用电铲物料面识别装置的示意图；[0086] 图8是本发明的基于融合感知的矿用电铲物料面识别系统的示意图。具体实施方式[0087] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。[0088] 请参阅图1，本发明提供一种基于融合感知的矿用电铲物料面识别方法，该方法的执行主体为处理器，该方法包括以下步骤：[0089] S101，获取物料面的点云数据和图像信息；其中，所述点云数据由安装在矿铲上的激光雷达采集，所述图像信息由安装在矿铲上的摄像头采集。[0090] 在矿铲上安装激光雷达与图像融合感知装置，该装置具有传感器减震结构，激光雷达与2D摄像头结合的传感器结构，感应口密封结构，拆装维护口密封结构以及电控雨刮结构，能够较好的适应矿山较为恶劣的环境要求。通过摄像头可实时监控和获取物料面的图像数据，方便后续结合点云数据对物料面进行识别和分割。根据现场物料面的位置高度以及视场要求选取合适的面阵式激光雷达，同时激光雷达还需具备防水防震指标以稳定的获取物料面的点云数据。将激光雷达与处理器建立tcp/ip链接以获取实时点云数据，激光雷达获取的物料面的三维坐标点信息以及同一时刻的二维图像信息就可以通过局域网的tcp/ip通信发送给处理器。[0091] S102，接收矿铲主控系统发送的矿铲状态的欧拉角信息。[0092] 处理器建立与矿铲主控系统的tcp/ip指令，以接收扫描指令以及矿铲当时的欧拉角信息。设定处理器与矿铲主控系统的通讯协议以及具体报文格式，包括心跳包格式和矿铲主控系统给处理器发送的通知报文要求以及处理器发送给矿铲主控系统的应答以及扫描结果报文要求。根据矿铲主控系统所在的ip地址以及侦听开启的端口号对矿铲主控系统进行连接，连接成功后处理器开始给矿铲主控系统发送心跳包以确定两者的连接状态；当矿铲激光雷达所在的方向朝向物料面时，矿铲主控系统向处理器发送扫描通知以及矿铲状态的欧拉角信息，所述欧拉角信息包括旋转角、横滚角和俯仰角，处理器接收到通知后向矿铲主控系统发送开始扫描的信号。[0093] 具体地，欧拉角信息包括旋转角、横滚角和俯仰角。[0094] S103，根据激光雷达在矿铲上的安装位置以及所述欧拉角信息，将所述物料面的点云数据中的坐标点转换为在铲车坐标系下的坐标位置。[0095] 由于激光雷达获取的点云数据是相对于激光雷达坐标系的，为了使铲车最终得到的点云数据是在铲车坐标系下的，需要对点云中的每一个点的坐标进行坐标转换。[0096] 具体地，根据所述欧拉角信息，计算出激光雷达坐标系相对于铲车坐标系的旋转矩阵。首先是需要对坐标系进行旋转变换，先以二维平面的单位向量坐标转换为例，假设激光雷达坐标系相对于铲车坐标系的旋转矩阵为R，旋转角度为 ,点P在铲车坐标系 下的坐标为( )；点P在激光雷达坐标系 下的坐标为( ),得到式（1）的坐标系的转换关系：[0097] (1)[0098] 根据式（1），可得 和 为：[0099] ? (2)[0100] (3)[0101] 根据式（2）和式（3），可以得出以下的坐标转换矩阵等式：[0102] (4)[0103] 根据式（4），可得旋转矩阵R为：[0104] (5)[0105] 由二维推广至三维，由右手定则可以想象在图2中的O点处有一条垂直于XOY平面指向屏幕的的Z轴：请参阅图3，将上述的二维空间内的坐标旋转推广至三维空间中绕z轴的旋转，旋转角度 便是欧拉角中的航向角（也称偏航角yaw），由于旋转前后z轴没有发生变换，上述公式（4）可以写为以下形式：[0106] (6)[0107] 由此可得航向角旋转矩阵 为：[0108] (7)[0109] 请参阅图4，由上述公式（6）同理可以推导出绕坐标轴y轴旋转 的俯仰角pictch的公式如下:[0110] (8)[0111] 由此可得俯仰角pictch旋转矩阵 为：[0112] (9)[0113] 请参阅图5，也可以推导出绕坐标轴x轴旋转 的横滚角roll的公式如下:[0114] (10)[0115] 由此可得横滚角roll旋转矩阵 为：[0116] (11)[0117] 由于假设不存在翻滚角所以此处的横滚角roll旋转矩阵 设置为单位矩阵：[0118] (12)[0119] 按照不同的顺序对坐标轴进行旋转可以得到不同的旋转矩阵R，R共有六种形式，分别为[0120] ；[0121] (13)[0122] ；[0123] 按照欧拉角的测量方式，每次旋转按照铲车底盘坐标系的坐标轴进行外旋旋转，外旋旋转矩阵是左乘矩阵，按照X?Y?Z的顺序进行旋转，得到的旋转矩阵是 ,通过主控系统发送的欧拉角的角度值，计算出对应的旋转矩阵。[0124] 根据激光雷达在矿铲上的安装位置，计算出激光雷达坐标系相对于铲车坐标系的平移矩阵。通过测量安装位置激光雷达原点到铲车坐标系原点的三维坐标x,y,z，得到激光雷达与铲车坐标系的平移矩阵为：[0125] (14)。[0126] 根据所述旋转矩阵和平移矩阵，得到铲车坐标系下点的坐标( , , )与激光雷达坐标系下点的坐标( , , )的转换关系为：[0127] (15)。[0128] 请参阅图6，根据所述转换关系，将所述物料面的点云数据中每一个坐标点转换为在铲车坐标系下的坐标位置。[0129] S104，根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及所述图像信息，识别分割出物料面的有效物料点云。[0130] 获取到的点云数据包括物料面、地面以及干扰点的信息，为了确保发送给主控系统的点云位置信息的精准性需要将有效物料信息从图像以及点云中分割出来。[0131] 对物料面点云进行下采样。综合考虑到点云处理的时间以及需要发送的物料点数目限制，首先需要对点云进行滤波以降低点云的点数，提高处理的速度。同时为了尽可能的保留点云原始的位置坐标，使用均匀采样滤波。均匀采样滤波构建指定半径球体对点云进行下采样滤波，将每一个球内距离球体中心最近的点作为下采样的点，这样在减少点云数目的同时不改变保留点的原始位置信息，精确性相较于其他滤波方法要好。[0132] 去除点云中的干扰点。滤波后的物料面点云存在许多的杂点，倘若发送给主控系统会对路径规划造成影响。所以需要对点云干扰点的去除，来去除稀疏离群点。离群点去除算法的主要步骤为：计算点云中每一个点与其邻近的点的平均距离，假设得到的结果符合高斯分布，形状由均值和标准差决定，对于平均距离在标准范围之外的点定义为离群点并予以去除。[0133] 去除点云中的地面点云。由于地面点云较为平缓且位于同一平面上，可以通过拟合出点云中的最大平面后予以去除滤掉地面。拟合地面平面点云的方法是随机采样一致性算法（RANSAC）。首先在物料面云中随机选取三个不共线的点，计算这三个点所在平面的平面方程 ；计算点云中所有点到该平面的距离 ，设定距离阈值 ，对于距离 < 的点将其视为模型的内点，否则视为模

型外点，记录该模型的的内点个数；每次迭代末尾都会根据期望的误差率、最佳内点个数、总样本个数、当前迭代次数计算一个迭代结束评判因子，根据次决定是否停止迭代，重复上述步骤直到达到设定迭代次数，将内点数目最多的平面模型视为地面，记录该部分点云的索引将该部分的点云进行删除也就去除了地面。

[0134] 在实际生产前利用安装在电铲上的工业摄像头采集现场的物料面图像数据，利用多边形标注框框出对物料面，使用mmsegmentation框架对已经标注好的物料面图像数据进行训练，并且生成分割模型；通过对分割模型输入现场的物料面图像数据，可以得到结果掩膜图像，其中物料面和背景的像素值不相同；利用阈值分割以及轮廓检测得到物料面的图像位置信息。[0135] 分割获取最终的物料点云。在之前中已经通过图像获取到了大概的物料面位置信息，然而位置的精度仍然不够，为了获取更为精确的坐标信息，利用点云图像融合原理，将点云信息通过配准迭代映射到图像上，通过在图像分割的物料面区域中进一步的分割点云得到精确的物料面位置信息。[0136] 由于实际的安装以及点云获取的原因仍然存在一些除了地面点云以及离散点以外的点云，这些点云较为稠密成团通过滤波的方式较难对其进行去除，所以采用欧式聚类分割的方式分割出簇群最大的物料点云。[0137] 首先在点云中随机选取种子点，利用k?d树对种子点半径r范围内进行搜索，如果在这个范围内存在点，则将这些点与种子点归为同一聚类簇；在聚类簇中选取新的种子点，继续执行上一步中的半径内搜索过程，直到聚类簇中的点数不再增加，则该聚类簇聚类结束。通过算法的输入参数设置聚类的点数范围，即每个聚类所限制的最大最小点数。若聚类簇点数在阈值范围内，则保留该聚类结果，否则予以去除；在剩余的点云中再次选择新的种子点，继续执行以上步骤，直到遍历完点云中的所有的点。这时通过多次迭代已保存了多个符合点云点数阈值的聚类簇，从中挑选出点数最多的聚类，即为需要的最终物料点云。[0138] S105，将所述有效物料点云发送至矿铲主控系统。[0139] 物料点云的点的位置信息发送给矿铲主控系统以用于矿铲主控系统后续做路径规划。[0140] 请参阅图7，本发明提供一种基于融合感知的矿用电铲物料面识别装置，包括：[0141] 获取单元71，用于获取物料面的点云数据和图像信息；其中，所述点云数据由安装在矿铲上的激光雷达采集，所述图像信息由安装在矿铲上的摄像头采集。[0142] 接收单元72，用于接收矿铲主控系统发送的矿铲状态的欧拉角信息。[0143] 转换单元73，用于根据激光雷达在矿铲上的安装位置以及所述欧拉角信息，将所述物料面的点云数据中的坐标点转换为在铲车坐标系下的坐标位置。[0144] 识别单元74，用于根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及所述图像信息，识别分割出物料面的有效物料点云。[0145] 发送单元75，用于将所述有效物料点云发送至矿铲主控系统。[0146] 请参阅图8，本发明提供一种基于融合感知的矿用电铲物料面识别系统，包括：激光雷达与图像融合感知装置81、矿铲主控系统82以及处理器83；所述激光雷达与图像融合感知装置81内设置有激光雷达84和摄像头85，所述激光雷达与图像融合感知装置81设置在矿铲86上；所述激光雷达84、摄像头85与所述处理器83通信连接，所述处理器83与所述矿铲主控系统82通信连接。[0147] 所述激光雷达与图像融合感知装置81，用于采用物料面的点云数据和图像信息。[0148] 所述处理器83，用于接收矿铲主控系统发送的矿铲状态的欧拉角信息；根据激光雷达在矿铲上的安装位置以及所述欧拉角信息，将所述物料面的点云数据中的坐标点转换为在铲车坐标系下的坐标位置；根据物料面的点云数据中的坐标点在铲车坐标系下的坐标位置，以及所述图像信息，识别分割出物料面的有效物料点云；将所述有效物料点云发送至矿铲主控系统。[0149] 所述矿铲主控系统82，用于向处理器发送扫描指令、矿铲状态的欧拉角信息，以及接收处理器发送的有效物料点云。[0150] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。[0151] 需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。[0152] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。