露天矿用电缆卷放车智能追踪装置及方法

权利要求

1.露天矿用电缆卷放车智能追踪装置，其特征在于，包括：

智能图像检测与处理模块，用于采集目标电铲的图像信息，得到前方目标电铲的图像数据；

智能目标辨识处理器，与所述智能图像检测与处理模块连接，用于预存电铲车与电缆卷放车之间的距离信息以及各种情况下的图像数据，获取所述智能图像检测与处理模块的图像信息，计算电缆卷放车相对于目标电铲中心位置的偏移量以及二者之间的实际距离，将控制信号发送给行走马达驱动模块；

行走马达驱动模块，与所述智能目标辨识处理器连接，用于接收所述智能目标辨识处理器发来的控制信号，再将控制命令下发给驱动器，实现电缆卷放车跟随目标电铲同步行进。

2.如权利要求1所述的露天矿用电缆卷放车智能追踪装置，其特征在于，所述智能图像检测与处理模块包括：

摄像头，用于采集目标电铲的图像信息；

照明单元，用于为所述摄像头采集图像信息提供良好的光照环境；

图像信息处理单元，用于对所述摄像头采集的图像信息进行处理得到前方目标电铲的图像数据。

3.如权利要求1所述的露天矿用电缆卷放车智能追踪装置，其特征在于，还包括与所述智能图像检测与处理模块和智能目标辨识处理器连接的电源管理模块，用于给所述智能图像检测与处理模块、智能目标辨识处理器供电。

4.露天矿用电缆卷放车智能追踪方法，其特征在于，包括以下步骤：

S10、采用电源管理模块给智能图像检测与处理模块、智能目标辨识处理器供电，启动摄像头；

S20、采用智能图像检测与处理模块获取摄像头对目标电铲实时检测的图像信息，对其进行图像去噪、边缘检测处理，得到清晰图像，并将图像数据发送给智能目标辨识处理器；

S30、采用智能目标辨识处理器接收来自智能图像检测与处理模块的图像数据，计算得到电缆卷放车相对于电铲车行驶方向上的偏移量及二者的实际工作距离；

S40、智能目标辨识处理器根据得到的实际距离信息以及偏移量判断电缆卷放车下一步的行驶状态，将控制信号发送给行走马达驱动模块，实现马达正转或反转、调速或者停止操作，确保电缆卷放车跟随电铲车同步行进。

5.如权利要求4所述的露天矿用电缆卷放车智能追踪方法，其特征在于，步骤S30包括如下步骤：

S31、确定摄像头的水平视角2β，摄像头的垂直视角2α，摄像头的俯仰角γ，摄像头距地面高度h，目标电铲高度H电铲；

S32、测量摄像头拍摄的像平面宽度W，像平面高度H，同时测量出实际中目标电铲被标记的三点的坐标位置P1＝(XP1,YP1)，P2＝(XP2,YP2)，P3＝(XP3,YP3)；

S33、利用映射关系得到像平面中的像平面点坐标p1、p2的横坐标xp1、xp2，像平面点坐标p3的纵坐标yp3；

S34、根据公式得到两坐标的水平中心xp；

S35、根据公式得到电缆卷放车相对于目标电铲行驶方向上的偏移量；

S36、根据公式得到P3点相对于摄像头光轴的角度值θ；

S37、根据公式得到电缆卷放车与目标电铲的实际水平距离L。

6.如权利要求5所述的露天矿用电缆卷放车智能追踪方法，其特征在于，所述步骤S33中：

其中：像平面点坐标p1＝(xp1,yp1)、p2＝(xp2,yp2)，对应目标电铲坐标为P1＝(XP1,YP1)、P2＝(XP2,YP2)。

说明书

技术领域

本发明属于电缆卷放车的技术领域，尤其涉及露天矿用电缆卷放车智能追踪装置及方法。

背景技术

在国内大型露天矿场中，电缆会随着电铲车的行进而直接与地面及尖石发生摩擦，严重损坏工作设备，降低作业效率，给人员和设备带来安全隐患。

针对以上情况，在2014年，中国神华能源股份有限公司的余长超等人发明一种矿用电缆爬犁车，即采用纯机械的电缆爬犁车卷放电缆，电缆直接盘在卷筒上，随着电铲车的行走而旋转释放电缆，尾线电缆随着电铲车的推进而被拖拽向前跟进，极大的减少与地面的摩擦，延长电缆的使用寿命。但电缆爬犁车在作业过程中容易碾压、刮损电缆，造成电缆的非正常损耗，同样会给生产带来安全隐患，同时安装电缆滚筒的电铲，其滚筒卷放电缆的长度最多为300米，卷缆能力小，电铲平均每两天需要加(减)电缆一次，影响有效作业时间。因此需要一款单独的大容量的电缆卷放装置，但是当电缆卷放装置与电铲分离后，在行进过程中将带来后车跟随前车新的追踪问题。

发明内容

基于以上现有技术的不足，本发明所要解决的技术问题在于提供一种露天矿用电缆卷放车智能追踪装置及方法，使电缆卷放车实时随电铲自动匹配行走，提高电缆卷放车作业效率，保证卷放作业人员及设备的安全。

为了解决上述技术问题，本发明通过以下技术方案来实现：本发明提供一种露天矿用电缆卷放车智能追踪装置，包括：

智能图像检测与处理模块，用于采集目标电铲的图像信息，得到前方目标电铲的图像数据；

智能目标辨识处理器，与所述智能图像检测与处理模块连接，用于预存电铲车与电缆卷放车之间的距离信息以及各种情况下的图像数据，获取所述智能图像检测与处理模块的图像信息，计算电缆卷放车相对于目标电铲中心位置的偏移量以及二者之间的实际距离，将控制信号发送给行走马达驱动模块；

行走马达驱动模块，与所述智能目标辨识处理器连接，用于接收所述智能目标辨识处理器发来的控制信号，再将控制命令下发给驱动器，实现电缆卷放车跟随目标电铲同步行进。

可选的，所述智能图像检测与处理模块包括：

摄像头，用于采集目标电铲的图像信息；

照明单元，用于为所述摄像头采集图像信息提供良好的光照环境；

图像信息处理单元，用于对所述摄像头采集的图像信息进行处理得到前方目标电铲的图像数据。

进一步的，还包括与所述智能图像检测与处理模块和智能目标辨识处理器连接的电源管理模块，用于给所述智能图像检测与处理模块、智能目标辨识处理器供电。

本发明还提供了一种露天矿用电缆卷放车智能追踪方法，包括以下步骤：

S10、采用电源管理模块给智能图像检测与处理模块、智能目标辨识处理器供电，启动摄像头；

S20、采用智能图像检测与处理模块获取摄像头对目标电铲实时检测的图像信息，对其进行图像去噪、边缘检测处理，得到清晰图像，并将图像数据发送给智能目标辨识处理器；

S30、采用智能目标辨识处理器接收来自智能图像检测与处理模块的图像数据，计算得到电缆卷放车相对于电铲车行驶方向上的偏移量及二者的实际工作距离；

S40、智能目标辨识处理器根据得到的实际距离信息以及偏移量判断电缆卷放车下一步的行驶状态，将控制信号发送给行走马达驱动模块，实现马达正转或反转、调速或者停止操作，确保电缆卷放车跟随电铲车同步行进。

步骤S30包括如下步骤：

S31、确定摄像头的水平视角2β，摄像头的垂直视角2α，摄像头的俯仰角γ，摄像头距地面高度h，目标电铲高度H电铲；

S32、测量摄像头拍摄的像平面宽度W，像平面高度H，同时测量出实际中目标电铲被标记的三点的坐标位置P1＝(XP1,YP1)，P2＝(XP2,YP2)，P3＝(XP3,YP3)；

S33、利用映射关系得到像平面中的像平面点坐标p1、p2的横坐标xp1、xp2，像平面点坐标p3的纵坐标yp3；

S34、根据公式得到两坐标的水平中心xp；

S35、根据公式得到电缆卷放车相对于目标电铲行驶方向上的偏移量，为摄像头镜头与目标电铲水平夹角；

S36、根据公式得到P3点相对于摄像头光轴的角度值θ；

S37、根据公式得到电缆卷放车与目标电铲的实际水平距离L。

在所述步骤S33中：

其中：像平面点坐标p1＝(xp1,yp1)、p2＝(xp2,yp2)，对应目标电铲坐标为P1＝(XP1,YP1)、P2＝(XP2,YP2)。

由上，本发明的露天矿用电缆卷放车智能追踪装置及方法借助智能目标辨识处理器、智能图像检测与处理模块、行走马达驱动模块，得到电缆卷放车相对目标电铲的偏移量以及实际水平距离，实现电缆卷放车智能追踪电铲车，达到跟随电铲车同步行进的目的。采用智能追踪技术，实现电缆卷放车随电铲自动匹配行走的功能，使纯机械式的拖拽电缆引发的安全问题得以解决，切实改善采装环节电缆移设作业流程，保障电缆卷放作业中人员及设备的安全，推动了矿山机电设备的智能化发展。目前还没有一款露天矿用电缆卷放车智能追踪装置及方法实现电缆卷放车随电铲自动匹配行走的功能，以切实改善采装环节电缆移设作业流程，保障电缆卷放作业中人员及设备的安全。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1为本发明的露天矿用电缆卷放车智能追踪装置的结构框图；

图2为本发明的DSP处理系统部分电路图；

图3为本发明的FPGA采集系统部分电路图；

图4为本发明的摄像头接口电路图；

图5为本发明的SDRAM存储电路图；

图6为本发明的FPGA采集系统与DSP处理系统接口电路图；

图7为本发明的DSP处理系统与PLC通讯接口电路图；

图8为本发明的电源管理模块电路图；

图9为本发明的露天矿用电缆卷放车智能追踪方法的流程图；

图10为本发明的目标追踪偏移量示意图；

图11为本发明的目标追踪距离示意图；

图12为本发明的电缆卷放车对应图像划分成的9个区域中的运动状态图。

具体实施方式

下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。

实施例

本发明以太原重工生产的WK-55电铲为例，此电铲高度近22米，相当于7层楼房的高度，电缆卷放车高度近5米，鉴于二者的高度差很大，摄像头需要以一定的角度γ仰视电铲，得以囊括电铲的全景，这种改进技术也给电铲的目标追踪偏移量及距离计算带来一定的困难。

图1为本发明的露天矿用电缆卷放车智能追踪装置的结构框图，本发明的露天矿用电缆卷放车智能追踪装置包括电源管理模块、智能图像检测与处理模块、智能目标辨识处理器、行走马达驱动模块，其中：智能图像检测与处理模块包括照明单元、摄像头、图像信息处理单元，所述照明单元是用于为摄像头采集图像信息提供良好的光照环境，减小环境的干扰。所述摄像头是用于采集目标电铲的图像信息，经图像信息处理单元得到前方目标电铲的图像数据。智能目标辨识处理器是用于预存电铲车与电缆卷放车之间的距离信息以及各种情况下的图像数据，获取智能图像检测与处理模块的图像信息，计算电缆卷放车相对于目标电铲中心位置的偏移量以及二者之间的实际距离，将控制信号发送给行走马达驱动模块。行走马达驱动模块是用于接收智能目标辨识处理器发来的控制信号，再将控制命令下发给驱动器，实现电缆卷放车跟随目标电铲同步行进。

所述的电源管理模块给智能图像检测与处理模块、智能目标辨识处理器供电，电源管理模块可采用AMS117芯片，产生四路电源供电，但不限于此；所述的智能图像检测与处理模块可采用FPGA EP4CE6F17C8芯片及OV5640摄像头，能够进行图像采集与处理，并且可以将处理好的图像信息存储到SDRAM，存储芯片选择HY57V2562GTR，但不限于此；所述智能目标辨识处理器可采用TI公司的DSP芯片TMS320F2812，通过其外部存储器接口获取FPGA处理好的图像数据，并且进行相关计算；DSP芯片TMS320F2812与PLC通讯，将控制信号发送给PLC，PLC选用西门子S7-1200，通讯芯片选择MAX485，但不限于此；所述的行走马达驱动模块，接收DSP芯片TMS320F2812发来的控制信号，S7-1200再向行走马达驱动器下发控制命令。

图2为本发明的DSP处理系统部分电路图，具体说明如下：

DSP处理系统采用TI公司的DSP芯片TMS320F2812，其电路图还包括晶振、复位以及JTAG仿真接口，具体电路连接如图2。

图3为本发明的FPGA采集系统部分电路图，具体说明如下：

FPGA采集系统采用FPGA EP4CE6F17C8芯片，其电路图还包括晶振、JTAG仿真接口以及电源接口，具体电路连接如图3。

图4为本发明的摄像头接口电路图，具体说明如下：

摄像头采用OV5640图像传感器，OV5640的COMS-D0到COMS-D7引脚分别连接FPGAEP4CE6F17C8芯片的L2、M6、G2、M1、L1、N5、J1、J2引脚，COMS-SCL引脚与EP4CE6F17C8的F1引脚连接，COMS-SDA引脚与EP4CE6F17C8的F3引脚连接，COMS-PCLK引脚与EP4CE6F17C8的G1引脚连接，COMS-VSYNC引脚与EP4CE6F17C8的F2引脚连接，COMS-SCLK引脚与EP4CE6F17C8的K2引脚连接，COMS-HREF引脚与EP4CE6F17C8的K1引脚连接，COMS-RESET引脚与EP4CE6F17C8的N6引脚连接，COMS-PWDN引脚与EP4CE6F17C8的M7引脚连接，以上引脚主要负责图像信息的采集工作。

图5为本发明的SDRAM存储电路图，具体说明如下：

存储芯片选择HY57V2562GTR，主要作为EP4CE6F17C8的外部存储器，用于储存处理完毕的图像数据，其中HY57V2562GTR的A0到A12引脚分别连接EP4CE6F17C8的S_A0到S_A12引脚，DQ0到DQ15引脚分别连接EP4CE6F17C8的S_DB0到S_DB15引脚，BA0、BA1引脚分别连接EP4CE6F17C8的S_BA0、S_BA1引脚，CLK引脚与EP4CE6F17C8的S_CLK引脚连接，CAS引脚与EP4CE6F17C8的S_nCAS引脚连接，CKE引脚与EP4CE6F17C8的S_CKE引脚连接，RAS引脚与EP4CE6F17C8的S_nRAS引脚连接，WE引脚与EP4CE6F17C8的S_nWE引脚连接，CS引脚与EP4CE6F17C8的S_nCS引脚连接，以上引脚主要负责缓存FPGA处理好的图像数据。

图6为本发明的FPGA采集系统与DSP处理系统接口电路图，具体说明如下：

利用TMS320F2812的外部存储器接口连接EP4CE6F17C8，实现储存的图像数据的读取，其中TMS320F2812的XA0到XA18分别连接EP4CE6F17C8的B1、B3～B13、D5、C6、F8、D8、E9、T5、T6引脚，XD0到XD15分别连接EP4CE6F17C8的C2、A2～A13、D6、E7、C8引脚，XRD引脚与EP4CE6F17C8的E8引脚连接，XWE引脚与EP4CE6F17C8的T4引脚连接，XZCS0引脚与EP4CE6F17C8的T3引脚连接，XINT2引脚与EP4CE6F17C8的T2引脚连接。

图7为本发明的DSP处理系统与PLC通讯接口电路图，具体说明如下：

TMS320F2812的SCITXB引脚和SCIRXB引脚连接MAX485的RO引脚和RE引脚，输出的电平信号通过MAX485的引脚A和引脚B发送给S7-1200，S7-1200再下发控制命令给行走马达的驱动器，实现马达的正反转、调速、停止。

图8为本发明的电源管理模块电路图，具体说明如下：

电源管理模块通过USB供电，将外部220V交流电变为5V直流电引入电路，通过4路AMS117电源芯片分别产生+3.3V，+2.5V，+1.8V，+1.2V四路电源，其中OV5640需要+3.3V电源，FPGA EP4CE6F17C8需要+3.3V、+2.5V，+1.2V电源，DSP芯片TMS320F2812需要+3.3V，+1.8V电源。

图9为本发明的露天矿用电缆卷放车智能追踪方法的流程图，本发明的电缆卷放车智能追踪方法包括以下步骤：

步骤1、摄像头通过OV5640的COMS-D0到COMS-D7等相关引脚连接至EP4CE6F17C8，电源管理模块给TMS320F2812、EP4CE6F17C8及该摄像头提供供电电压，启动摄像头；

步骤2、摄像头进行目标电铲图像拍摄，EP4CE6F17C8获取图像信息，再利用OpenCV视觉库对采集的图像进行去噪、边缘检测等处理，并将处理好的图像数据缓存到SDRAM中；

步骤3、TMS320F2812通过外部存储器接口获取EP4CE6F17C8处理好的的图像数据，利用目标电铲偏移量及距离算法，取得电缆卷放车相对于电铲车中心位置的偏移量及二者的实际工作距离；

步骤4、TMS320F2812根据得到的实际距离以及偏移量信息，预判电缆卷放车下一步的行驶状态，将控制信号经过485通信发送给S7-1200，S7-1200再向行走马达的驱动器下发控制命令，实现马达正转或反转、调速或者停止等操作，确保电缆卷放车跟随电铲车同步行进。

图10为本发明的电缆卷放车相对于目标电铲的偏移量示意图，如图10所示，具体说明如下：

图10为摄像头拍摄的电铲车水平视角，O为摄像头镜头的中心点，实线OG为摄像头光轴，P1、P2分别为电铲车左右边缘上的一点，为电铲车左边缘相对于摄像头光轴的偏移角，同理为电铲车右边缘相对于摄像头光轴的偏移角，OC、OD为摄像头的水平视野角。g为像平面的中心点，p1、p2为对应的像平面上电铲车左右边缘上各一点，k、j为像平面水平方向端点。通过摄像头拍摄的目标电铲的水平视角，经过EP4CE6F17C8处理得到各点的坐标信息，TMS320F2812通过其外部存储器接口获取处理好的图像数据，结合目标电铲偏移量算法，得到目标电铲位于电缆车的具体方向，具体算法如下：

令

其中：像平面点坐标p1＝(xp1,yp1)、p2＝(xp2,yp2)，对应目标电铲坐标为P1＝(XP1,YP1)、P2＝(XP2,YP2)。摄像头的水平视角为2β，垂直视角为2α，俯仰角为γ。L为电缆卷放车与目标电铲车的实际水平距离，W为像平面宽度，为摄像头镜头与目标电铲车水平夹角。

图11为本发明的电缆卷放车相对于目标电铲实际水平距离示意图，如图11所示，具体说明如下：

O为摄像头镜头的中心点，实线OG为摄像头光轴，P3为电铲车垂直方向上端点，OA、OB为摄像头垂直视野角，g为像平面的中心点，p3为对应的像平面上电铲车垂直方向上端点，a、b为像平面垂直方向端点，h为摄像头距地面高度，γ为摄像头的俯仰角，L为电缆卷放车到目标电铲的水平距离。通过摄像头拍摄的目标电铲的垂直视角，经过EP4CE6F17C8处理得到各点的坐标信息，TMS320F2812通过其外部存储器接口获取处理好的图像数据，结合目标电铲距电缆卷放车水平距离算法，得到电缆卷放车距目标电铲的实际工作距离，具体算法如下：

其中：h为摄像头距地面高度，H电铲为电铲的高度，γ为摄像头的俯仰角，H为摄像头相平面高度，像平面点坐标p3＝(xp3,yp3)，对应目标电铲坐标为P3＝(XP3,YP3)，摄像头的垂直视角为2α。

具体实施时，通过实际需求可以将摄像头采集的图像划分成9个区域，每一个区域都有电缆卷放车对应的运动状态。由于摄像头的参数不同，以摄像头OV5640最大分辨率2592x 1944为例，像素为500万，水平方向上划分为三个梯度，分别为864，1728，2592，垂直方向也划分为三个梯度，即648，1296和1944，如图12所示：

若摄像头采集到电铲车进入区域1，即电缆卷放车追踪的电铲车在其偏左方向且距离过远，那么电缆卷放车需要立即采取向左前方以较小曲率转向以及加速的运动方式继续追踪电铲车；

若摄像头采集到电铲车进入区域2，即电缆卷放车距电铲车过远，那么电缆卷放车需要立即采取加速的运动方式继续追踪电铲车；

若摄像头采集到电铲车进入区域3，即电缆卷放车追踪的电铲车在其偏右方向且距离过远，那么电缆卷放车需要立即采取向右前方以较小曲率转向以及加速的运动方式继续追踪电铲车；

若摄像头采集到电铲车进入区域4，即电缆卷放车追踪的电铲车在其偏左方向，那么电缆卷放车需要立即采取向左以较小曲率转向的运动方式继续追踪电铲车；

若摄像头采集到电铲车进入区域5，即电缆卷放车追踪的电铲车处于正常范围内，那么电缆卷放车可以按原行驶速度及角速度继续智能追踪电铲车；

若摄像头采集到电铲车进入区域6，即电缆卷放车追踪的电铲车在其偏右方向，那么电缆卷放车需要立即采取向右以较小曲率转向的运动方式继续追踪电铲车；

若摄像头采集到电铲车进入区域7，即电缆卷放车追踪的电铲车在其偏左方向且距离过近，那么电缆卷放车需要立即采取向左以较小曲率转向以及减速的运动方式继续追踪电铲车；

若摄像头采集到电铲车进入区域8，即电缆卷放车距电铲车过近，那么电缆卷放车需要立即采取减速的运动方式继续追踪电铲车；

若摄像头采集到电铲车进入区域9，即电缆卷放车追踪的电铲车在其偏右方向且距离过近，那么电缆卷放车需要立即采取向右以较小曲率转向以及减速的运动方式继续追踪电铲车。

本申请可实现电缆卷放车随电铲车自动匹配行走的功能，获取安装于电缆卷放车上的摄像头对电缆卷放车的正前方进行图像采集得到的图像数据，根据采集的图像数据与预存的图像数据，计算电缆卷放车相对于电铲车中心位置的偏移量，根据所述偏移量，控制电缆卷放车行驶速度与行驶方向，实现电缆卷放车跟随电铲车同步行走的功能。

以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。