用于钻机的状态检测方法和控制单元

权利要求书： 1.一种用于钻机的状态检测方法，包括：

利用设置在钻机的上车(2)上的图像采集装置(10)采集至少包含钻机钻挖的孔洞(9)、钻机的钻头(8)的图像；

从所述图像中至少识别出孔洞(9)和钻头(8)，并且确定孔洞(9)和钻头(8)上的关键点的位置信息；

利用孔洞(9)上的关键点的位置信息确定孔洞(9)位置，利用钻头(8)上的关键点的位置信息确定钻头(8)的位姿；以及在表达坐标系中表达孔洞(9)的位置信息和钻头(8)的位姿信息。

2.如权利要求1所述的状态检测方法，其中，所述表达坐标系为：对孔坐标系，其坐标原点设置在钻机上，优选位于上车(2)的回转中心轴上，例如位于上车(2)与钻机的下车(1)之间交界且与上车(2)的回转中心轴垂直的平面内，对孔坐标系的一个轴与孔洞(9)的孔洞中心轴(90)垂直相交；或者整车坐标系，其坐标原点设置在钻机上，优选位于上车(2)的回转中心轴上，例如位于上车(2)与钻机的下车(1)之间交界且与上车(2)的回转中心轴垂直的平面内，整车坐标系的原点可以与对孔坐标系的坐标原点重合，整车坐标系的一个轴沿上车(2)的回转中心轴。

3.如权利要求1或2所述的状态检测方法，其中，在上车坐标系中利用孔洞(9)上的关键点在上车坐标系中的上车坐标确定孔洞(9)的位置信息，利用钻头(8)上的关键点在上车坐标系中的上车坐标确定钻头(8)的位姿信息；并且通过上车坐标系与表达坐标系之间的转换关系，将上车坐标系中的孔洞(9)的位置信息和钻头(8)的位姿信息转换成表达坐标系中的孔洞(9)的位置信息和钻头(8)的位姿信息；

其中，所述上车坐标系的坐标原点设置在钻机上，优选位于上车(2)的回转中心轴上，例如位于上车(2)与钻机的下车(1)之间交界且与上车(2)的回转中心轴垂直的平面内，上车坐标系的原点可以与对孔坐标系的坐标原点和/或整车坐标系的原点重合，上车坐标系的一个轴沿上车(2)的回转中心轴。

4.如权利要求3所述的状态检测方法，其中，所述上车坐标系与对孔坐标系之间的转换关系基于下述信息确定：基于孔洞(9)或其内护筒上端的孔口中心点(95)在上车坐标系中的上车坐标；和/或基于上车回转马达的转速传感器的检测信息；和/或基于上车的角度编码器的检测信息。

5.如权利要求3所述的状态检测方法，其中，通过下述方式确定所述上车坐标系与对孔坐标系之间的转换关系：确定动力头(7)中被钻杆(5)穿过的孔的中心线上的参考点(78)在一个参考平面中的映射点(88)，所述参考平面与钻头中心轴(80)垂直，并且孔洞(9)或其内护筒上端的孔口中心点(95)位于所述参考平面内；

基于所述映射点(88)与所述孔口中心点(95)的位置差异确定所述上车坐标系与对孔坐标系之间的转换关系。

6.如权利要求1?5中任一项所述的状态检测方法，其中，所述孔洞(9)上的关键点为孔洞(9)或其内护筒的上边缘上的至少三个点，所述孔洞(9)位置信息为孔洞(9)或其内护筒上端的孔口中心点(95)位置。

7.如权利要求1?6中任一项所述的状态检测方法，其中，所述钻头(8)的位姿信息至少包括：钻头(8)上一个、优选至少两个中心点的位置，以及钻头中心轴(80)的指向。

8.如权利要求1?7中任一项所述的状态检测方法，其中，图像采集装置(10)采集的图像中还包含钻头关联部件；并且所述状态检测方法还包括：从所述图像中识别出钻头关联部件，并且确定钻头关联部件上的关键点的位置信息；

利用钻头关联部件上的关键点的位置信息确定钻头关联部件的位姿信息；以及在所述表达坐标系中表达钻头关联部件的位姿信息；

其中，所述钻头关联部件包括下述中的一个或多个：

动力头(7)；

桅杆(3)，尤其是桅杆(3)的下部；

钻杆(5)。

9.如权利要求1?8中任一项所述的状态检测方法，其中，还包括基于钻机主卷扬马达的转速传感器的检测信息验证或修正钻头(8)的位置信息。

10.如权利要求1?9中任一项所述的状态检测方法，其中，还包括处理所述图像以获取环境稠密地图；

将所述环境稠密地图在所述表达坐标系中表达。

11.如权利要求1?10中任一项所述的状态检测方法，其中，还包括基于所述图像确定图像采集装置(10)的位姿；

将所述图像采集装置(10)的位姿在所述表达坐标系中表达。

12.如权利要求1?11中任一项所述的状态检测方法，其中，所述图像采集装置(10)包括下述中的一个或多个：单目摄像头；

双目摄像头；

RGB?D摄像头；

激光雷达；

毫秒波雷达。

13.一种用于钻机的控制单元，配置成执行如权利要求1?12中任一项所述的状态检测方法。

14.一种钻机，包括：

设置在钻机的上车(2)上的图像采集装置(10)，配置成采集至少包含钻机钻挖的孔洞(9)、钻机的钻头(8)的图像；以及如权利要求13所述的控制单元，配置成基于图像采集装置(10)采集的图像执行如权利要求1?12中任一项所述的状态检测方法。

15.一种机器可读存储介质，其存储有可执行指令，所述指令当被处理器执行时实现如权利要求1?12中任一项所述的状态检测方法。

说明书： 用于钻机的状态检测方法和控制单元技术领域[0001] 本申请涉及一种用于钻机的状态检测(监控)方案，能够至少提供有关钻头的位姿信息。背景技术[0002] 钻机是一种执行钻孔作业的施工机械。钻孔作业的环境一般比较恶劣，机手经常要承受高噪音、强震动、强日光等等。为了钻成一个孔洞，钻机通常要在一个固定的工作位置操作很长时间，并且机手通常要长时间地重复执行循环动作，诸如下钻、钻进、提钻、甩土等。为了确保钻孔精度，需要在每次动作中都精确地检测和控制钻头的位姿。此外，为了实现重复执行的循环动作自动化，需要自动检测确定桅杆的位姿，动力头的位姿，解锁压杆的位置。[0003] 现有技术中，主要利用钻机的主卷扬马达相关的转速传感器的信息来确定钻头高度。以这种间接方式确定钻头高度的方法存在一些缺点。首先，需要频繁标定零位。其次，会有累计误差。[0004] 另一方面，关于钻头中心轴相对于孔洞中心轴的位置，现有技术中的一种解决方法是使用上车回转相关的旋转编码器的信息来确定。由于基于旋转编码器信息只能测出上车回转位置，而钻头在与钻头中心轴垂直的平面中还有其它方向的运动。采用这种方法，必须先确定钻头中心轴与孔洞中心轴重合时的旋转编码器位置(即零位)。如果钻机在工作中有非操作的移动，则钻头中心轴相对于孔洞中心轴的位置就不可知了。如果采用上车回转马达相关的转速传感器的信息来确定钻头中心轴相对于孔洞中心轴的位置，那么除了上述问题，还会产生累计误差。发明内容[0005] 本申请的目的是提供一种用于钻机的状态检测方案，能够解决现有技术中存在的前述问题中的至少一些问题。[0006] 为此，本申请在其一个方面提供了一种用于钻机的状态检测(或称监控)方法，其包括：[0007] 利用设置在钻机的上车上的图像采集装置采集至少包含钻机钻挖的孔洞、钻机的钻头的图像；[0008] 从所述图像中至少识别出孔洞和钻头，并且确定孔洞和钻头上的关键点的位置信息；[0009] 利用孔洞上的关键点的位置信息确定孔洞位置，利用钻头上的关键点的位置信息确定钻头的位姿；以及[0010] 在表达坐标系中表达孔洞的位置信息和钻头的位姿信息。[0011] 在一种实施方式中，所述表达坐标系为：[0012] 对孔坐标系，其坐标原点设置在钻机上，优选位于上车的回转中心轴上，例如位于上车与钻机的下车之间交界且与上车的回转中心轴垂直的平面内，对孔坐标系的一个轴与孔洞的孔洞中心轴垂直相交。[0013] 在一种实施方式中，所述表达坐标系为：[0014] 整车坐标系，其坐标原点设置在钻机上，优选位于上车的回转中心轴上，例如位于上车与钻机的下车之间交界且与上车的回转中心轴垂直的平面内，整车坐标系的原点可以与对孔坐标系的坐标原点重合，整车坐标系的一个轴沿上车的回转中心轴。[0015] 在一种实施方式中，在上车坐标系中利用孔洞上的关键点在上车坐标系中的上车坐标确定孔洞的位置信息，利用钻头上的关键点在上车坐标系中的上车坐标确定钻头的位姿信息；并且[0016] 通过上车坐标系与表达坐标系之间的转换关系，将上车坐标系中的孔洞的位置信息和钻头的位姿信息转换成表达坐标系中的孔洞的位置信息和钻头的位姿信息；[0017] 其中，所述上车坐标系的坐标原点设置在钻机上，优选位于上车的回转中心轴上，例如位于上车与钻机的下车之间交界且与上车的回转中心轴垂直的平面内，上车坐标系的原点可以与对孔坐标系的坐标原点和/或整车坐标系的原点重合，上车坐标系的一个轴沿上车的回转中心轴。[0018] 在一种实施方式中，所述上车坐标系与对孔坐标系之间的转换关系基于下述信息确定：[0019] 基于孔洞或其内护筒上端的孔口中心点在上车坐标系中的上车坐标；和/或[0020] 基于上车回转马达的转速传感器的检测信息；和/或[0021] 基于上车的角度编码器的检测信息。[0022] 在一种实施方式中，通过下述方式确定所述上车坐标系与对孔坐标系之间的转换关系：[0023] 确定动力头中被钻杆穿过的孔的中心线上的参考点在一个参考平面中的映射点，所述参考平面与钻头中心轴垂直，并且孔洞或其内护筒上端的孔口中心点位于所述参考平面内；[0024] 基于所述映射点与所述孔口中心点的位置差异确定所述上车坐标系与对孔坐标系之间的转换关系。[0025] 在一种实施方式中，所述孔洞上的关键点为孔洞或其内护筒的上边缘上的至少三个点，所述孔洞位置信息为孔洞或其内护筒上端的孔口中心点位置。[0026] 在一种实施方式中，所述钻头的位姿信息至少包括：钻头上一个、优选至少两个中心点的位置，以及钻头中心轴的指向。[0027] 在一种实施方式中，图像采集装置采集的图像中还包含钻头关联部件，并且所述状态检测方法还包括：[0028] 从所述图像中识别出钻头关联部件，并且确定钻头关联部件上的关键点的位置信息；[0029] 利用钻头关联部件上的关键点的位置信息确定钻头关联部件的位姿信息；以及[0030] 在表达坐标系中表达钻头关联部件的位姿信息；[0031] 其中，所述钻头关联部件包括下述中的一个或多个：[0032] 动力头；[0033] 桅杆，尤其是桅杆的下部；[0034] 钻杆。[0035] 在一种实施方式中，所述状态检测方法还包括基于钻机主卷扬马达的转速传感器的检测信息验证或修正钻头的位置信息。[0036] 在一种实施方式中，所述状态检测方法还包括处理所述图像以获取环境稠密地图；[0037] 将所述环境稠密地图在所述表达坐标系中表达。[0038] 在一种实施方式中，所述状态检测方法还包括基于所述图像确定图像采集装置的位姿；[0039] 将所述图像采集装置的位姿在所述表达坐标系中表达。[0040] 在一种实施方式中，所述图像采集装置包括下述中的一个或多个：[0041] 单目摄像头；[0042] 双目摄像头；[0043] RGB?D摄像头；[0044] 激光雷达；[0045] 毫秒波雷达。[0046] 本申请还提供了一种用于钻机的控制单元，配置成执行本申请的状态检测方法。[0047] 本申请还提供了一种钻机(尤其是旋挖钻机)，包括：[0048] 设置在钻机的上车上的图像采集装置，配置成采集至少包含钻机钻挖的孔洞、钻机的钻头的图像；以及[0049] 本申请的控制单元，配置成基于图像采集装置采集的信息执行本申请的状态检测方法。[0050] 本申请还提供了一种机器可读存储介质，其存储有可执行指令，所述指令当被处理器执行时实现本申请的状态检测方法。[0051] 根据本申请的状态检测方案，能够基于图像采集装置采集的信息至少确定出钻机钻头的位姿信息。如此确定的钻头位姿精度高，能够消除累计误差，提高钻孔精度。本申请基于图像采集装置直接感测的信息确定出来的钻头位姿信息，还可以被用于钻机的其它辅助控制方案中，有助于提高钻孔精度、效率，还有助于减轻机手的工作负担。附图说明[0052] 本申请的前述和其它方面将通过下面参照附图所做的详细介绍而被更完整地理解和了解，其中：[0053] 图1是本申请涉及的钻机的示意图；[0054] 图2?图4展示了本申请的一种检测方案中使用的三个坐标系；[0055] 图5?图7是本申请的一种检测方案中检测的钻机工作部件上的关键点的示意图；[0056] 图8是本申请的一种检测方案中检测的孔洞上的关键点的示意图；[0057] 图9是本申请的一种检测方案中检测的钻机环境信息的示意图；[0058] 图10是本申请的一种检测方案中检测的钻头路径的示意图。具体实施方式[0059] 本申请总体上涉及用于钻机(尤其是旋挖钻机)的状态检测(或称监控)方案。在基本实施方式中，至少钻机的钻头的位姿被检测(监控)。在一些进一步的实施方式中，除了钻头的位姿外，钻机的环境信息也被检测。[0060] 本申请涉及的状态检测方案适用于各种形式的钻机。为了方便描述，本申请在图1中高度概括地展示了本申请适用的一种钻机。该钻机主要包括：下车1，其包括行走装置(诸如履带等)，以使得整个钻机能够行走；上车2，其绕回转中心轴可回转地安装在下车1上；桅杆3，其由承载机构(通常为液压型承载机构)4可枢转地支撑在上车2上，在钻孔操作中通常处在竖直位置；钻杆5，其由主卷扬系统的钢丝绳6牵引而可竖直升降；动力头7，其一端由桅杆3支撑、并且可沿桅杆3竖直移动，另一端能够驱动钻杆5旋转；钻头(钻斗)8，其安装在钻杆5下端并且随动于钻杆5。钻头8用于从某个表面(例如地面，以下称作钻孔表面)开始向下钻挖出孔洞，例如图1中示意性展示了一段的孔洞9。孔洞9具有中心轴(以下称作孔洞中心轴)90。孔洞中心轴90的位置和指向都是预先设定的，通常垂直于钻孔表面，或者相对于钻孔表面朝某个方向倾斜一预设的角度。孔洞9的上端的位置以中心点(以下称作孔口中心点)95表征。需要指出，如果孔洞9中设置有护筒、并且护筒的上边缘高于或等于钻孔表面，则此处孔口中心点95是指护筒上边缘的中心点。如果没有设置护筒，或者护筒的上边缘低于钻孔表面，则此处孔口中心点95是指孔洞9的中心点。[0061] 钻头8具有中心轴(以下称作钻头中心轴)80，其与钻杆5的中心轴重合。钻头8能够在动力头7驱动钻杆5旋转时随着钻杆5旋转，并且能够在钢丝绳6放出或收卷而提升或下放钻杆5时随着钻杆5升降。[0062] 在钻挖具有一定深度的孔洞时，钻机不可能通过一次动作完成，而是通常要通过反复执行的循环动作完成。每次循环动作通常包括下钻、钻进、提钻、甩土。并且已经钻挖的孔洞中还可能布置护筒(未示出，例如跟进式护筒)来支护孔洞周围的土方。[0063] 在一套循环动作完成后(即钻头甩土完成后)，需要将钻头8精确地重新插入孔洞9中(下钻)，即尽可能使得钻头中心轴80与孔洞中心轴90重合。为此，需要精确地确定钻头8的位姿。钻头8的位置通常以钻头8的高度表征，钻头8的姿势可以用与钻头中心轴80重合的向量r(方向为指向或背对钻头8)表征。[0064] 至少是为了精确地确定钻头8的位姿，本申请提供了一种用于钻机的状态检测方案，该方案在上车2上设置图像采集装置10，尤其是设置在上车2上方。该图像采集装置10可以相对于上车2固定，因而随上车2相对于下车1回转。并且该图像采集装置10能够采集所面对的物体的图像信息。本申请中，需要将图像采集装置10的视野设置成能够至少覆盖钻机中与孔洞9的位置密切相关的工作部件，尤其是钻头8和动力头7，还应至少覆盖桅杆3的下部。此外，图像采集装置10的视野还要能覆盖孔洞9。[0065] 为了使得图像采集装置10具有足够的视野，或者为了尽量避免图像采集装置10采集的图像失真，可以采用两个或更多个图像采集装置(如摄像头)，也可以采用一个具有大视野的图像采集装置(如摄像头)。或者，可以将图像采集装置10以能够执行受控动作的方式设置在上车2上。受控动作可以是沿钻机的横向和/或纵向和/或竖直方向移动，和/或绕横向和/或竖直方向转动，等等。[0066] 本申请的状态检测方案中，图像采集装置10可以采用的类型有(不限于)：单目摄像头，双目摄像头，RGB?D摄像头，毫秒波雷达，激光雷达(LiDAR)等等。[0067] 本申请的状态检测方案中，利用新增的图像采集装置10的采集的信息来确定有关钻机钻头的位姿信息，并且还可能确定钻机环境信息(尤其是孔洞周围环境信息)。[0068] 本申请的状态检测方案中，除了使用在钻机上新增的图像采集装置10采集的信息，还可以组合使用钻机原有的传感器的信息。本申请的状态检测方案中能被采用的信息源可以包括(不限于)：[0069] (1)单目摄像头；[0070] (2)单目摄像头+(主卷扬马达的转速传感器和/或上车回转马达的转速传感器)；[0071] (3)双目摄像头；[0072] (4)双目摄像头+(主卷扬马达的转速传感器和/或上车回转马达的转速传感器)；[0073] (5)RGB?D摄像头；[0074] (6)RGB?D摄像头+(主卷扬马达的转速传感器和/或上车回转马达的转速传感器)；[0075] (7)毫秒波雷达；[0076] (8)毫秒波雷达+单目摄像头；[0077] (9)毫秒波雷达+(主卷扬马达的转速传感器和/或上车回转马达的转速传感器)；[0078] (10)激光雷达；[0079] (11)激光雷达+(主卷扬马达的转速传感器和/或上车回转马达的转速传感器)；[0080] (12)单目摄像头+毫秒波雷达+(主卷扬马达的转速传感器和/或上车回转马达的转速传感器)；[0081] (13)不同类型图像采集装置的组合，等等。[0082] 此外，基于本申请的原理，本领域技术人员也可以设计出利用其它新增图像采集装置10与钻机原有的传感器的组合作为本申请的状态检测方案中的信息源。[0083] 钻头8的位姿将在相对于钻机设置的一个相对固定的表达坐标系中表达。下面讨论为实施本申请的方案所设置的几个坐标系。[0084] 首先，在下车2上选取一个整车坐标系O?XYZ。整车坐标系为笛卡尔坐标系。如图1所示，坐标原点O选取在上车2的回转中心轴上，例如选取在上车2与下车1之间交界且与上车2的回转中心轴垂直的平面(以下称作交界平面)内，即上车2的回转中心轴与该交界平面的交点为整车坐标系的原点O。当然，整车坐标系的原点也可以选取在上车2的回转中心轴上的其它位置处。[0085] 整车坐标系的X轴与上车2的回转中心轴重合，可以如图1中所示指向上方，但也可以指向下方。整车坐标系的Z轴沿钻机纵向，可以如图1所示指向下车1的正前方，但也可以指向下车1的正后方。整车坐标系的Y轴在图1中未示出，但可以理解Y轴沿钻机横向，方向可以遵循笛卡尔坐标系的右手定则。当然，整车坐标系的各轴可以选择为其它方向、原点可以选择为其它位置。[0086] 接下来，参看图2，建立上车2的坐标系，以下称作上车坐标系。上车坐标系为笛卡尔坐标系，坐标原点与整车坐标系的原点O相同，上车坐标系以O?XuYuZu表示。Xu轴与整车坐标系的X轴重合，Zu轴沿上车2的纵向，可以如图2所示指向上车2的正前方，但也可以指向上车2的正后方。上车坐标系的Yu轴在图2中未示出，但可以理解Yu轴沿上车2的横向，方向可以遵循笛卡尔坐标系的右手定则。上车坐标系相对于整车坐标系只存在绕回转中心轴的转动运动。令上车坐标系相对于整车坐标系绕上车回转中心轴的转角为αu。当然，上车坐标系的各轴可以选择为其它方向、原点可以选择为其它位置。[0087] 接下来，参看图3，建立对孔坐标系，对孔坐标系为笛卡尔坐标系，坐标原点与整车坐标系的原点O相同，对孔坐标系以O?XhYhZh表示。Xh轴与整车坐标系的X轴重合，Zh轴在从原点O向孔洞中心轴90所作的垂线，方向可以从原点O指向孔洞中心轴90，或者从孔洞中心轴90指向原点O。对孔坐标系的Yh轴在图3中未示出，但可以由Xh轴和Zh轴确定，方向可以遵循笛卡尔坐标系的右手定则。当然，对孔坐标系的各轴可以选择为其它方向、原点可以选择为其它位置。

[0088] 上车坐标系相对于对孔坐标系只存在绕回转中心轴的转动运动。令上车坐标系相对于对孔坐标系绕上车回转中心轴的转角为αh。[0089] 对孔坐标系与整车坐标系之间也仅存在绕上车回转中心轴的转动运动，对孔坐标系相对于整车坐标系绕上车回转中心轴的转角可以通过前述转角αu和αh计算出来。[0090] 接下来，假定图像采集装置10为单目摄像头，如图4所示，建立摄像头坐标系。摄像头坐标系以Oc?XcYcZc表示。摄像头坐标系的原点Oc为摄像头的光心，Zc轴沿摄像头光轴，Xc轴和Yc轴分别与摄像头的图像像素坐标系(未示出)的u轴和v轴平行。[0091] 需要指出，如果采用其它形式的图像采集装置10，则本申请中提到的摄像头坐标系可以被相应的图像采集装置坐标系替换。[0092] 根据计算机图像处理领域的常规算法，摄像头的图像像素坐标系与上车坐坐标系之间的转换关系(通常以内参矩阵和外参矩阵的组合表示)是确定的，其中内参矩阵表示摄像头的图像像素坐标系与摄像头坐标系之间的转换关系，外参矩阵表示摄像头坐标系和上车坐标系之间的转换关系。此外，摄像头图像的畸变校正也可以通过计算机图像处理领域的常规算法(诸如利用畸变矩阵等)实现。[0093] 此外，根据空间运动学或空间机构学领域的常规算法，各个坐标系之间的转换关系，诸如摄像头坐标系与上车坐标系之间、上车坐标系与整车坐标系之间、对孔坐标系与整车坐标系之间、对孔坐标系与上车坐标系之间的转换关系，都有明确的表达形式，通常为转换矩阵的形式。在这一点上需要指出，不论摄像头在上车2上是固定安装的还是可运动地安装的，由于摄像头在成像时相对于上车2的位姿是确定的，因此摄像头坐标系与上车坐标系之间的转换关系都是确定的。对于其它形式的图像采集装置来说，图像采集装置坐标系与上车坐标系之间的转换关系也是确定的。[0094] 为了对摄像头拍摄的图像进行处理，在摄像头需要采集的工作部件以及孔洞9(或护筒)上设定一些关键点。这些关键点将在图像处理中被用到。工作部件上的关键点可以通过深度学习确定，应当选取为容易识别且能够表征部件几何特征的点，通常是部件表面上的点。[0095] 对于桅杆3，考虑到摄像头或其它图像采集装置的视野范围，可能仅需采集其下部的图像即可。为此，如图5中示意性展示，在桅杆3的下部选取突出部位作为示例性的桅杆关键点31、32、33、34。当然，也可以选取桅杆3下部上的其它明显的点作为桅杆关键点。[0096] 对于动力头7，如图6中示意性展示，在动力头7上选取的动力头关键点可以包括靠近钻杆5一侧的关键点71、73，靠近桅杆3一侧的关键点72、74，用于驱动钻杆5的驱动部的外周上的两个径向相对的关键点75、76。驱动部的中心点77(落在钻杆5的中心轴上)位于关键点75、76之间。当然，也可以选取动力头7上的其它明显的点作为动力头关键点。此外，选取动力头7中被钻杆5穿过的孔的中心线上的某个点作为参考点，例如图6中所示的参考点78。参考点78位于钻杆5的中心轴上，选取于任何适宜位置上，并且参考点78与动力头7上其它关键点之间的几何位置关系是已知的。参考点78在一个包含孔口中心点95并且与钻头中心轴80垂直的参考平面中的垂足为映射点88(示于图1)，也即钻头中心轴80在所述参考平面中的映射点。所述参考平面可能与钻孔平面重合，也可能不重合。

[0097] 对于钻头8，如图7中示意性展示，在钻头8上选取的钻头关键点可以包括钻头8本体上边缘外周上的两个径向相对的关键点81、82，钻头8本体下边缘外周上的两个径向相对的关键点83、84。钻头8本体上部中心点85位于关键点81、82之间，钻头8本体下部中心点86位于关键点83、84之间。中心点85、86都落在钻头8的中心轴80(与钻杆5的中心轴重合)上。用于启闭钻头8的底板的作动元件(压杆)上的特征点87也可被选用，用于判断钻头8的底板的打开和关闭。当然，也可以选取钻头8上的其它明显的点作为钻头关键点。

[0098] 对于孔洞9，如图8中示意性展示，可以选取其上边缘上的四个均布的关键点91、92、93、94。孔口中心点95位于关键点91与92之间，也位于关键点93与94之间。可以理解，如果孔洞9中设置有护筒、并且护筒的上边缘等于或高于钻孔表面，则此处关键点91与92、93与94是指护筒上边缘上的关键点。如果没有设置护筒，或者护筒的上边缘低于钻孔表面，则此处关键点91与92、93与94是指孔洞9的关键点。

[0099] 接下来描述本申请的基于单目摄像头的一种示例性状态检测方法。[0100] 首先，摄像头采集其视野内的图片，图片中至少包含了动力头7、钻头8、孔洞9、以及桅杆3的下部。[0101] 接下来，对图片进行畸变校正。这可以通过已有的方法实现，例如张正友标定方法等等。[0102] 接下来，借助现有的图像识别(例如图像分割，尤其是实例分割)和关键点检测技术，由校正后的图片中得到桅杆3、动力头7、钻头8、孔洞9(或护筒)的图形(例如利用掩膜技术)，确定出图形中的各关键点以及这些关键点在图像像素坐标系中的像素坐标。[0103] 接下来，通过关键点75、76的像素坐标计算出中心点77的像素坐标，利用关键点81、82的像素坐标计算出中心点85的像素坐标，利用关键点83、84的像素坐标计算出中心点

86的像素坐标。

[0104] 接下来，利用图像像素坐标系与摄像头坐标系之间的转换关系(内参矩阵)、摄像头坐标系与上车坐标系之间的转换关系(外参矩阵)，以及桅杆3上的关键点31、32、33、34、动力头7上的关键点71、72、73、74、钻头8上的关键点81、82、83、84、孔洞9(或护筒)上的关键点91、92、93、94在上车坐标系里的几何约束关系，分别得到这些关键点和中心点在上车坐标系里的上车坐标，尤其是点77、85、86、87、95的上车坐标。此外，由于动力头7上的参考点78与关键点71、72、73、74之间具有已知的几何关系，因此可以由关键点71、72、73、74的上车坐标精确计算出参考点78的上车坐标。

[0105] 如本领域技术人员所理解，对于桅杆3、动力头7、钻头8、孔洞9(或护筒)中的任意一个的图形，利用四个关键点的像素坐标以及它们之间的几何约束关系(距离、连线之间夹角等)，就能列出12个方程，其中包含12个变量。求解这12个方程就能得到12个变量的值，即这四个关键点在上车坐标系里的上车坐标(每个点在上车坐标系的三个坐标轴上的值)。如果采用多于4个的关键点，则列出的方程数量将会多于求解的变量的数量。在这种情况下，可以利用最小二乘法等优化算法确定各关键点的上车坐标，使得确定出的上车坐标值更精确。[0106] 如果某个图形中的关键点之间存在特定的真实几何关系，例如在上车坐标系中某些点在某个方向上(例如在Xu、Yu或Zu方向上)相同的坐标值，那么需要求解的变量的个数可能会减少。例如，在需要求解的变量的个数减少到9个的情况下，实际上仅需三个具有特定几何关系的关键点的像素坐标以及它们之间的几何约束关系(距离、连线之间夹角等)，就能列出9个方程，其中包含9个变量。求解这9个方程就能得到9个变量的值，即这三个关键点在上车坐标系里的上车坐标(每个点在上车坐标系的三个坐标轴上的值)。在这种情况下，仍可以采用四个、甚至更多个关键点，列出的方程数量将会多于求解的变量的数量。在这种情况下，也是可以利用最小二乘法等优化算法确定各关键点的上车坐标，使得确定出的上车坐标值更精确。此外，关于关键点的选取，希望各关键点之间构成几何约束关系，例如连线之间构成特定的夹角(例如直角)等等。[0107] 如果孔洞9(或护筒)上边缘是平的，则在其上边缘上选取三个关键点就能计算出孔口中心点95的位置。但是采用孔洞9(或护筒)上边缘上的四个或更多个关键点，可以提高计算出的孔口中心点95的精度。[0108] 通过桅杆3、动力头7、钻头8上各关键点的上车坐标，再结合这些关键点与钻杆5之间的机械结构构成的几何约束关系，容易求出在上车坐标系中钻杆5的位置(可以用钻杆5上的某个部位、例如钻杆5底端与钻头8连接部位的位置)表征和钻头中心轴80的指向(以向量r表征)。例如，钻杆5的位置(尤其是高度)，可以通过钻头8上的关键点的上车坐标与桅杆3上的关键点的上车坐标之间的差异来确定。钻头中心轴80的指向可以通过各中心点77、

85、86或其中任意两个中心点的上车坐标的数值来确定。

[0109] 类似地，动力头7的驱动部的中心点77、钻头8本体上的中心点85、86和特征点87、孔口中心点95在上车坐标系中的上车坐标也容易计算出来，其中中心点77、85、86位于钻头中心轴80上。[0110] 借助于孔口中心点95以及动力头7上的参考点78的上车坐标，并且借助于参考点78、其在所述参考平面中的映射点88以及孔口中心点95之间的几何关系(例如映射点88与参考点78之间的连线的指向与向量r相同、且映射点88与参考点78之间的连线垂直于映射点88与孔口中心点95之间的连线)，可以计算出映射点88的上车坐标。

[0111] 根据孔口中心点95在上车坐标系中的坐标以及孔口中心点95在对孔坐标系中的坐标，可以确定上车坐标系相对于对孔坐标系绕上车回转中心轴的转角αh，由此确定出上车坐标系与对孔坐标系之间的转换关系，通常为转换矩阵。[0112] 利用上车坐标系与对孔坐标系之间的转换关系，可以计算出上述各关键点、中心点、映射点88、向量r等在对孔坐标系中的坐标值，尤其是点77、85、86、87、95、88的对孔坐标，也即确定了各相关工作部件、尤其是钻头8在对孔坐标系中的位姿信息。钻头8的位姿信息可以由钻头中心轴80的指向以及钻头8上某些重要点(例如中心点85、86之一或二者，点87，等等)的坐标值表征。孔洞9的位置以孔口中心点95的坐标值表征。

[0113] 各工作部件、尤其是钻头8在对孔坐标系中的位姿信息，有助于实现钻头8相对于孔洞9的精确定位，并且有助于钻机某些辅助功能、尤其是自动功能的实现。此外，钻头8上的特征点87(表示用于底板的作动元件)的位置信息(不论是在对孔坐标系中还是上车坐标系中)可被用于自动控制钻头8的底板的打开的控制逻辑中以及辅助判断钻头8的底板是否打开。[0114] 由于摄像头坐标系与上车坐标系之间的转换关系是确定的，因此结合如前所述确定的上车坐标系与对孔坐标系之间的转换关系，可以确定出摄像头坐标系与对孔坐标系之间的转换关系，从而可以确定摄像头在对孔坐标系中的位姿。[0115] 可以理解，基于空间运动学、空间机构学的基本原理，在一个物体上的一些点的坐标已知的情况下，求解其它一些点的坐标或某条直线的指向，仅仅是计算上的问题；此外，某个点的坐标或某条直线的指向在不同坐标系之间的转换，也仅仅是计算上的问题。因此这里不再详细讨论。[0116] 由于各坐标系之间的转换计算是容易实现的，因此，尽管前面描述了将各工作部件、孔洞9(或护筒)在对孔坐标系中表达出来，但也容易通过坐标系之间的转换将这些信息在整车坐标系、甚至上车坐标系中表达出来。或者，也可以选取其它适宜的坐标系作为表达坐标系来表达感兴趣部件的位置信息。[0117] 总体上而言，本申请的状态检测方案中，能够基于图像采集装置采集的信号确定需要关注的工作部件在表达坐标系中的位姿信息。尤其是，如前所述基于各关键点的信息确定钻头8的位姿(包括底板的作动元件上特征点87的位置)、孔洞9(或护筒)的位置，并且能够基于桅杆关键点31、32、33、34或其它关键点确定桅杆3的位姿信息，基于动力头7上的关键点71、72、73、74或其它关键点确定动力头7的位姿信息。这些信息可被用于各种钻机功能，包括钻孔精度控制、自动控制功能等等。[0118] 在基于单目摄像头的状态检测方案中，进一步地，基于畸变校正过的图片，利用现有的计算机视觉算法、例如Slam算法，可以获取摄像头在上车坐标系里的位姿并且构建出钻机环境的稠密地图，尤其是孔洞9周围的环境稠密地图。借助摄像头坐标系与上车坐标系之间的转换关系，以及孔洞9的各关键点和中心点的上车坐标值，可以获得摄像头在对孔坐标系里的位姿(可以用于验证或修正前面所述确定的摄像头在对孔坐标系中的位姿)并且构建出对孔坐标系中孔洞9周围的环境稠密地图，如图9中示意性表示。在图9中，钻头8在孔洞9之外甩土形成的土堆11在上车坐标系中被示意性表示。土堆11上部轮廓线上标注的各点12、13、14...对应于钻头8的各次甩土位置。在图10中，在所述参考平面中绘出了钻头8为甩土而从孔洞9经过的路径(以一段圆弧线表示)，各甩土点12、13、14...位于该路径上。借助于图9和/或图10，可以规划下次甩土位置。[0119] 需要指出，关于上车坐标系相对于对孔坐标系绕上车回转中心轴的转角αh，除了上面描述的利用孔口中心点95的上车坐标来计算的方式以外，也可以借助上车回转马达的转速传感器得到。上车回转马达的转速传感器在孔口中心点95处标好零位。在上车2回转了一个转角αh后，该转角αh可以通过上车回转马达的转速传感器测量的转速积分得到，或者通过上车回转马达中的齿数累计计算出来。或者，转角αh也可以通过为上车2配备的角度编码器直接测得。转角αh可以采用前面通过孔口中心点95的上车坐标计算出来的值，或是采用通过上车回转马达的转速传感器得到值，或是采用角度编码器直接测得的值。转角αh各个值可以相互验证以提高精确度和可信度。[0120] 还需要指出，在基于单目摄像头的状态检测方案中，如果主卷扬马达的转速传感器的信号被采用，可以用来验证或修正计算出的钻杆5和钻头8的位置。[0121] 还需要指出，如有必要，上车坐标系相对于整车坐标系绕上车回转中心轴的转角αu也可以确定出来。例如，利用图像采集装置10采集到的下车1上某些部位的关键点在上车坐标系中的上车坐标，可以计算出转角αu。或者，也可以利用上车回转马达的转速传感器、为上车2配备的角度编码器来获得转角αu。如果要利用转速传感器来获取αu，由于转速传感器的人为设定的零点是对孔坐标系的零点，而对孔坐标系的零点不一定是整车坐标系的零点，两个零点之间可能有一个需要事先测出的角度αoffset，那么αu＝αoffset+αh。[0122] 在转角αu确定出来后，上车坐标系相对于整车坐标系的转换关系(通常为转换矩阵)可被确定，接下来可以将桅杆3、动力头7、钻头8、孔洞9(或护筒)以及各相关点在上车坐标系中的坐标值转换成在整车坐标系中的坐标值，即钻头8、孔洞9(或护筒)的位姿可以在整车坐标系中构建出来。同样，钻机环境的稠密地图也可以在整车坐标系中构建出来。[0123] 还需要指出，前面描述了的各个点在各个坐标系中的坐标被确定。然而，针对不同的钻机功能，这些点中的一些可能是可以省略的，并且可能有其它点需要被添加进来。[0124] 接下来描述基于双目摄像头或RGB?D摄像头的一种示例性状态检测(监控)方法。[0125] 首先，摄像头(双目摄像头或RGB?D摄像头)采集其视野内的图片。[0126] 接下来，对图片进行畸变校正。[0127] 接下来，借助现有的图像识别(例如图像分割，尤其是实例分割)和关键点检测技术，由校正后的图片中得到桅杆3、钻杆5、动力头7、钻头8、孔洞9或护筒、地面的图形(例如利用掩膜技术)，确定出图形中的各关键点以及这些关键点在图像像素坐标系中的像素坐标。[0128] 接下来，利用一些关键点的像素坐标和摄像头景深，通过现有的3D重建技术，得到桅杆3、钻杆5、动力头7、钻头8、孔洞9或护筒、地面以及它们上的各关键点的上车坐标。[0129] 接下来，通过孔洞9或护筒上关键点的上车坐标，估算出孔口中心点95的上车坐标。[0130] 接下来，通过下式两种方式之一估算出钻杆中心轴在上车坐标系里的方向和定位点：[0131] (a)利用钻杆5的边缘轮廓的上车坐标；[0132] (b)利用动力头8上关键点的上车坐标以及关键点与钻杆中心轴之间的机械(几何)约束关系。[0133] 接下来，通过下式两种方式之一得到各中心点77、85、86的上车坐标：[0134] (a)利用关键点75、76、81、82、83、84的上车坐标；[0135] (b)利用三组点(75和76)、(81和82)、(83和84)各自所在圆上分别任取的一个第三点的上车坐标以及该第三点与钻杆中心轴之间的机械(几何)约束关系。[0136] 接下来，计算出钻头中心轴80在所述参考平面中的映射点88的上车坐标。[0137] 根据孔口中心点95在上车坐标系中的坐标以及孔口中心点95在对孔坐标系中的坐标，可以确定上车坐标系相对于对孔坐标系绕上车回转中心轴的转角αh，由此确定出上车坐标系与对孔坐标系之间的转换关系，通常为转换矩阵。[0138] 利用上车坐标系与对孔坐标系之间的转换关系，可以计算出各关键点、中心点、映射点88、向量r等在对孔坐标系中的坐标值，尤其是点77、85、86、87、95、88的对孔坐标，也即确定了各相关工作部件、尤其是钻头8在对孔坐标系中的位姿信息。[0139] 进一步地，基于畸变校正过的图片，利用现有的计算机视觉算法、例如Slam算法，可以获得摄像头在上车坐标系里的位姿并且构建出钻机环境的稠密地图，并且借助上车坐标系与对孔坐标系之间的转换关系，可以获得摄像头在对孔坐标系里的位姿并且构建出对孔坐标系中孔洞9周围的环境稠密地图。[0140] 基于双目摄像头或RGB?D摄像头的状态检测方案中与前面针对基于单目摄像头的状态检测方案的示例性流程中相同或相似之处的描述被省略。[0141] 基于毫秒波雷达的状态检测方案与基于单目摄像头的状态检测方案类似，这里不再重复描述。[0142] 接下来描述基于单目摄像头组合毫秒波雷达的一种示例性状态检测(监控)方法。[0143] 首先，摄像头采集其视野内的图片，毫秒波雷达采集数据。[0144] 接下来，对图片进行畸变校正。[0145] 接下来，借助现有的图像识别(例如图像分割，尤其是实例分割)和关键点检测技术，由校正后的图片中得到桅杆3、钻杆5、动力头7、钻头8、孔洞9或护筒、地面的图形(例如利用掩膜技术)，确定出图形中的各关键点以及这些关键点在图像像素坐标系中的像素坐标。[0146] 接下来，利用一些关键点的像素坐标和毫秒波雷达得到的景深，通过现有的3D重建技术，得到桅杆3、钻杆5、动力头7、钻头8、孔洞9或护筒、地面以及它们上的各关键点的上车坐标。[0147] 接下来，通过孔洞9或护筒上关键点的上车坐标，估算出孔口中心点95的上车坐标。[0148] 接下来，通过下式两种方式之一估算出钻杆中心轴在上车坐标系里的方向和定位点：[0149] (a)利用钻杆5的边缘轮廓的上车坐标；[0150] (b)利用动力头8上关键点的上车坐标以及关键点与钻杆中心轴之间的机械(几何)约束关系。[0151] 接下来，通过下式两种方式之一得到各中心点77、85、86的上车坐标：[0152] (a)利用关键点75、76、81、82、83、84的上车坐标；[0153] (b)利用三组点(75和76)、(81和82)、(83和84)各自所在圆上分别任取的一个第三点的上车坐标以及该第三点与钻杆中心轴之间的机械(几何)约束关系。[0154] 接下来，计算出钻头中心轴80在所述参考平面中的映射点88的上车坐标。[0155] 根据孔口中心点95在上车坐标系中的坐标以及孔口中心点95在对孔坐标系中的坐标，可以确定上车坐标系相对于对孔坐标系绕上车回转中心轴的转角αh，由此确定出上车坐标系与对孔坐标系之间的转换关系，通常为转换矩阵。[0156] 利用上车坐标系与对孔坐标系之间的转换关系，可以计算出各关键点、中心点、映射点88、向量r等在对孔坐标系中的坐标值，尤其是点77、85、86、87、95、88的对孔坐标，也即确定了各相关工作部件、尤其是钻头8在对孔坐标系中的位姿信息。[0157] 进一步地，基于畸变校正过的图片，利用现有的计算机视觉算法、例如双目Slam算法，可以获得摄像头在上车坐标系里的位姿并且构建出钻机环境的稠密地图，并且借助上车坐标系与对孔坐标系之间的转换关系，可以获得摄像头在对孔坐标系里的位姿并且构建出对孔坐标系中孔洞9周围的环境稠密地图。[0158] 基于单目摄像头组合毫秒波雷达的状态检测方案中与前面针对基于单目摄像头的状态检测方案的示例性流程中相同或相似之处的描述被省略。[0159] 接下来描述基于激光雷达的一种示例性状态检测(监控)方法。需要指出，激光雷达能够单独得到三维点云。[0160] 首先，通过激光雷达得到三维点云。[0161] 接下来，借助现有的技术对三维点云进行识别(例如实例分割)和关键点检测，得到桅杆3、钻杆5、动力头7、钻头8、孔洞9或护筒以及各关键点在上车坐标系中的上车坐标。[0162] 接下来，通过孔洞9或护筒上关键点的上车坐标，估算出孔口中心点95的上车坐标。[0163] 接下来，通过下式两种方式之一估算出钻杆中心轴在上车坐标系里的方向和定位点：[0164] (a)利用钻杆5的边缘轮廓的上车坐标；[0165] (b)利用动力头8上关键点的上车坐标以及关键点与钻杆中心轴之间的机械(几何)约束关系。[0166] 接下来，通过下式两种方式之一得到各中心点77、85、86的上车坐标：[0167] (a)利用关键点75、76、81、82、83、84的上车坐标；[0168] (b)利用三组点(75和76)、(81和82)、(83和84)各自所在圆上分别任取的一个第三点的上车坐标以及该第三点与钻杆中心轴之间的机械(几何)约束关系。[0169] 接下来，计算出钻头中心轴80在所述参考平面中的映射点88的上车坐标。[0170] 根据孔口中心点95在上车坐标系中的坐标以及孔口中心点95在对孔坐标系中的坐标，可以确定上车坐标系相对于对孔坐标系绕上车回转中心轴的转角αh，由此确定出上车坐标系与对孔坐标系之间的转换关系，通常为转换矩阵。[0171] 利用上车坐标系与对孔坐标系之间的转换关系，可以计算出各关键点、中心点、映射点88、向量r等在对孔坐标系中的坐标值，尤其是点77、85、86、87、95、88的对孔坐标，也即确定了各相关工作部件、尤其是钻头8在对孔坐标系中的位姿信息。[0172] 进一步地，基于三维点云，利用现有的计算机视觉算法、例如激光Slam算法，可以获得摄像头在上车坐标系里的位姿并且构建出钻机环境的稠密地图，并且借助上车坐标系与对孔坐标系之间的转换关系，可以获得摄像头在对孔坐标系里的位姿并且构建出对孔坐标系中孔洞9周围的环境稠密地图。[0173] 基于激光雷达的状态检测方案中与前面针对基于单目摄像头的状态检测方案的示例性流程中相同或相似之处的描述被省略。[0174] 需要指出，尽管前面描述的例子中，主要利用钻头8和作为钻头关联部件代表的动力头7、桅杆3上的关键点来确定钻头8的姿势，但是也可以用钻头8和其它钻头关联部件(例如钻杆5)上的关键点来确定钻头8的姿势。[0175] 本申请的钻机状态检测(或称监控)方法借助图像采集装置和适配的算法实时确定出的钻头8的位姿(尤其是中心点位置以及中心轴指向)可以在钻机的各种控制程序(诸如轨迹规划、实时运动控制等)中被使用，尤其是与孔口中心点位置以及孔洞中心轴指向相比较，使得钻机再次下钻时尽可能使得钻头中心点与孔口中心点重合、且钻头中心轴指向与孔洞中心轴指向相同(或者说钻头中心轴与孔洞中心轴重合)。由此可以精确地执行各次钻孔循环动作。本申请实时确定的钻机其它部件的位姿也可以通过类似的方法确定并且被用于钻机的各种控制程序、诸如轨迹控制等中。[0176] 本领域技术人员可以根据具体应用场景对前面描述的状态检测方法的示例性流程中的细节、步骤(包括步骤的具体内容和执行次序)等做出各种适应性修改。[0177] 综合地讲，本申请涉及的钻机中包括控制单元(未示出)，其接收来自指令输入元件以及图像采集装置10的指令以及来自各执行元件、控制阀和传感器的反馈信号，控制钻机的液压系统主泵以及各执行元件、控制阀的动作。上面描述的状态检测方法可以设置在该控制单元中。控制单元基于图像采集装置10采集的信号执行前面描述的状态检测过程。[0178] 需要指出，由于对孔坐标系的Zh轴与孔洞中心轴90相交，因此，将钻头8、孔洞9(或护筒)以及其它部件的位姿、环境的稠密地图在对孔坐标系中表示可能更直观。但是，如前所述，钻头8、孔洞9(或护筒)以及其它部件的位姿、环境的稠密地图也可以在整车坐标系、甚至上车坐标系中构建出来，这对于实现某些钻机功能来说可能更加方便使用。因此，可以根据具体需要，选择对孔坐标系或整车坐标系、甚至上车坐标系作为表达上述信息的表达坐标系。[0179] 还需要指出，虽然前面的例子中是在上车坐标系中利用一些关键点的坐标来确定出钻头8、孔洞9(护筒)的位姿，但是也可以在其它坐标系(例如图像采集装置坐标系、整车坐标系、对孔坐标系)中利用一些关键点的坐标来确定出钻头8、孔洞9(护筒)的位姿。[0180] 本申请还提供了一种机器可读(计算机可读)存储介质，其存储有可执行指令，所述指令当被处理器执行时实现如上所述的状态检测方法。[0181] 本申请还提供了一种钻机、尤其是旋挖钻机，其包含前面描述的状态检测方案以及相关的结构。[0182] 根据本申请的状态检测方案，在钻机上添加能够直接感测钻头和孔洞信息的图像采集装置，并且基于图像采集装置采集的信息实时确定出钻头在表达坐标系中的位姿信息。如此确定的钻头位姿精度高，能够消除累计误差，从而提高钻孔精度。进一步地，还可能基于采集的信息确定出洞口周围的环境信息，诸如堆土信息等等。本申请基于图像采集装置直接感测的信息确定出来的钻头位姿信息(以及可能有的环境信息)，还可以被用于钻机的其它辅助控制方案(诸如自动轨迹控制等)中，有助于提高钻孔精度、效率，还有助于减轻机手的工作负担。进一步地，根据本申请的状态检测方案，还可以根据桅杆、动力头上的关键点的采集信息实时确定这些部件在表达坐标系中的位姿，这两个部件的位姿对于整车的自动控制也很重要。类似地，钻头底板的作动元件(压杆)的位置信息也可以被确定，并且可被用于整车的自动控制中。[0183] 虽然这里参考具体的实施方式描述了本申请，但是本申请的范围并不局限于所示的细节。在不偏离本申请的基本原理的情况下，可针对这些细节做出各种修改。