1.本发明涉及矿井打钻管理方法的技术领域，尤其是一种基于视频识别的矿井打钻智能管理方法。
背景技术：
2.矿井打钻是瓦斯治理、探放水的关键环节之一，确保实际打钻结果与设计参数一致是保证矿井瓦斯抽采及探放水达标的重要保障。目前在矿井打钻现场，通过安装矿用摄像仪，对打钻过程进行实时监控管理。打钻管理需要对当前钻点信息、打钻过程录像、退钻过程录像、打钻点钻杆数量等信息内容进行记录并存档。其中钻杆数量是判断打钻孔深的主要指标，每根钻杆长度为固定值，通过统计钻杆数量即可计算出打钻孔深，进而与设计参数进行对比，判断打钻孔深是否达标。目前现有矿井打钻管理方法依旧存在以下几点缺陷：
3.(1)打钻管理中首先需要对钻点信息进行记录，钻点信息包括施工地点、钻场编号、钻孔编号、开孔位置、设计方位角、设计倾角、设计孔径、设计孔深、钻机型号、钻杆类型等诸多信息，全部钻点信息需要井下施工人员通过语音对讲的方式告知地面值班人员，地面值班人员再进行手工录入。由于存在多个钻点同时施工，即占用了工作人员较多工作量，又存在因为对讲质量差，而信息录入不准确的问题；
4.(2)打钻管理中打钻过程、退钻过程均需视频录像单独保存，但打钻录像、退钻录像的开始与结束同样需要井下施工人员通过语音对讲的方式告知地面值班人员，地面值班人员再进行手动控制录像的起止时间；
5.(3)钻杆数量作为判断打钻孔深的主要指标，钻杆计数主要通过人工回看退钻录像计数，人工需要回看大量的退钻录像，增加了值班人员负担，容易因疲劳出现计数错误等问题。
技术实现要素：
6.本发明要解决的技术问题是：为了克服现有技术中存在的不足，提供一种基于视频识别的矿井打钻智能管理方法，解决钻点信息、打钻过程录像、退钻过程录像需要人工录入、人工控制起止时间的问题，同时解决钻杆计数需要通过人工回看退钻录像计数、占用大量人工时间并容易出现计数错误的问题。
7.本发明解决其技术问题所采用的技术方案是：一种基于视频识别的矿井打钻智能管理方法，具体步骤如下：
8.步骤1、前端矿用本安摄像仪获取打钻面实时视频流；
9.步骤2、视频数据通过工业环网传输到后端服务器上；
10.步骤3、后端服务器对视频进行分析处理，后端算法完成钻场标志牌内相关信息的识别并记录，完成退钻过程的钻杆计数。
11.进一步具体地限定，上述技术方案中，在步骤3中，后端服务器对视频流中标牌文字内容进行识别，根据识别的文字内容执行相应动作，具体步骤如下：
12.步骤3.1、开始，后端服务器对视频中的标牌文字内容进行识别；
13.步骤3.2、自动识别并保存钻点信息：当后端服务器不能识别到钻点信息标志牌，则回到步骤3.1；当后端服务器能够识别到钻点信息标志牌，则后端服务器对钻点信息标志牌文字内容进行识别并记录；
14.步骤3.3、自动识别并保存打钻过程录像：后端服务器识别到开始打钻标志牌，后端服务器开始对打钻标志牌进行录制；后端服务器识别到结束打钻标志牌，后端服务器结束对打钻视频的录制并保存；
15.步骤3.4、自动识别并保存退钻过程录像：后端服务器识别到开始退钻标志牌，后端服务器开始对退钻视频进行录制；后端服务器识别到结束退钻标志牌，后端服务器结束对退钻视频的录制并保存；
16.步骤3.5、自动钻杆计数并保存：后端服务器对退钻视频进行分析，获取钻杆数量并保存。
17.进一步具体地限定，上述技术方案中，在步骤3.5中，后端服务器收集大量施工人员在退钻过程中取杆时的数据，制作标签区分取杆的状态和未取杆的状态，并通过反向传播不断迭代优化模型，最终达到收敛，形成神经网络模型。然后使用训练好的神经网络模型对视频录像中的钻杆进行识别并计数。
18.进一步具体地限定，上述技术方案中，采用labelimg工具对所采集到的图片数据打标签，每一类相同的图片打上对应类别的标签。
19.本发明的有益效果是：本发明的一种基于视频识别的矿井打钻智能管理方法，可通过视频识别的方式，对打钻、退钻、钻点信息、钻杆计数等自动识别并保存，解决传统打钻视频监控系统中需要人工操作控制的问题，降低人工工作量，提高打钻系统的智能化。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明一种基于视频识别的矿井打钻智能管理方法的流程图；
22.图2是本发明一种基于视频识别的矿井打钻智能管理方法的原理图；
23.图3是本发明一种基于视频识别的矿井打钻智能管理方法的ocr文字识别效果示意图。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.见图1、图2和图3，本发明的一种基于视频识别的矿井打钻智能管理方法，包括前端矿用本安摄像仪、工业环网和后端服务器，其中前端矿用本安摄像仪适用于有瓦斯或煤
尘爆炸危险的煤矿井下，整体外壳及全部零件均采用不锈钢材料制成，具有很高的强度和稳定性。前端矿用本安摄像仪安装于井下打钻工作面并用于记录打钻工作面的视频图像，前端矿用本安摄像仪具备自动对焦、强光抑制、补光灯等功能；前端矿用本安摄像仪获取的视频再通过工业环网将数据传输至地面并保存录像，最后这些录像通过后端服务器进行算法分析。具体步骤如下：
26.步骤1、前端矿用本安摄像仪获取打钻面实时视频流，即井下矿用摄像仪生成实时视频流。
27.步骤2、视频数据通过工业环网传输到后端服务器上，即工学环网传输视频流。
28.步骤3、后端服务器获取视频流，后端服务器对视频进行分析处理，后端算法完成钻场标志牌内相关信息的识别并记录，完成退钻过程的钻杆计数。其中的后端算法也称为后端服务器算法，后端服务器算法主要完成对视频流中标牌文字内容进行识别，根据识别的文字内容执行相应操作。首先，依据数据集标注以及网络训练，后端服务器对视频中的标牌文字内容进行位置信息的定位与识别并保存钻点信息；其次，根据对标牌文字内容的识别，记录、保存打钻以及退钻过程的录像；最后后端服务器内置算法对退钻视频进行智能分析，获取钻杆数量并保存。
29.在步骤3中，后端服务器对视频流中标牌文字内容进行识别，根据识别的文字内容执行相应动作，具体步骤如下：
30.步骤3.1、开始，后端服务器对视频中的标牌文字内容进行识别。
31.步骤3.2、自动识别并保存钻点信息：钻点信息包括施工地点、钻场编号、钻孔编号、开孔位置、设计方位角、设计倾角、设计孔径、设计孔深、钻机型号、钻杆类型等。当后端服务器不能识别到钻点信息标志牌，则回到步骤3.1；当后端服务器能够识别到钻点信息标志牌，则后端服务器对钻点信息标志牌文字内容进行识别并记录；具体地，当后端服务器识别到井下施工人员在前端矿用本安摄像仪镜头前出示“钻点信息”标志牌后，进行ocr文字识别，自动记录“钻点信息”标志牌上全部钻点信息。ocr文字识别是指电子设备(例如摄像仪或扫描仪或数码相机)检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程，即对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。
32.步骤3.3、自动识别并保存打钻过程录像：后端服务器识别到开始打钻标志牌，后端服务器开始对打钻标志牌进行录制；具体地，当后端服务器识别到井下施工人员在前端矿用本安摄像仪镜头前出示“开始打钻”标志牌后，进行ocr文字识别，自动开始打钻视频的录制；后端服务器识别到结束打钻标志牌，后端服务器结束对打钻视频的录制并保存；具体地，当后端服务器识别到井下施工人员在前端矿用本安摄像仪镜头前出示“结束打钻”标志牌后，进行ocr文字识别，自动结束打钻视频的录制并保存。
33.步骤3.4、自动识别并保存退钻过程录像：后端服务器识别到开始退钻标志牌，后端服务器开始对退钻视频进行录制；具体地，当后端服务器识别到井下施工人员在前端矿用本安摄像仪镜头前出示“开始退钻”标志牌后，进行ocr文字识别，自动开始退钻视频的录制；后端服务器识别到结束退钻标志牌，后端服务器结束对退钻视频的录制并保存；具体地，当后端服务器识别到井下施工人员在前端矿用本安摄像仪镜头前出示“结束退钻”标志牌后，进行ocr文字识别，自动结束退钻视频的录制并保存。
34.步骤3.1～3.4的目的是解决传统打钻视频监控系统中钻点信息、打钻过程录像、退钻过程录像需要人工录入、人工控制起止时间的问题，提供了基于视频识别的自动识别并保存的方案。
35.步骤3.5、后端服务器对退钻视频进行分析，获取钻杆数量并保存；具体地，后端服务器收集大量施工人员在退钻过程中取杆时的数据，制作标签区分取杆的状态和未取杆的状态，并通过反向传播不断迭代优化模型，最终达到收敛，形成神经网络模型。然后使用训练好的神经网络模型对视频录像中的钻杆进行识别并计数，即每逢取杆时，退杆计数加1。需要说明的是：一、对于如何制作标签，是采用labelimg工具对所采集到的图片数据打标签，每一类相同的图片打上对应类别的标签。二、对于“通过反向传播不断迭代优化模型，最终达到收敛，形成神经网络模型”的含义是，采用深度卷积神经网络作为识别算法基础，神经网络的训练过程需要经过反向传播不断迭代优化，最终使得网络模型达到稳定，即网络收敛，从而依据该网络模型进行测试，得到良好的识别效果。
36.步骤3.5的目的是解决传统打钻视频监控系统中钻杆计数需要通过人工回看退钻录像计数、占用大量人工时间并容易出现计数错误的问题，提供了基于视频识别的自动钻杆计数并保存的方案。
37.当有视频流输入时，基于此前所做的目标检测算法，后端服务器对视频中的标牌文字内容进行识别并自动执行相应操作，如当视频中出现“开始打钻”字样，后台服务器则进行识别文字信息，并开始记录开始打钻后的视频，当视频中出现“停止打钻”字样，后台服务器停止录像。同理，当后端服务器识别到井下施工人员出示“开始退钻”标志牌后，进行ocr文字识别，自动开始打钻视频的录制并进行钻杆计数，计数原理为后端服务器收集大量施工人员在退钻过程中取杆时的数据，制作标签区分取杆的状态和未取杆的状态，并通过反向传播不断迭代优化网络模型，最终使得模型稳定用于退杆过程的钻杆计数。最后，后端服务器识别到结束打钻标志牌，后端服务器结束对打钻视频的录制并保存。
38.本发明的一种基于视频识别的矿井打钻智能管理方法，可通过视频识别的方式，对打钻、退钻、钻点信息、钻杆计数等自动识别并保存，解决传统打钻视频监控系统中需要人工操作控制的问题，降低人工工作量，提高打钻系统的智能化，具体如下：
39.一、可通过分析视频，对“钻点信息”标志牌进行智能识别，自动记录钻点相关信息，无需人为手动录入；
40.二、可通过分析视频，对“开始打钻”标志牌和“结束打钻”标志牌进行智能识别，自动控制打钻视频的录制，无需人为手动操作；
41.三、可通过分析视频，对“开始退钻”标志牌和“结束退钻”标志牌进行智能识别，自动控制退钻视频的录制，无需人为手动操作；
42.四、通过自动分析退钻录像视频，对钻杆数量进行统计，无需人工计数；
43.本发明中以研究卸杆录像为主，针对一定时长的视频流，传统方法主要是以人工查看卸杆视频录像计数为主，整个视频的识别时长为需要读取的、未经处理的卸杆视频长度；识别钻杆计数主要通过人工回看退钻录像计数，人工需要回看大量的退钻录像，增加了值班人员负担，容易因疲劳出现计数错误的问题，识别准确率一般为0.95左右。本发明提供一种基于视频识别的矿井打钻智能管理方法，分类检测精度可达到0.95，同时可以对井下视频进行实时检测，并且检测录制的视频时间相对于传统的人工可以节省一倍。本发明解
决了钻点信息、打钻过程录像、退钻过程录像需要人工录入、人工控制起止时间的问题，同时解决钻杆计数需要通过人工回看退钻录像计数、占用大量人工时间并容易出现计数错误的问题。
44.五、上述识别钻点信息—开始打钻—结束打钻—开始退钻—结束退钻为打钻、退钻的完整流程，若其中某一环节丢失，可发出报警提示，提醒工作人员核对。具体地，若检测到完整流程中某一环节丢失，服务器端可发出报警提示：打钻某某环节丢失，清注意检查。
45.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。技术特征：
1.一种基于视频识别的矿井打钻智能管理方法，其特征是，具体步骤如下：步骤1、前端矿用本安摄像仪获取打钻面实时视频流；步骤2、视频数据通过工业环网传输到后端服务器上；步骤3、后端服务器对视频进行分析处理，后端算法完成钻场标志牌内相关信息的识别并记录，完成退钻过程的钻杆计数。2.根据权利要求1所述的一种基于视频识别的矿井打钻智能管理方法，其特征是：在步骤3中，后端服务器对视频流中标牌文字内容进行识别，根据识别的文字内容执行相应动作，具体步骤如下：步骤3.1、开始，后端服务器对视频中的标牌文字内容进行识别；步骤3.2、自动识别并保存钻点信息：当后端服务器不能识别到钻点信息标志牌，则回到步骤3.1；当后端服务器能够识别到钻点信息标志牌，则后端服务器对钻点信息标志牌文字内容进行识别并记录；步骤3.3、自动识别并保存打钻过程录像：后端服务器识别到开始打钻标志牌，后端服务器开始对打钻标志牌进行录制；后端服务器识别到结束打钻标志牌，后端服务器结束对打钻视频的录制并保存；步骤3.4、自动识别并保存退钻过程录像：后端服务器识别到开始退钻标志牌，后端服务器开始对退钻视频进行录制；后端服务器识别到结束退钻标志牌，后端服务器结束对退钻视频的录制并保存；步骤3.5、自动钻杆计数并保存：后端服务器对退钻视频进行分析，获取钻杆数量并保存。3.根据权利要求2所述的一种基于视频识别的矿井打钻智能管理方法，其特征是：在步骤3.5中，后端服务器收集大量施工人员在退钻过程中取杆时的数据，制作标签区分取杆的状态和未取杆的状态，并通过反向传播不断迭代优化模型，最终达到收敛，形成神经网络模型。然后使用训练好的神经网络模型对视频录像中的钻杆进行识别并计数。4.根据权利要求3所述的一种基于视频识别的矿井打钻智能管理方法，其特征是：采用labelimg工具对所采集到的图片数据打标签，每一类相同的图片打上对应类别的标签。
技术总结
本发明公开了一种基于视频识别的矿井打钻智能管理方法，具体步骤如下：步骤1、前端矿用本安摄像仪获取打钻面实时视频流；步骤2、视频数据通过工业环网传输到后端服务器上；步骤3、后端服务器对视频进行分析处理，后端算法完成钻场标志牌内相关信息的识别并记录，完成退钻过程的钻杆计数。该基于视频识别的矿井打钻智能管理方法，解决钻点信息、打钻过程录像、退钻过程录像需要人工录入、人工控制起止时间的问题，同时解决钻杆计数需要通过人工回看退钻录像计数、占用大量人工时间并容易出现计数错误的问题。误的问题。误的问题。
技术研发人员：吴航海 姚超修 胡亚磊 郝东波 武福生 蒋泽 谢浩 蒋志龙 陈佩佩 王琪 徐晓华
受保护的技术使用者：中煤科工集团常州研究院有限公司
技术研发日：2021.07.05
技术公布日：2021/10/29
声明：
“基于视频识别的矿井打钻智能管理方法与流程” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
973
编辑：中冶有色技术网
来源：中煤科工集团常州研究院有限公司
分享 0
举报 0
收藏 0
反对 0
点赞 0
中冶有色技术平台
2024年12月13日 ~ 15日 
