无人矿山全域智能监测系统

权利要求

1.无人矿山全域智能监测系统，其特征在于，所述系统包括：中心云端、边缘端、作业设备端；其中，所述中心云端与所述边缘端、所述作业设备端通信连接，所述边缘端与所述作业设备端通信连接； 所述中心云端，用于向所述作业设备端发送环境数据，以及用于根据预设生产规则和所述环境数据，分别向所述边缘端与所述作业设备端发送作业指令； 所述边缘端，用于获取所述作业设备端根据所述作业指令执行作业后的作业数据，以及获取所述作业设备端的作业环境的环境数据； 所述中心云端，还用于根据所述作业数据，调用对应的分析模型，获取矿山监测结果，其中，所述分析模型根据所述预设生产规则、所述环境数据、所述作业数据进行训练优化。2.如权利要求1所述的无人矿山全域智能监测系统，其特征在于，所述边缘端包括下述一种或多种：目标感知与理解边缘子系统、功能区智能监测边缘子系统、生产环境监测边缘子系统、智能路侧协同边缘子系统；其中， 所述目标感知与理解边缘子系统，用于感知和预测障碍物信息； 所述功能区智能监测边缘子系统，用于监测指定区域的现场数据，所述现场数据包括所述指定区域的作业状态； 所述生产环境监测边缘子系统，用于监测作业环境数据，所述作业环境数据包括：地面数据、挡墙数据、边坡数据、天气数据； 所述智能路侧协同边缘子系统，用于根据所述作业指令支持控制和调度管理，以及用于根据所述障碍物信息、所述现场数据、所述作业环境数据对所述边缘端中除所述智能路侧协同边缘子系统之外的其他子系统和/或所述作业设备端进行控制和调度管理。 3.如权利要求2所述的无人矿山全域智能监测系统，其特征在于，所述作业设备端包括：矿车端、辅助作业端； 所述生产环境监测边缘子系统包括相机和/或激光雷达，具体用于通过所述相机和/或所述激光雷达扫描作业区域的路面，获取所述作业区域的路面平整信息；并在所述路面平整信息指示路面不满足平整条件时，向所述辅助作业端发送运维指令； 所述生产环境监测边缘子系统包括还包括用于检测作业环境的天气数据的传感器，具体用于通过所述用于检测作业环境的天气数据的传感器监测作业环境的温度、湿度、风向、风速、天气。 4.如权利要求2所述的无人矿山全域智能监测系统，其特征在于，所述功能区智能监测边缘子系统包括图像采集设备和/或激光雷达，具体用于采集所述指定区域的现场图像和/或所述指定区域的点云数据作为所述现场数据，通过预设算法分析所述现场图像和/或所述指定区域的点云数据，确定所述指定区域是否有违规作业；以及根据所述现场图像和/或所述指定区域的点云数据所述指定区域进行实时的占用分析、场景识别、作业进度分析，获取分析结果。 5.如权利要求3所述的无人矿山全域智能监测系统，其特征在于，所述中心云端与所述边缘端之间采用多模式通信，以根据待传输数据的大小切换通信模式。 6.如权利要求3所述的无人矿山全域智能监测系统，其特征在于，所述中心云端与所述边缘端之间采用多模式通信，以根据待传输数据的时效需求切换通信模式。 7.如权利要求1所述的无人矿山全域智能监测系统，其特征在于，所述边缘端还包括：系统运行监测子系统； 所述系统运行监测子系统用于监测所述边缘端中各子系统的运行状态；根据所述运行状态确定所述边缘端中各子系统是否存在异常，并将异常信息传输至所述中心云端。 8.如权利要求7所述的无人矿山全域智能监测系统，其特征在于，所述边缘端还包括：提示子系统； 所述提示子系统用于在所述系统运行监测子系统确定所述边缘端中各子系统存在异常的情况下，输出提示信息。 9.如权利要求1-8任一项所述的无人矿山全域智能监测系统，其特征在于，所述中心云端还用于存储所述环境数据和所述作业数据、监测所述边缘端和所述作业设备端的运行、配置管理所述中心云端、所述边缘端和所述作业设备端、对所述边缘端和所述作业设备端进行远程更新。

说明书

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种无人矿山全域智能监测系统。

背景技术

随着科学技术的发展，现在工矿行业已经进入了物联网时代，相关技术人员可以通过物联网对作业环境和各作业设备进行监测和调度。

相关技术中，在工矿行业的作业过程中，相关技术人员可以通过在各作业设备上安装传感器或摄像头以监测各作业设备的作业信息，比如，在各作业设备的作业路径上是否存在障碍物或监测各作业设备的移动速度。另外，相关技术人员还可以通过在作业环境中安装传感器以实时监测作业环境的环境信息，比如可以作业环境的温度或湿度，然后将监测到的环境信息发送给各作业设备。各作业设备可以根据作业信息和环境信息调整当前正在执行的作业任务。

由于在实际的作业过程中，作业环境中可能出现的异常情况和各作业设备可能遇到的紧急情况十分复杂，然而，相关技术的方案中检测方式较为单一，并且只能由各作业设备调整自身的作业任务。因此，相关技术的方案存在对工矿行业的作业过程监测不完善、不准确的问题，进而导致对各作业设备的管理可靠性较差、效率较低的问题。

发明内容

本申请的目的在于提供一种无人矿山全域智能监测系统，可以提高对作业过程监测的准确性和全面性，进而可以达到提高对各作业设备的管理可靠性和效率的效果。

本申请的实施例是这样实现的：

本申请实施例的第一方面，提供一种无人矿山全域智能监测系统，所述系统包括：中心云端、边缘端、作业设备端；其中，所述中心云端与所述边缘端、所述作业设备端通信连接，所述边缘端与所述作业设备端通信连接；

所述中心云端，用于向所述作业设备端发送环境数据，以及用于根据预设生产规则和所述环境数据，分别向所述边缘端与所述作业设备端发送作业指令；

所述边缘端，用于获取所述作业设备端根据所述作业指令执行作业后的作业数据，以及获取所述作业设备端的作业环境的环境数据；

所述中心云端，用于根据所述作业数据，调用对应的分析模型，获取矿山监测结果，其中，所述分析模型根据所述预设生产规则、所述环境数据、所述作业数据进行训练优化。

可选地，所述边缘端包括下述一种或多种：目标感知与理解边缘子系统、功能区智能监测边缘子系统、生产环境监测边缘子系统、智能路侧协同边缘子系统；

其中，所述目标感知与理解边缘子系统，用于感知和预测障碍物信息；

所述功能区智能监测边缘子系统，用于监测指定区域的现场数据，所述现场数据包括所述指定区域的作业状态；

所述生产环境监测边缘子系统，用于监测作业环境数据，所述作业环境数据包括：地面数据、挡墙数据、边坡数据、天气数据；

所述智能路侧协同边缘子系统，用于根据所述作业指令支持控制和调度管理，以及用于根据所述障碍物信息、所述现场数据、所述作业环境数据对所述边缘端中除所述智能路侧协同边缘子系统之外的其他子系统和/或所述作业设备端进行控制和调度管理。

可选地，所述作业设备端包括：矿车端、辅助作业端；

所述生产环境监测边缘子系统包括相机和/或激光雷达，具体用于通过所述相机和/或所述激光雷达扫描作业区域的路面，获取所述作业区域的路面平整信息；并在所述路面平整信息指示路面不满足平整条件时，向所述辅助作业端发送运维指令；

所述生产环境监测边缘子系统包括还包括用于检测作业环境的天气数据的传感器，具体用于通过所述用于检测作业环境的天气数据的传感器监测作业环境的温度、湿度、风向、风速、天气。

可选地，所述功能区智能监测边缘子系统包括图像采集设备和/或激光雷达，具体用于采集所述指定区域的现场图像和/或所述指定区域的点云数据作为所述现场数据，通过预设算法分析所述现场图像和/或所述指定区域的点云数据，确定所述指定区域是否有违规作业；以及根据所述现场图像和/或所述指定区域的点云数据所述指定区域进行实时的占用分析、场景识别、作业进度分析，获取分析结果。

可选地，所述中心云端与所述边缘端之间采用多模式通信，以根据待传输数据的大小切换通信模式。

可选地，所述中心云端与所述边缘端之间采用多模式通信，以根据待传输数据的时效需求切换通信模式。

可选地，所述边缘端还包括：系统运行监测子系统；

所述系统运行监测子系统用于监测所述边缘端中各子系统的运行状态；根据所述运行状态确定所述边缘端中各子系统是否存在异常，并将异常信息传输至所述中心云端。

可选地，所述边缘端还包括：提示子系统；

所述提示子系统用于在所述系统运行监测子系统确定所述边缘端中各子系统存在异常的情况下，输出提示信息。

可选地，所述中心云端还用于存储所述环境数据和所述作业数据、监测所述边缘端和所述作业设备端的运行、配置管理所述中心云端、所述边缘端和所述作业设备端、对所述边缘端和所述作业设备端进行远程更新。

本申请实施例的有益效果包括：

本申请实施例提供的一种无人矿山全域智能监测系统，在无人矿山全域智能监测系统中设置有中心云端、边缘端、作业设备端。通过边缘端监测作业设备端中的各作业设备的作业数据和作业设备端的作业环境的环境数据，并且该环境数据可以包括作业设备端的作业环境的温度、湿度、风向、风速、天气、作业设备端的作业环境中供各作业设备行驶或移动的道路、道路上存在的障碍物、作业设备端的作业环境中供各作业设备停放或安装的区域，该作业数据可以包括作业设备端中的各作业设备的实时速度、实时行驶路线、实时装载量、实时温度。这样，就可以实时、精确、全面地对工矿行业的作业过程和作业环境进行监测。

另外，通过中心云端根据该作业数据，调用对应的分析模型，获取矿山监测结果，根据预设生产规则和环境数据，分别向边缘端与作业设备端发送作业指令，中心云端还可以根据该作业数据，调用对应的分析模型，获取矿山监测结果，进而根据该矿山监测结果生成作业指令，并将该作业指令实时发送给作业设备端。这样就可以及时地根据边缘端监测或获取的数据对作业设备端进行调度或控制。另外，这样还可以实现由中心云端根据边缘端获取到的数据对作业设备端进行自动化控制，这就大大提高了对各作业设备的管理效率。

如此，可以提高对作业过程监测的准确性和全面性，进而可以达到提高对各作业设备的管理可靠性和效率的效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的第一种无人矿山全域智能监测系统的结构示意图；

图2为本申请实施例提供的第二种无人矿山全域智能监测系统的结构示意图；

图3为本申请实施例提供的第三种无人矿山全域智能监测系统的结构示意图；

图4为本申请实施例提供的第四种无人矿山全域智能监测系统的结构示意图；

图5为本申请实施例提供的第五种无人矿山全域智能监测系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在相关技术中，在工矿行业的作业过程中，相关技术人员可以通过在各作业设备上安装传感器或摄像头以监测各作业设备的作业信息，比如，在各作业设备的作业路径上是否存在障碍物或监测各作业设备的移动速度。另外，相关技术人员还可以通过在作业环境中安装传感器以实时监测作业环境的环境信息，比如可以作业环境的温度或湿度，然后将监测到的环境信息发送给各作业设备。各作业设备可以根据作业信息和环境信息调整当前正在执行的作业任务。由于在实际的作业过程中，作业环境中可能出现的异常情况和各作业设备可能遇到的紧急情况十分复杂，然而，相关技术的方案中检测方式较为单一，并且只能由各作业设备调整自身的作业任务。因此，相关技术的方案存在对工况行业的作业过程监测不完善、不准确的问题，进而导致对各作业设备的管理可靠性较差、效率较低的问题。

为此，本申请实施例提供了无人矿山全域智能监测系统，以提高对作业过程监测的准确性和全面性，进而可以达到提高对各作业设备的管理可靠性和效率的效果。

本申请实施例以应用在工矿行业中的无人矿山全域智能监测系统为例进行说明。但不表明本申请实施例仅能应用于工矿行业进行监测管理。

下面对本申请实施例提供的无人矿山全域智能监测系统进行详细地解释说明。

图1为本申请提供的一种无人矿山全域智能监测系统的结构示意图，参见图1，本申请实施例提供一种无人矿山全域智能监测系统，该系统包括：中心云端101、边缘端102、作业设备端103。

其中，中心云端101与边缘端102、作业设备端103通信连接，边缘端102与作业设备端103通信连接。

可选地，中心云端101用于向作业设备端103发送环境数据，以及用于根据预设生产规则和该环境数据，分别向边缘端102与作业设备端103发送作业指令。

其中，预设生产规则可以预配置有需要执行的任务、任务环境、任务模式等，在此不作限制，环境数据可以与预设生产规则匹配，但也不以此为限，环境数据可以影响中心云端101具体发出的作业指令等。

边缘端102用于获取作业设备端103根据该作业指令执行作业后的作业数据。

进而中心云端101还用于根据该作业数据，调用对应的分析模型，获取矿山监测结果。

其中，中心云端101可以是具有处理、控制和存储功能的计算机设备。该计算机设备可以是任意终端设备或服务器，本申请实施例对此不做限定。

可选地，边缘端102可以是一个由至少一个子系统组成的系统。边缘端102具体可以包括各种采集装置、通信装置、定位装置、计算装置、授时装置、供电装置等电子装置。

示例性地，边缘端102中可以包括温度传感器、湿度传感器、红外传感器、速度传感器、激光雷达传感器、图像采集设备等一种或多种采集装置，也可以包括支持5G通信的通信模块、支持V2X(Vehicle to Everything)技术的通信模块、支持消息队列遥测传输(Message Queuing Telemetry Transport，简称MQTT)协议的通信模块，还可以包括支持全球定位系统(Global Positioning System，简称GPS)的定位装置或支持北斗卫星导航系统(BeiDou Navigation Satellite System，简称BDS)的定位装置。

边缘端102中还可以包括微控制单元(Microcontroller Unit，简称MCU)等计算装置和任意可以为该无人矿山全域智能监测系统提供精准的授时功能的授时装置。

另外，可以由直流电池或发电设备为边缘端102供电，也可以直接由市电直接为边缘端102供电，本申请实施例对此不做限定。

可选地，作业设备端103可以包括各种各样的适用于工矿行业的作业设备，比如，负责运输任务的矿车和负责挖掘等辅助任务的机械设备，本申请实施例对此不做限定。

一般地，各作业设备可以是无人设备，也可以是需要相关技术人员进行操作的设备。

另外，边缘端102还可以用于获取作业设备端103的作业环境的环境数据。

并且，在边缘端102获取到该作业设备和/或该环境数据的情况下，边缘端102可以将该作业数据和/或该环境数据发送给中心云端101。

该环境数据可以包括作业设备端103的作业环境的温度、湿度、风向、风速、天气、作业设备端103的作业环境中供各作业设备行驶或移动的道路、道路上存在的障碍物、道路是否结冰或存在积水、作业设备端103的作业环境中供各作业设备停放或安装的区域等数据。当然，该环境数据还可以包括其他任意可能的数据，本申请实施例对此不做限定。

该预设生产规则可以是由相关技术人员提前设置的适用于工矿行业的生产规则。该预设生产规则可以包括与作业设备端103中各作业设备对应的作业任务。该作业任务可以用于指示各作业设备的作业对象、作业类型、作业起始时间、作业终止时间、作业起点、作业终点和/或作业路线，本申请实施例对此不做限定。

若作业设备为无法移动的负责辅助任务的机械设备，那么该作业任务中可以仅包括作业对象、作业类型、作业起始时间、作业终止时间，本申请实施例对此不做限定。

可选地，该作业指令用于指示或控制作业设备端103中的各作业设备执行相应的作业任务。该作业指令可以仅指示或控制作业设备端103中的一个作业设备，也可以同时指示或控制作业设备端103中的多个作业设备。

可选地，该作业数据可以包括作业设备端103中的各作业设备的实时速度、实时行驶路线、实时装载量、实时温度或其他任意可能的数据。

可选地，该分析模型可以是基于长短期记忆(Long short-term memory，简称LSTM)的循环神经网络模型，具体可以根据分析需求，采用预设的样本数据训练获取。例如，针对无人矿车的作业流程是有一定时序关系的，那么，该分析模型也可以是用于进行时序关联分析的神经网络模型，本申请实施例对此不做限定。

该分析模型可以是一个单一模型，也可以是一个具有多个子模型的组合模型，各子模型可以分别实现不同的功能。

另外，该矿山监测结果可以是根据边缘端102获取的作业数据生成的用于指示该环境数据和该作业数据的结果。比如，该矿山监测结果可以用于指示作业设备端103的作业环境当前的温度、湿度、风向、风速、天气、作业设备端103的作业环境中供各作业设备行驶或移动的道路是否平整、道路上是否存在障碍物、作业设备端103的作业环境中供各作业设备停放或安装的区域是否有空余位置、各作业设备的实时速度、实时行驶路线、实时装载量、实时温度等信息。

该分析模型可以根据该预设生产规则、该环境数据、该作业数据进行训练优化。

示例性地，中心云端101可以根据该预设生产规则、该环境数据、该作业数据进行感知、调度、决策、规划、控制、预测、仿真等，以实现对该分析模型进行训练优化。这样，可以及时地根据边缘端102获取到的该环境数据、该作业数据对该分析模型进行优化，进而可以达到提升获取该矿山监测结果的准确性的效果。

中心云端101还可以根据该矿山监测结果生成该作业指令，并将该作业指令实时发送给作业设备端103。这样，就可以及时地根据边缘端102监测或获取的数据对作业设备端103进行调度或控制。

作业设备端103还可以根据该环境数据和/或该作业数据对自身进行调度或控制。

示例性地，若该环境数据指示作业设备端103的作业环境中供各作业设备行驶或移动的一条道路上存在障碍物，在中心云端101将该环境数据发送给作业设备端103的情况下，作业设备端103中的各个作业设备就可以调整各个作业设备的行驶路线，以绕开这条存在障碍物的道路。

又例如，在中心云端101收到边缘端102采集到的作业环境中各个区域的相关技术人员和矿车、挖掘机、洒水车等作业设备的3D位姿、语义标签、预测轨迹等信息时，中心云端101可以通过调用该分析模型中的动态目标碰撞预警子模型对各作业设备之间的碰撞风险进行评估，如果评估之后确定相关作业设备之间存在碰撞风险，将实时给相关作业设备下达碰撞告警标识、建议速度等信息，并且中心云端101可以通过调用该分析模型中的拥堵检测子模型对作业环境中的装载区域、卸载区域、破碎站等区域进行拥堵状况的分析。这样，中心云端101就可以根据各区域的拥堵情况及时调整各作业设备的作业任务，并给各作业设备下发更新后的作业路径信息，以提升对各作业设备的管理效率。

另外，中心云端101可以通过调用相应的分析模型来结合高精度地图，汇总边缘端102上传的作业环境中的道路上各作业设备的语义类别信息、3D位姿、速度、预测轨迹等信息，并通过该分析模型形成动态交通图层，然后结合各作业设备的位置，实时下发在其作业环境附近的目标的位置信息和碰撞风险，让无人矿车能够实现超视距感知，提前调整行驶路径或者速度等进行避让。

在本申请实施例中，在无人矿山全域智能监测系统中设置有中心云端101、边缘端102、作业设备端103。通过边缘端102监测作业设备端103中的各作业设备的作业数据和作业设备端103的作业环境的环境数据，并且该环境数据可以包括作业设备端103的作业环境的温度、湿度、风向、风速、天气、作业设备端103的作业环境中供各作业设备行驶或移动的道路、道路上存在的障碍物、作业设备端103的作业环境中供各作业设备停放或安装的区域，该作业数据可以包括作业设备端103中的各作业设备的实时速度、实时行驶路线、实时装载量、实时温度。这样，就可以实时、精确、全面地对工矿行业的作业过程和作业环境进行监测。

另外，通过中心云端101根据该作业数据，调用对应的分析模型，获取矿山监测结果，根据预设生产规则和环境数据，分别向边缘端102与作业设备端103发送作业指令，中心云端101还可以根据该作业数据，调用对应的分析模型，获取矿山监测结果，进而根据该矿山监测结果生成作业指令，并将该作业指令实时发送给作业设备端103。这样就可以及时地根据边缘端102监测或获取的数据对作业设备端103进行调度或控制。另外，这样还可以实现由中心云端101根据边缘端102获取到的数据对作业设备端103进行自动化控制，这就大大提高了对各作业设备的管理效率。

如此，可以提高对作业过程监测的准确性和全面性，进而可以达到提高对各作业设备的管理可靠性和效率的效果。

一种可能的实现方式中，在图1的基础上，参见图2，边缘端102包括下述一种或多种：目标感知与理解边缘子系统1021、功能区智能监测边缘子系统1022、生产环境监测边缘子系统1023、智能路侧协同边缘子系统1024。

其中，目标感知与理解边缘子系统1021可以用于感知和预测障碍物信息。

功能区智能监测边缘子系统1022可以用于监测指定区域的现场数据。

生产环境监测边缘子系统1023可以用于监测作业环境数据。

智能路侧协同边缘子系统1024可以用于根据该作业指令支持控制和调度管理。

上述的环境数据可以包括该障碍物信息、该现场数据以及该作业环境数据。

可选地，该现场数据包括该指定区域的作业状态。该指定区域的作业状态可以用于指示该指定区域是否被占用、该指定区域正在进行的作业任务的进度、该指定区域是否为相关技术人员提前设置的任一区域。该指定区域的作业状态还可以用于指示该指定区域的名称、编号等信息，本申请实施例对此不做限定。

可选地，该作业环境数据可以包括：地面数据、挡墙数据、边坡数据、天气数据。该地面数据可以用于指示地面是否凹陷、地面是否塌陷、道路是否结冰或存在积水。该挡墙数据可以用于指示挡墙是否塌方。该边坡数据可以用于指示边坡是否滑坡。该天气数据包括作业环境的温度、湿度、风向、风速、天气等。

可选地，目标感知与理解边缘子系统1021可以对该作业环境中，比如露天矿场中的运输道路、交汇路口、装卸载区、山体遮挡盲区、充电区、加油区、停车区等区域进行障碍物感知。比如，目标感知与理解边缘子系统1021可以感知各区域中是否存在影响作业设备端103中的各作业设备行驶、移动或作业的障碍物。

目标感知与理解边缘子系统1021还可以感知障碍物的尺寸、形状等几何参数。具体地，可以通过图像分割算法和语义识别算法对障碍物进行感知，本申请实施例对此不做限定。

另外，目标感知与理解边缘子系统1021还可以对露天矿山中任一区域中的任一目标进行运动预测。各目标可以包括作业设备端103中的各作业设备，还可以包括该作业环境中其他的行人、动物或其他物体。

具体地，可以通过光流算法进行运动预测，本申请实施例对此不做限定。

可选地，该指定区域可以是由相关技术人员提前设置的上述该作业环境中的至少一个区域，比如露天矿场中的装卸载区。

该现场数据可以包括该指定区域的图像，以及根据该指定区域的图像分析得到的信息，本申请实施例对此不做限定。

功能区智能监测边缘子系统1022可以用于对该指定区域进行实时的占用分析、场景识别、作业进度分析。

示例性地，功能区智能监测边缘子系统1022可以分析露天矿场中的装卸载区是否被占用，也可以分析露天矿场中的装卸载区正在进行的作业任务的进度、功能区智能监测边缘子系统1022还可以识别出该指定区域是否为露天矿场中的装卸载区或是否为相关技术人员提前设置的任一区域。

可以通过对露天矿场中的装卸载区中待装载对象的数量或待卸载对象的数量进行分析以确定正在进行的作业任务的进度，本申请实施例对此不做限定。

可选地，生产环境监测边缘子系统1023具体可以用于负责对该作业环境中的地面、挡墙、边坡等重点区域实时监测。例如，可以监测地面是否凹陷、地面是否塌陷、挡墙是否塌方、边坡是否滑坡。

生产环境监测边缘子系统1023具体可以监测作业环境的该环境数据，如温度、湿度、风向、风速、天气等数据。

生产环境监测边缘子系统1023可以部署有相机、激光雷达、毫米波雷达、气象传感器等设备，对露天矿山的路面、挡墙、边坡、天气等进行重点监测，以提供地面塌方、凹坑检测、边坡滑坡、恶劣天气等信息的预警服务。

另外，生产环境监测边缘子系统1023可以直接将监测到的该环境数据或作业环境数据发送给当前位于对应区域的各作业设备，也可以将监测到的该环境数据或作业环境数据发送给中心云端101，并由中心云端101再生成相应的作业指令发送给当前位于对应区域的各作业设备，本申请实施例对此不做限定。

可选地，智能路侧协同边缘子系统1024还可以用于根据该障碍物信息、该现场数据、该作业环境数据对边缘端102中除智能路侧协同边缘子系统1024之外的其它子系统和/或作业设备端103进行控制和调度管理。

示例性地，智能路侧协同边缘子系统1024可以根据边缘端102的实时环境感知数据，结合中心云端101对作业设备端103中的各作业设备下发的作业指令，完成对作业设备端103中的各作业设备的环境感知辅助、决策规划和引导控制。智能路侧协同边缘子系统1024还可以根据各作业设备的作业路线、作业终点、行驶速度以及无信号灯的区域的交通流状态，对无信号灯的区域的交通进行调度管理，本申请实施例对此不做限定。

值得说明的是，通过边缘端102中的目标感知与理解边缘子系统1021、功能区智能监测边缘子系统1022、生产环境监测边缘子系统1023、智能路侧协同边缘子系统1024对作业环境中的各个区域进行障碍物感知、运动预测、占用分析、场景识别、作业进度分析以及监测该作业环境数据和该环境数据，可以实时、精确、全面地对工矿行业的作业过程和作业环境进行监测，并且边缘端102中的各子系统可以将监测到的数据或信息发送给中心云端101，中心云端101就可以及时地根据边缘端102监测或获取的数据对作业设备端103进行调度或控制。

一种可能的实现方式中，在图2的基础上，参见图3，作业设备端103包括：矿车端1031、辅助作业端1032。

可选地，矿车端1031中包括负载运输任务的矿车。辅助作业端1032中包括负责辅助任务的机械设备，比如负责辅助挖掘任务的装载机、负责修整路面任务的铲运机等。

生产环境监测边缘子系统1023包括相机和/或激光雷达，具体用于通过该相机和/或该激光雷达扫描作业区域的路面，获取该作业区域的路面平整信息。并在该路面平整信息指示路面不满足平整条件时，向该辅助作业端发送运维指令。

该激光雷达可以是指上述的激光雷达传感器。

该相机可以是深度相机。

该作业区域可以是上述作业环境中任意区域，比如露天矿场中的运输道路、交汇路口、装卸载区、山体遮挡盲区、充电区、加油区、停车区等区域。

可选地，该运维指令可以是上述作业指令中的一种指令。该运维指令具体可以用于控制辅助作业端1032中的负责修整路面任务的铲运机、负责维护其他设备的修理设备。

该路面平整信息可以用于指示各作业区域的路面是否平整，或各作业区域的路面是否满足平整条件。

该平整条件可以是由相关技术人员提前进行设置的。例如，该平整条件可以是指任一路面上的各个点在任一平面上的平均高度与这一路面上任一点在这一平面上的高度的差值小于预设阈值，本申请实施例对此不做限定。

另外，在通过该激光雷达扫描作业区域的路面的情况下，可以利用该激光雷达对任一路面进行3D扫描以获取这一路面的稠密点云图。然后将稠密点云图中的点云数据在鸟瞰图(Bird Eye View，简称BEV)方向上投影为二维特征图，并将二维特征图的每个网格中的值作为投影到该网格的所有点云点的高度平均值。然后，以网格中的高度值为随机变量，计算高度值的高斯分布，并统计均值±3*sigma以外的概率值作为平整度的衡量指标。在这种情况下，该平整条件可以是统计均值±3*sigma以外的概率值小于或等于预设概率阈值。该预设概率阈值可以是由相关技术人员提前设置的，本申请实施例对此不做限定。

另外，也可以通过该相机扫描作业区域的路面，本申请实施例对此不做限定。

若确定各作业区域的路面不满足平整条件，生产环境监测边缘子系统1023则可以将地面平整度异常的路面位置信息或区域位置信息发送至中心云端101，并由中心云端101向辅助作业端1032中的负责修整路面任务的铲运机发送相应的运维指令，以控制铲运机行驶至地面平整度异常的路面进行路面运维。

通过该相机和/或该激光雷达扫描作业区域的路面，获取该作业区域的路面平整信息，并在该路面平整信息指示路面不满足平整条件时，向辅助作业端1032中的作业设备发送运维指令，以控制相应的作业设备进行路面维护。这样，就可以及时地发现不平整的路面，并及时对不平整的路面进行路面维护。如此，可以提高对各作业设备的管理可靠性和效率。

生产环境监测边缘子系统1023中的毫米波雷达还可以对各区域的物体的位置、移动情况进行监测，以确保作业安全。

可选地，生产环境监测边缘子系统1023还可以包括用于检测作业环境的天气数据的传感器，生产环境监测边缘子系统1023具体还可以用于通过该用于检测作业环境的天气数据的传感器监测上述作业环境的温度、湿度、风向、风速、天气等数据。

可选地，该用于检测作业环境的天气数据的传感器可以包括温度传感器、湿度传感器、风速风向传感器、气象传感器、粉尘传感器以及其他可以检测到天气数据的传感器，本申请实施例对此不做限定。

另外，该气象传感器还可以对作业环境中的地面或道路进行检测，以确定作业环境中的地面或道路是否结冰或存在积水。

示例性地，可以在露天矿山的任一区域安装气象传感器，以检测各区域的温度、湿度、风向、风速、天气。其中，该气象传感器可以监测到露天矿山的天气为晴天、阴天、雨天、雪天、沙尘暴或雾天等。

另外，还可以在露天矿山的任一区域安装粉尘传感器，以检测各区域的沙尘的含量或浓度。

一种可能的实现方式中，功能区智能监测边缘子系统1022包括图像采集设备和/或激光雷达，具体用于采集该指定区域的现场图像和/或该指定区域的点云数据作为该现场数据，通过预设算法分析该现场图像和/或该指定区域的点云数据，确定该指定区域是否有违规作业以及根据该现场图像和/或该指定区域的点云数据对该指定区域进行实时的占用分析、场景识别、作业进度分析，获取分析结果。

可选地，该图像采集设备可以是工业摄像头，也可以是深度摄像头。该图像采集设备可以持续采集连续的多帧该指定区域的现场图像，也可以每间隔一段时间采集一帧该指定区域的现场图像，本申请实施例对此不做限定。

该激光雷达可以用于采集该指定区域的点云数据。

该预设算法可以是图像分割算法和/或语义识别算法。

可选地，该违规作业可以是指不满足作业条件的作业。

该作业条件可以是由相关技术人员提前设置的。该作业条件可以是在该指定区域中的各行人需要佩戴安全帽，也可以是在各作业设备作业的情况下该指定区域中的各行人需位于指定的安全区域，还可以是其他任意可能的条件，本申请实施例对此不做限定。

该分析结果用于指示露天矿场中的装卸载区是否被占用、露天矿场中的装卸载区正在进行的作业任务的进度、该指定区域是否为露天矿场中的装卸载区或是否为相关技术人员提前设置的任一区域。

在获取到该分析结果的情况下，功能区智能监测边缘子系统1022可以将该分析结果发送给中心云端101或当前位于对应区域的各作业设备。在这种情况下，中心云端101可以根据该分析结果生成相应的作业指令发送给当前位于对应区域的各作业设备，或者各作业设备可以根据该分析结果对自身进行调度或控制。

值得注意的是，在确定该指定区域存在违规作业的情况下，功能区智能监测边缘子系统1022可以将该指定区域的位置信息和该图像采集设备采集的该指定区域的现场图像发送给中心云端101，并由中心云端101存储并发送给其他可以与中心云端101通信连接的终端设备或服务器，以提示相关技术人员该指定区域存在违规作业。

另外，根据该现场图像对该指定区域进行实时的占用分析、场景识别、作业进度分析，可以准确地确定该指定区域的实时状态，以便对各作业设备进行合适的调度，比如，若该指定区域被占用，则将各作业设备调度到其他的区域中，或者分析出该指定区域的作业进度较低，则可以控制或调度更多空闲的作业设备来该指定区域协助作业，以加快作业进度。

这样，可以提高对作业过程监测的准确性和全面性。另外，还可以提高工矿行业作业过程的安全性和效率。

一种可能的实现方式中，中心云端101与边缘端102之间采用多模式通信，以根据待传输数据的大小切换通信模式。

可选地，中心云端101与边缘端102之间采用的通信模式可以包括V2X(Vehicle toEverything)通信模式、5G通信模式、消息队列遥测传输(Message Queuing TelemetryTransport，简称MQTT)协议通信模式等多种模式，本申请实施例对此不做限定。

其中，该待传输数据可以是边缘端102的各子系统采集或获取到的环境数据、作业环境数据、图像或视频等数据，本申请实施例对此不做限定。

若该待传输数据的数据量小于预设的数据量，则可以确定该待传输数据为小数据量的待传输数据，若该待传输数据的数据量大于或等于预设的数据量，则可以确定该待传输数据为大数据量的待传输数据。

示例性地，边缘端102可以通过V2X通信模式将小数据量的待传输数据传输至中心云端101，边缘端102可以通过5G通信模式或MQTT协议通信模式将大数据量的待传输数据传输至中心云端101。

又例如，若该待传输数据为视频或图像数据，还可以采用视频编解码技术对该待传输数据进行数据压缩，然后再采用5G通信模式或MQTT协议通信模式将该待传输数据传输至中心云端101。

一般地，边缘端102中的目标感知与理解边缘子系统1021和生产环境监测边缘子系统1023监测、获取到的数据为小数据量的待传输数据。边缘端102中的功能区智能监测边缘子系统1022和智能路侧协同边缘子系统1024监测、获取到的数据为大数据量的待传输数据，本申请实施例对此不做限定。

一种可能的方式中，中心云端101与边缘端102之间采用多模式通信，以根据待传输数据的时效需求切换通信模式。

可选地，该待传输数据的时效需求可以用于指示边缘端102将数据传输到中心云端101需要的传输速度。

一般地，该待传输数据的时效需求越高，则表征边缘端102将数据传输到中心云端101需要的传输速度越快。反之，则表征边缘端102将数据传输到中心云端101需要的传输速度越慢。

示例性地，边缘端102可以通过V2X通信模式或5G通信模式将时效需求较高的待传输数据传输至中心云端101，边缘端102可以通过或MQTT协议通信模式将时效需求较低的待传输数据传输至中心云端101。

另外，若该待传输数据为小数据量的数据且时效需求较高，就可以采用V2X通信模式将该待传输数据传输至中心云端101。若该待传输数据为大数据量的数据且时效需求较高，就可以采用5G通信模式将该待传输数据传输至中心云端101。若该待传输数据为大数据量的数据且时效需求较低，就可以采用MQTT协议通信模式将该待传输数据传输至中心云端101。

一般地，边缘端102中的目标感知与理解边缘子系统1021、功能区智能监测边缘子系统1022和生产环境监测边缘子系统1023监测、获取到的数据为时效需求较高的待传输数据。边缘端102中的和智能路侧协同边缘子系统1024监测、获取到的数据为时效需求较低的待传输数据，本申请实施例对此不做限定。

例如，边缘端102监测、获取到的环境感知分析结果为时效需求较高的小数据量数据，那么就可以采用V2X通信模式将该环境感知分析结果直接传输到中心云端101。边缘端102监测、获取到的视频流数据一般为时效需求较高的大数据量数据，那么就可以采用视频编解码技术对视频流数据进行数据压缩后采用5G通信技术传输到中心云端101。边缘端102监测、获取到的系统配置信息、日志信息一般为时效需求较低的数据，那么就可以采用MQTT协议通信模式将系统配置信息、日志信息进行封装并传输到中心云端101，但不以此为限。

另外，中心云端101和作业设备端103之间采用的通信模式也可以包括V2X通信模式、5G通信模式、MQTT协议通信模式等多种模式。

值得注意的是，中心云端101与边缘端102之间采用多模式通信，可以提高数据传输的灵活性，并且可以提高对各作业设备的管理效率。

一种可能的实现方式中，在图3的基础上，参见图4，边缘端102还包括：系统运行监测子系统1025。

系统运行监测子系统1025用于监测边缘端102中各子系统的运行状态。

系统运行监测子系统1025还用于根据该运行状态确定边缘端101中各子系统是否存在异常，并将异常信息传输至中心云端101。

可选地，该异常信息用于指示存在异常的子系统的名称、编号、各子系统中存在异常的装置或设备、以及确定存在异常的时间等信息。

另外，系统运行监测子系统1025还可以根据各子系统的运行状态和该异常信息分析出解决该异常的方式并生成解决方案，并将该解决方案传输至中心云端101，本申请实施例对此不做限定。

系统运行监测子系统1025可以通过对边缘端102中的各个子系统进行心跳监测来确定各子系统的运行状态。

此外，系统运行监测子系统1025还可以实时捕获各子系统的异常信息，并将各子系统的异常信息汇总后存储在系统运行监测子系统1025的本地日志中做记录备份，同时还可以将各子系统的异常信息将实时上报中心云端101，以便相关技术人员接收到故障信息后及时进行相应的处理。

该异常信息可以是各子系统主动发布的，也可以是系统运行监测子系统1025监测到各子系统存在异常之后由系统运行监测子系统1025生成的，本申请实施例对此不做限定。

具体地，系统运行监测子系统1025具体可以用于监测边缘端102中各子系统是否能正常采集数据、是否能正常进行通信、是否能正常将进行数据传输等。

若系统运行监测子系统1025监测边缘端102中任一子系统不能正常采集数据、不能正常进行通信或不能正常将进行数据传输，则可以确定这一子系统存在异常。

这样，可以及时发现在边缘端102中的各子系统存在异常并传输到中心云端101，以便相关技术人员进行相应的处理。如此，可以达到提高对各作业设备的管理可靠性的效果。

一种可能的实现方式中，在图4的基础上，参见图5，边缘端102还包括：提示子系统1026。

提示子系统1026用于在系统运行监测子系统1025确定边缘端102中各子系统存在异常的情况下，输出提示信息。

可选地，提示子系统1026可以将该提示信息传输到中心云端101，再由中心云端101向上述辅助作业端1032中的负责维护其他设备的修理设备发送相应的作业指令，以控制该负责维护其他设备的修理设备来修理或维护存在异常的子系统。中心云端101也可以将该提示信息发送给其他可以与中心云端101通信连接的终端设备或服务器，以通知相关技术人员来修理或维护存在异常的子系统，本申请实施例对此不做限定。

另外，提示子系统1026可以将该提示信息传输到其他可以与提示子系统1026通信连接的终端设备或服务器，以通知相关技术人员来修理或维护存在异常的子系统，本申请实施例对此不做限定。

可选地，该提示信息可以是文字、图像、灯光、声音等形式，本申请实施例对此不做限定。

该提示信息可以用于提示相关技术人员来修理或维护存在异常的子系统。该提示信息可以包括存在异常的子系统的名称、编号、确定存在异常的时间、各子系统中存在异常的装置或设备、各子系统中存在异常的装置或设备安装的位置、负责修理或维护该存在异常的子系统的相关技术人员的名字或工号、计划修理时间等信息。

提示子系统1026还可以用于在边缘端102监测到该作业环境中存在障碍物、地面凹陷、地面塌陷、边坡滑坡和/或上述指定区域存在违规作业的情况下，输出该提示信息。

在这种情况下，该提示信息还可以用于提示相关技术人员停止当前作业调整当前作业路线和/或按照上述作业条件进行作业。

示例性地，该提示信息可以包括如下的文本内容，但也不以此为限。若提示子系统1026于2022年4月2日12:00确定边缘端102中的功能区智能监测边缘子系统1022中的图像采集设备Z存在异常，且负责修理或维护功能区智能监测边缘子系统1022的相关技术人员的工号为001。那么，该提示信息就可以为“2022年4月2日12:00发现边缘端中的功能区智能监测边缘子系统中的图像采集设备Z存在异常，请工号为001的技术人员于2022年4月2日18:00之前完成修理”。

这样，可以及时地维护或修理边缘端102中存在异常的各子系统。如此，可以提高对各作业设备的管理可靠性和效率以及作业的安全性。

一种可能的实现方式中，中心云端101还用于存储上述环境数据和上述作业数据、监测边缘端102和作业设备端103的运行、配置管理边缘端102和作业设备端103、对边缘端102和作业设备端103进行远程更新。

示例性地，中心云端101可以将边缘端102发送的该作业数据和/或该环境数据进行存储，并且中心云端101可以每间隔预设时长就删除一次在中心云端101中存储的该作业数据和/或该环境数据。一般地，该预设时长可以设置的较长，比如20天或一个月，当然，可以将该预设时长设置为任意时长，本申请实施例对此不做限定。

例如，中心云端101还可以监测边缘端102中的目标感知与理解边缘子系统1021、功能区智能监测边缘子系统1022、生产环境监测边缘子系统1023、智能路侧协同边缘子系统1024以及作业设备端103中各作业设备的工作状态，中心云端101还可以根据该工作状态确定目标感知与理解边缘子系统1021、功能区智能监测边缘子系统1022、生产环境监测边缘子系统1023、智能路侧协同边缘子系统1024以及作业设备端103中各作业设备是否异常，并根据各子系统或各作业设备发生的异常分析出处理该异常的方式并生成维护方案。

中心云端101还可以根据该维护方案、存在异常的子系统或作业设备的名称、编号以及确定存在异常的时间等信息生成维护信息，并根据该维护信息生成并发送相应的作业指令给上述辅助作业端1032中的负责维护其他设备的修理设备，以控制该负责维护其他设备的修理设备来修理或维护存在异常的子系统或作业设备，或者将该维护信息发送给其他可以与中心云端101通信连接的终端设备或服务器，以通知相关技术人员来修理或维护存在异常的子系统或作业设备，本申请实施例对此不做限定。

又例如，中心云端101还可以对中心云端101、边缘端102和作业设备端103进行配置管理，以关联中心云端101、边缘端102中的各个子系统、作业设备端103中的各作业设备，并且可以对中心云端101、边缘端102中的各个子系统、作业设备端103中的各作业设备进行设置，以确保无人矿山全域智能监测系统可以正常运行。

又例如，中心云端101具体可以远程更新边缘端102中的各子系统、各子系统中的装置或设备以及作业设备端103中的各个作业设备的存储器中存储的软件资源，还可以远程对边缘端102中的各子系统、各子系统中的装置或设备以及作业设备端103中的各个作业设备进行固件升级。

这样，就可以提高中心云端101、边缘端102、作业设备端103的协同性。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

无人矿山全域智能监测系统.pdf