全部
▼
热搜：
1395
编辑：中冶有色技术网
来源：山东黄金矿业（莱州）有限公司三山岛金矿
权利要求
1.用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于步骤为：
步骤1、数据载入：载入地测采三维原始数据；
步骤2、任务分解：主节点根据任务特征，将任务分解到多个CPU节点和GPU节点分别进行处理；
步骤3、预处理：由CPU节点对三维数据进行预处理；
步骤4、三维数据处理：由GPU节点对三维数据进行主体处理；
步骤5、三维数据渲染：由GPU节点对三维数据完成渲染；
步骤6、后处理：由CPU节点对三维数据进行后处理；
步骤7、结果提交与保存：主节点汇总所有处理结果，并保存或提交。
2.如权利要求1所述的用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于：所述CPU节点及GPU节点分别与主节点通过以太网分别相连接，实现三维数据处理的控制命令的传输；
所述CPU节点和GPU节点通过RDMA数据交换网络通讯连接，实现三维数据成果数据的传输。
3.如权利要求2所述的用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于：还包括接入RDMA数据交换网络的存储节点，所述存储节点用于保存三维地测采数据。
4.如权利要求1所述的用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于：所述主节点用来管理计算集群，具备集群组网、任务调度及系统功能。
5.如权利要求1所述的用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于：主节点的数据来源为三维设计数据。
6.如权利要求1至5任一所述的用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于：GPU节点包括主GPU节点和分布GPU节点，主GPU节点仅作为渲染结果的显示，分布GPU节点用于渲染处理。
说明书
技术领域
本发明涉及一种分布式处理方法，尤其是一种针对矿山海量三维数据的分布式处理方法，主要用于矿山生产进行三维建模、可视化管控过程中地质、测量、采矿各专业产生的海量业务数据的处理。
背景技术
随着矿山行业的数字化技术的发展，三维矿业软件的应用逐渐成为趋势，进而产生了越来越多的地质、测量和采矿三维数据。这些数据有些直接来自三维激光扫描仪，有些来自钻孔数据，有些则来自其他数据源的转换。相对于传统的二维数据以及关系数据，三维地测采数据的特点是数据量大、处理难度大，需要将各种数据源抽取、转换、加载到平台上，以提高数据处理效率。
在解决了多源异构数据的集成、解决了数据标准化之后，传统的数据管理、处理解决方案已经无法处理巨大的数据。
当前主流的处理方法仍然是在高性能计算机上进行串行或者数据流的三维数据处理，随着数据量的增大，这种处理架构在未来的技术发展上已经呈现出了一定的局限性，对于需要实时处理的三维数据以及巨量的非结构三维数据的分析处理，亟需一种更高性能的三维数据处理方法。
发明内容
本发明提出了一种用于金属矿山井下地测采三维数据的分布式处理方法，其目的是：应对更大的数据量，提供更好的性能，降低成本。
本发明技术方案如下：
一种用于金属矿山井下地测采三维数据的分布式处理方法，步骤为：
步骤1、数据载入：载入地测采三维原始数据；
步骤2、任务分解：主节点根据任务特征，将任务分解到多个CPU节点和GPU节点分别进行处理；
步骤3、预处理：由CPU节点对三维数据进行预处理；
步骤4、三维数据处理：由GPU节点对三维数据进行主体处理；
步骤5、三维数据渲染：由GPU节点对三维数据完成渲染；
步骤6、后处理：由CPU节点对三维数据进行后处理；
步骤7、结果提交与保存：主节点汇总所有处理结果，并保存或提交。
作为本发明的进一步改进：所述CPU节点及GPU节点分别与主节点通过以太网分别相连接，实现三维数据处理的控制命令的传输；
所述CPU节点和GPU节点通过RDMA数据交换网络通讯连接，实现三维数据成果数据的传输。
作为本发明的进一步改进：还包括接入RDMA数据交换网络的存储节点，所述存储节点用于保存三维地测采数据。
作为本发明的进一步改进：所述主节点用来管理计算集群，具备集群组网、任务调度及系统功能。
作为本发明的进一步改进：主节点的数据来源为三维设计数据。
作为本发明的进一步改进：GPU节点包括主GPU节点和分布GPU节点，主GPU节点仅作为渲染结果的显示，分布GPU节点用于渲染处理。
相对于现有技术，本发明具有以下有益效果：采用普通的计算节点，组成一个可扩展的计算集群，不仅能够应对更大的数据量，而且可以提供更好的性能，具有更低的成本。
附图说明
图1为本发明的架构示意图；
图2为本方法的流程图。
具体实施方式
下面结合附图详细说明本发明的技术方案：
如图1，一种用于金属矿山井下地测采三维数据的分布式处理架构，包括：主节点、CPU节点、GPU节点、存储节点以及RDMA高速网络。
1、主节点：主要功能一是用于管理整个计算集群，包括集群组网，计算节点的加入和退出等等；二是管理计算任务的调度，包括新任务的接收、任务的分解、任务的调度、任务的结果提交等等；三是一些其它系统功能，例如日志、性能监控等等。
采矿、测量、地质（简称地测采）等各专业的异构数据，经过数据的抽取和清洗，整合成能够进行实时计算的结构化数据，作为主节点的数据来源，注入到分布式处理系统中。
2、CPU计算节点：CPU计算节点是通用的CPU计算型服务器，它主要用来对三维地测采数据进行预处理和后处理，如钻孔数据的预计算、块体数据的预处理等，这些预处理和后处理任务，在CPU上进行计算，相比在GPU上进行运算，具有更好的性能和性价比。
结合三维处理的特点，大量不涉及绘图的预处理数据在CPU计算节点上进行处理，如大量绘图无关的数值计算、处理计算分布在各个CPU计算节点进行分布式处理，解决传统串行数据的数据处理瓶颈问题，大大加快预处理的速度。
3、GPU计算节点：GPU计算节点的计算能力主要由专用的GPU提供，在海量三维地测采数据的运算中，GPU在处理点云数据、网格定点数据、三维可视化渲染等方面，具有CPU不可比拟的优势。因此这些任务会被拆解，发送到GPU节点进行处理。
GPU节点处理三维绘图数据，进行数据可视化渲染，通常GPU的性能是三维显示性能和效果的关键，采用分布式处理后，主GPU仅作为渲染结果的显示，大量渲染处理在分布式GPU上处理，在处理大型矿山的数据时，能够比传统提高10倍以上的性能。
4、存储节点：存储节点用于保存三维地测采数据。
同样，对于大量的三维数据，需要同步提供分布式存储的机制来保证数据的高效和一致性，同时在展示以及设计层面，还需要提供实时数据共享的功能。
5、RDMA高速网络：在本系统中，主节点和计算节点之间，通过普通的以太网进行连接，管理数据通过以太网进行传输。而由于三维地测采数据的数据量非常庞大，动辄达到几百G甚至几个T的规模，在以太网上传输此类数据，效率将非常低下。因此，在计算节点和存储节点之间使用RDMA高速网络进行连接，在CPU和GPU节点之间，也使用高速RDMA网络进行连接，用于两类节点之间的快速数据交换分布式处理方法的步骤为：
步骤1、数据载入：载入地测采三维原始数据；
步骤2、任务分解：主节点根据任务特征，将任务分解到多个CPU节点和GPU节点分别进行处理；
步骤3、预处理：由CPU节点对三维数据进行预处理；
步骤4、三维数据处理：由GPU节点对三维数据进行主体处理；
步骤5、三维数据渲染：由GPU节点对三维数据完成渲染；
步骤6、后处理：由CPU节点对三维数据进行后处理；
步骤7、结果提交与保存：主节点汇总所有处理结果，并保存或提交。
分享 0
举报 0
收藏 0
反对 0
点赞 0
中冶有色技术平台
2024年11月27日 ~ 29日 
