本发明公开一种控制MapReduce任务调度的方法、装置和系统。其中当接收到监测装置发送的节点失效信息时,从节点失效信息中提取出发生故障的失效节点标识,其中监测装置实时监测与主控节点相关联的任务节点状态,在监测到任务节点从有效状态转换为失效状态而成为失效节点后,在发送条件满足时发送所述节点失效信息;从有效节点集合中删除所述失效节点标识,其中有效节点集合中包括的节点用于MapReduce任务调度;将所述失效节点标识添加到失效节点集合中。更加全面的任务节点状态检测,从而优化MapReduce任务节点的调度选择。
声明:
“控制MapReduce任务调度的方法、装置和系统” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究,如用于商业用途,请联系该技术所有人。
我是此专利(论文)的发明人(作者)