本发明公开了一种Internet环境下MapReduce计算方法。该方法利用Internet桌面PC的空闲计算和存储资源来进行MapReduce计算。桌面PC以志愿者的形式加入系统成为工作节点,用户作为Master向服务器上传待处理的数据,服务器将Map和Reduce任务调度至工作节点上执行,待所有任务完成,最终结果自动返回给用户。该方法在元数据管理基础之上,采用数据驱动的方式,将任务调度转化为数据调度,解决了节点动态易失效带来的影响,提供了一种Internet环境下简单有效的容错MapReduce计算模型与方法。采用本发明,可在校园、企业、政府内利用现有桌面PC构建以私有为目的的MapReduce计算平台来进行海量数据分析,或用于改进志愿计算系统来支持MapReduce计算模型,降低志愿计算系统应用开发的难度。
声明:
“Internet环境下MapReduce计算方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究,如用于商业用途,请联系该技术所有人。
我是此专利(论文)的发明人(作者)