本申请提出一种数据处理方法和流计算系统,该数据处理方法包括数据接收模块接收到要处理的数据后,将所述数据写入文件系统中,并在所述数据被写入文件系统后,发送所述数据给逻辑处理模块;逻辑处理模块根据对数据的接收情况获取有效数据,并且,定期对预设的检查点进行更新;以及,在发生失效转移时,确定最新的检查点,获取与所述最新的检查点对应的有效数据,并恢复所述有效数据。该方法能够满足对外服务化的诉求,以及在发生失效转移时避免数据源头重发。
声明:
“数据处理方法和流计算系统” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究,如用于商业用途,请联系该技术所有人。
我是此专利(论文)的发明人(作者)