合肥金星智控科技股份有限公司
宣传

位置:中冶有色 >

有色技术频道 >

> 失效分析技术

> 网络爬虫的任务有效性检测方法、装置和设备及存储介质

网络爬虫的任务有效性检测方法、装置和设备及存储介质

694   编辑:管理员   来源:中冶有色技术网  
2023-03-19 09:00:01
本发明公开了一种网络爬虫的任务有效性检测方法、装置和设备及存储介质,用于检测网络爬虫执行采集任务的有效性。该方法包括:记录网络爬虫在执行爬取网页数据任务的过程中的日志;对日志进行处理和分析,以确定在预设时间段内与主URL相关的至少一个指标的值,其中,一个主URL对应多个子URL,所述至少一个指标的值是基于所述主URL以及所述主URL对应的子URL的日志进行确定的;确定所述至少一个指标中任一指标的值是否大于或者等于每个指标自身对应的预设阈值,其中,一个指标对应一个预设阈值;若确定结果为是,则确定上述任一指标的值大于或者等于对应的预设阈值的主URL所对应的任务失效。
声明:
“网络爬虫的任务有效性检测方法、装置和设备及存储介质” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究,如用于商业用途,请联系该技术所有人。
我是此专利(论文)的发明人(作者)
分享 0
         
举报 0
收藏 0
反对 0
点赞 0
标签:
失效分析
全国热门有色金属技术推荐
展开更多 +

 

中冶有色技术平台微信公众号
了解更多信息请您扫码关注官方微信
中冶有色技术平台微信公众号中冶有色技术平台

最新更新技术

报名参会
更多+

报告下载

第二届中国微细粒矿物选矿技术大会
推广

热门技术
更多+

衡水宏运压滤机有限公司
宣传
环磨科技控股(集团)有限公司
宣传

发布

在线客服

公众号

电话

顶部
咨询电话:
010-88793500-807
专利人/作者信息登记