合肥金星智控科技股份有限公司
宣传

位置:中冶有色 >

有色技术频道 >

> 化学分析技术

> 面向边缘设备深度学习模型推理的自适应批处理和并行调度系统

面向边缘设备深度学习模型推理的自适应批处理和并行调度系统

969   编辑:管理员   来源:中冶有色技术网  
2023-03-19 07:36:07
本发明提出了一种面向边缘设备深度学习模型推理的自适应批处理和并行调度系统,包括决策模块、动态批处理调度模块、模型并行模块、性能分析器四部分;决策模块对深度学习模型的批处理和并行推理进行调度建模并为不同模型选择合适的批处理大小和模型并行数量,动态批处理调度模块进行批处理推理;模型并行模块同时处理多个推理请求;性能分析器以在线方式实时收集边缘设备的系统状态;与传统的启发式和其他强化学习方法相比,本发明设计的基于最大熵强化学习的调度决策算法,在对系统吞吐量和推理延迟的权衡方面有着3.2~58%的性能提升,同时收敛速度是其他算法的1.8~6.5倍;此外,平均调度开销只有其他算法的49%。
声明:
“面向边缘设备深度学习模型推理的自适应批处理和并行调度系统” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究,如用于商业用途,请联系该技术所有人。
我是此专利(论文)的发明人(作者)
分享 0
         
举报 0
收藏 0
反对 0
点赞 0
标签:
化学分析
全国热门有色金属技术推荐
展开更多 +

 

中冶有色技术平台微信公众号
了解更多信息请您扫码关注官方微信
中冶有色技术平台微信公众号中冶有色技术平台

最新更新技术

报名参会
更多+

报告下载

第二届关键基础材料模拟、制备与评价技术交流会
推广

热门技术
更多+

衡水宏运压滤机有限公司
宣传
环磨科技控股(集团)有限公司
宣传

发布

在线客服

公众号

电话

顶部
咨询电话:
010-88793500-807
专利人/作者信息登记