本发明公开了一种基于联邦多智能体强化学习的车联网边缘资源分配方法,具体为:输入车联网环境,初始化智能体本地Q网络和联邦网络参数,并对优化问题建模;根据智能体能否获得奖励分为α、β两类,在当前时隙内两类车辆智能体分别观测本地状态并输入Q网络的;对Q网络输出进行加密处理,并通过联邦网络输出两类车辆智能体的联合动作决策;之后α车辆智能体得到系统反馈的全局奖励,同时缓存池存储当前时隙的样本数据;当样本数量足够时,α型和β型车辆智能体分别更新本地Q网络以及联邦网络的参数;当前训练回合结束后,重置车联网环境,开始下一个回合的训练。本发明在隐私保护的前提下提升了车联网连通性,同时降低了切换开销以及能量损耗。
本发明针对细粒度图像最具有判别力的区域难以挖掘的问题,提出了一种基于强化学习和交叉双线性特征的细粒度识别方法。使用Actor‑Critic策略去挖掘图像最具有注意力的区域,Actor模块负责产生最具有判别力的top M个候选区域,Critic模块利用交叉双线性特征去评价此动作的状态值,然后利用排序一种性奖励计算当前状态下该动作的奖励值,进而得到价值优势并反馈给Actor模块,更新最具有注意力区域的输出,最后使用这些最具有判别力的区域结合原图特征进行预测细粒度类别。该方法可以较好的挖掘出细粒度图像最具有注意力的区域。经实验验证,本发明在CUB‑200‑2011公开数据集上的识别准确率比目前已有方法有一定的提升,分别达到了较高的细粒度识别准确率。
本发明公开了一种基于电化学的废旧磷酸铁锂修复回收方法,包括以下步骤:S1.装配废旧磷酸铁锂‑金属锂半电池并测量充电比容量c;S2.构建水溶液原电池,此时正极侧电解液包含锂盐,所述锂离子浓度的取值范围为0.01mol/L~18mol/L,所述锂盐中的锂离子在放电条件下嵌入到废旧磷酸铁锂中,所述负极侧电解液和正极侧电解液之间设有隔膜;S3.设置恒定电流i对水溶液原电池进行放电,所述恒定电流i和正极侧电解液中的废旧磷酸铁锂颗粒总重量m成正相关关系,所述放电时间满足
本实用新型涉及一种新型多功能在线水质检测装置,包括主控模块和插接于主控模块上的电源模块、至少具有三个种类的化学传感器模块组、显示模块和通讯模块;主控模块分别通过UART串行接口驱动显示模块,通过UART串行接口与通讯模块连接,采用CAN总线与化学传感器模块组连接;电源模块与主控模块、化学传感器模块组、显示模块、通讯模块电性连接。本实用新型通过对现有分析装置改进后增加一化学传感器模块组;根据使用过程的需要,在主控模块上插接测量水中不同含量成分的化学传感器,形成多种检测组合,具有很好的可扩展性;通过本装置结构,即实现多种组分含量同时测量或逐一测量,大大减少设备采购成本、维护成本以及维护工作量。
本发明公开了一种电化学储能安全预警系统及方法。该系统基于分布式光纤传感技术,利用光纤中反向散射信号与光纤上任意一点的位置、温度、应力等信息相关的特点,将光纤沿着储能系统中的电池单体进行布置,实现了对储能系统中的每个电池单体进行实时地温度、应力监测。当储能系统中某个或多个电池单体发生异常,该系统能够迅速感知,并能精确定位出异常单体的具体位置。通过将该系统与现有电池管理系统、安全消防系统联动,能够在第一时间对储能系统中发生异常的电池采取有效遏制措施,避免因发现不及时和无法准确定位而造成危情的蔓延扩大造。该安全预警系统能够有效提升储能系统运行的安全水平。
本实用新型涉及岩土工程中的电渗试验技术领域,公开了一种研究电化学法处理软土时切换极性周期的试验装置。该装置主要包括了极性切换控制器、试验模型盒、直流电源等。该装置是为解决目前电渗极性切换试验研究需要消耗大量人力、材料、时间而发明研制的,主要用于进行实验室试验,可以通过观测电流变化、排水情况、土体内部电势、电导率等研究极性切换时间周期对电渗的影响,以验证极性切换对电渗的必要性及为选择合适的极性切换时间周期提供理论依据。
本实用新型公开了一种调频微波化学反应工作站,包括反应器本体及屏蔽门,所述反应器本体内部设置有反应腔室,且反应器本体上设置有微波发生器,所述微波发生器由微波管和微波管电源构成,所述微波管为磁控管,反应腔室内设置有温度传感器,温度传感器与安装在反应器本体上的控制器电性连接,反应器本体上开有与反应腔室相连通的进气口、出气口,所述反应器本体上设置有功率变压器,所述功率变压器由控制器控制,且功率变压器与微波管电源电性连接,所述控制器与操作面板电性连接。本实用新型通过温度传感器实时监测反应腔室内温度,并通过功率变压器调节微波频率,能够准确、有效的控制反应腔室内的温度。
本实用新型是一种钢渣游离氧化钙含量检测装置,包括中央计算机操作装置、称量装置、电磁搅拌装置、试验反应装置、光发射接收装置、数据分析装置;所述中央计算机操作装置包括两个显示操作装置,热重分析操作装置根据水分损失质量分析钢渣中氢氧化钙含量,光谱分析操作装置根据光谱强度分析钢渣中总氧化钙含量,依据总氧化钙和氢氧化钙的含量差确定钢渣游离氧化钙含量。与现有技术相比,本实用新型装置优点如下:(1)装置操作方便,外界干扰少,节约能耗;(2)光学测量不需要大量化学试剂滴定,保证试验人员安全,检测速度快;(3)测量全过程避免人为判断,测量精度高。
本发明公开了一种利用多壁碳纳米管修饰玻碳电极检测水中17α-乙炔基雌二醇的方法,属于纳米材料、环境检测和电化学领域。通过磁性材料(MPs)对EE2进行预富集,利用多壁碳纳米管修饰的玻碳电极作为检测系统。首先将Anti-EE2Ab固定在MPs上,然后从样品中提取EE2,接下来用硫酸溶液进行解吸,最后用方波伏安法测定EE2。EE2的浓度在0.02~70ng/L范围内,本方法表现出良好的线性关系。本方法可以测定的EE2的范围是0.035~70ng/L,检测限是0.01ng/L,并且标准偏差小于4.20%。本发明的测定方法结合免疫分析和电化学检测的优势,测定方法精确,高灵敏度,高选择性,低检测限,低成本,测定时间短,易于控制。?
本发明公开了一种基于给定农灾资料强化学习的灾后作物产值预估方法,基于历史气象农灾数据和历史环境信息数据构成的原始数据集,农业灾害发生概率模型、模拟作物生长模型、多层感知机模型、初级灾后作物产值预估模型;并结合环境特征向量集、历史气象农灾数据动态变量和历史环境信息数据静态变量、动态静态气象及农业关联数据分组数据特征之间的关联性,获得最终灾后作物产值预估模型同时利用Q学习算法,本发明提出带有环境信息编码的针对收成季节推移的农业产值异构预测网络,遵循时间维度,解析各关联数据分组所对应二维特征平面集合,并采用异构神经网络组件细粒度解析动态与静态特征要素,全面考虑了气象与农业各要素在产值与灾害上的相关性。
本发明公开了一种基于场景区分的深度强化学习训练方法及系统,包括以下步骤,将测试车辆接入仿真环境中并随意行驶;数据采集模块收集所述仿真环境中不同位置的街道图像数据集;利用U‑net网络模块对进行语义分割的训练;识别模块在线识别不同的道路情况;在不同的场景中分别设定符合各个场景的Reward值,分别进行针对性的训练;训练完成后模型部署使用。本发明的有益效果:通过减少算法模型学习如何区分各个场景的时间,来减少基于车辆行驶仿真软件中数据进行算法训练时间,可以快速验证车辆辅助驾驶/自动驾驶,能够明显降低算法模型在低效率探索上花费的时间,从而大大降低开发时间,提高训练性能。
本发明公开了一种意图驱动的强化学习路径规划方法,主要步骤包括:1、数据采集器获取监测网络的状态;2、根据环境障碍物、传感器节点和数据采集器的位置选择数据采集器的转向角;3、根据ε贪心策略选择数据采集器的速度、目标节点和下一目标节点作为动作;4、数据采集器根据选择的转向角和速度确定下一时隙的位置;5、根据数据采集器和传感器节点的意图得到奖赏和惩罚,并更新Q值;6、重复执行步骤1至步骤5,直至到达终止状态或收敛条件;7、数据采集器选择每一时隙Q值最大的动作作为规划结果,生成最佳路径;本发明提出的方法可以以较高的成功概率、更接近意图的性能完成数据采集路径规划。
本发明公开了一种基于多智能体强化学习的无人机网络协同快跳频方法,具体为:输入无人机网络环境,每对无人机初始化自身Q表以及最优先验动作分布估计、互信息惩罚项系数和动作状态对出现次数;在当前时隙中,每对无人机根据上一时隙生成的动作选择传输信道,传输完成后得到环境反馈的奖励;每对无人机观测环境的当前状态,再与其它无人机对交互当前状态下各个动作的Q值得到全局Q值,根据互信息正则化soft Q‑learning算法中的行为策略生成动作;每对无人机更新自身Q表以及各个参量;当达到训练回合的最大步数时,重新输入无人机网络环境开始下一回合。本发明实现了所有无人机对的总吞吐量性能的提升,为无人机网络提供了通信保障。
本发明属于生物分析化学领域,涉及一种检测血清中甘油三酯的电化学方法。本发明利用了多巴胺在弱碱性条件下自动聚合形成聚多巴胺这种特性,一方面形成的聚多巴胺用于固定酶分子,另一方面原位还原氯金酸产生纳米金作为信号放大元件,以循环伏安(CV)作为电化学检测方法。发展的这种电化学传感策略检测血清中的甘油三酯具有高灵敏度和操作简单等优点,适宜于推广运用。
高可靠氢敏化学传感器是一种用于测试溶液 pH值的传感器,采用在N型硅补底上制作场效应管 的结构,其介质采用双层结构的氢敏感薄膜,源、漏区 的金属电极在衬底背面引出,背面金属电极与源、漏 之间由利用铝热迁移形成的P+型通道实现电连接, 它可采用常规的半导体平面工艺实现,具有工艺简 单、制作简便、成品率和可靠性高等特点。
本发明公开了一种用于催化氧化和检测水合肼的生物电极的制备方法,所述的制备工艺包括:分级结构ZnO复合碳纳米纤维(ZnO/CNF)的制备和生物电极制备;所述的分级结构ZnO复合碳纳米纤维(ZnO/CNF)的制备工艺包括:碳纤维→酸化氧化→洗涤超声处理→溶液浸泡→水解→煅烧活化→洗涤→分级结抅ZnO/CNF;所述的生物电极制备工艺包括:ZnO/CNF悬浮液→混合酶蛋白液→滴涂在电极表面→干燥→生物电极。实现了氧化还原酶直接电子传递过程,对肼的氧化具有良好的生物催化活性与稳定性。此电化学分析法能有效地检测水合肼,具有选择性好,灵敏度高,能在复杂体系中进行在线连续监测等优点,在环境监测、食品分析、生物医学等领域已显示出广阔的应用前景。是一种高效稳定的直接电化学生物电极材料。
本发明公开了一种基于强化学习的智能终端传感器调度方法,该方法包括以下步骤:为智能终端系统定义新的参数窗口;初始化智能终端系统参数和DQN网络;优化窗口的长度;对DQN网络进行训练优化,获得决策网络;利用获得的决策网络调度传感器。本发明方法可以提高智能终端系统传感器触发策略的实时性和有效性,减少了传感器能耗,延长了传感器使用寿命。本发明能提高智能终端系统更精确快捷地服务人类生活的能力,可以被广泛应用于医疗监测、疾病防控等移动终端实际应用场景。
本发明公开了一种基于双层强化学习电网‑用户相协同的电压无功优化方法。为了有效协调配电网的电网侧设备和用户侧设备这两类所属权不同的资源,本发明从非对称马尔科夫博弈的角度提出了一种双层无功电压优化框架。其中,电网侧的配电运行商(DSO)被视为在上层做决策的领导者,目的是最小化系统的网损;用户被视为在下层做决策的跟随者,目的是缓解节点的电压偏差。除此之外,本发明还提出了一种无模型的Bi‑level Actor‑Critic(Bi‑AC)算法来解决上述非对称马尔科夫博弈模型,该算法为领导者和跟随者智能体制定了独特的策略(actor)和价值(critic)网络,同时还定义了领导者智能体的决策优先级。最后,本发明通过一个标准的IEEE33节点测试系统和实际电网运行数据验证了所提方案的有效性。
本发明公开了一种基于值分解的多智能体强化学习方法及系统,方法包括:获取环境当前t时刻的状态St,每个智能体初始的观察值可获得的动作以及该动作对应的奖励r;对于每个智能体,通过评估‑智能体网络计算每个动作基于局部信息τi观察到的值函数Qi(τi);利用随机‑智能体网络得到每个智能体基于全局信息τ的奖励值函数Qi(τ);利用目标‑智能体网络计算损失函数并更新参数;利用竞争‑智能体网络将每个智能体基于全局信息τ的奖励值函数Qi(τ)进行分解;将分解结果相加得到基于全局信息τ的联合奖励值函数Qtot(τ,a),完成训练。本发明对多智能体之间的逻辑拓扑关系进行了双重提取,在复杂的异构部分可观测场景中,提高智能体的学习效率和应变能力。
本发明公开了一种基于USRP RIO的强化学习通信干扰方法,基于数据处理中心、工作在相同频带上的干扰机、发射机,以及与发射机连接的接收机;实现干扰机对发射机与接收机进行通信干扰;干扰机的感知节点周期性地扫描监测发射机与接收机之间的通信环境,获得发射机与接收机之间频谱数据信息,并发送给数据处理中心;数据处理中心接收并处理该频谱数据信息,获取通信信道信息,并且应用预设已训练好的Q学习引擎模型,获得通信信道信息对应的Q表信息,所述Q表信息包括干扰机当前状态信息Sn与干扰机当前状态信息Sn所对应其下一动作信息an的Q值;干扰机周期性读取Q表信息的Q值,并根据Q值对发射机与接收机进行通信干扰。
本发明公开了一种雾无线接入网中基于联邦强化学习的智能编码缓存方法,该方法包括:1、云中心服务器构建全局预测模型并初始化,在雾接入点布置多个分布式学习代理并初始化其本地预测模型;2、系统观察全局状态;3、每个雾接入点观察本地状态;4、系统根据所实施的内容放置决策,使用多播编码传输方式满足各个网络边缘节点接收的请求;5、每个雾接入点根据本地请求情况计算理论时延和虚拟反馈,并存储本地学习经验;6、每个雾接入点使用本地学习记经验独立进行本地模型训练;7、每个雾接入点每隔若干时隙上传本地模型至云中心服务器进行全局模型更新。本发明可以减少系统前传负载,降低传输时延,保护用户隐私。
本实用新型公开了化学实验室安全远程报警及控制装置,包括一楼总监控中心、二楼监控中心、三楼监控中心以及安装在各个实验室的监控终端,实验室分为易燃液体储藏室、可燃气体储藏室、放射源实验室、剧毒气体实验室和激光高能实验室,各实验室的监控终端与相应楼层的监控中心联接,二楼监控中心和三楼监控中心与一楼总监控中心联接,监控终端包括摄像头以及安装在各实验室的探测器或传感器,各监控中心内安装报警扬声器和显示屏。通过在每个实验室和储藏室安装监控终端和灭火阀门,能够有效的起到易燃、易爆、有毒等气体的实时在线监控,若发生险情,迅速发出报警,提醒实验室内的人员抓紧撤离,部署快捷,使用方便。
本发明公开了基于可视化BPE‑ECL技术检测黄曲霉毒素B1的方法,包括以下步骤:1)丝网印刷双极电极的制备;2)功能传感界面的构建;3)将未知浓度的AFB1和固定浓度的HRP‑AFB1混合后,与功能传感界面上的AFB1单克隆抗体作用;4)利用双极电极工作原理,检测信号采集界面上的电致化学发光信号。本发明利用BPE将化学反应的电化学信号转换成可灵敏检测的电致化学发光信号,解决了电化学无法区分法拉第电流和充电电流的困扰;利用BPE将功能传感界面与信号采集界面进行物理隔离,避免了光活性分子与复杂反应体系的直接接触,有效抑制了假阳性现象,拓展了分析检测的范围,简化了检测方法,本发明具有简便、敏感且特异性好的优点。
本发明属于分析化学及临床医学领域,公开了血清中与特发性男性不育相关的类固醇激素标志物及其检测方法和应用。该标志物为皮质醇和/或脱氢表雄酮,采用UPLC‑Q exactive MS方法检测,该标志物可用于特发性男性不育的辅助诊断与监测,具有较高的灵敏度和特异度,具有临床推广价值。
本实用新型公开了用于水产养殖业的水下检测机器人,包括微控制器、水下运动机构、无线网络接口模块、水下摄像机、水下传感器组、水样采集机构和水样保存机构;水样采集机构采集所在区域的水样,然后传送到水下传感器组进行检测分析和数据提取;检测分析结果数据通过微控制器与无线网络接口模块,传输到位于陆地的控制服务器;水产计量装置通过接收并分析来自水下摄像机的实时图像,得到所在水域的水产数量、尺寸、颜色与成熟度信息;作业策略输入装置可用于输入所需检测路线以及水下各处的检测项信息,以达到高效率和移动式检测水体水温、化学成分、微生物和毒素,提高水下作业速度以及实时分析提取数据的技术目的。
本发明公开了一种移动边缘计算网络中基于分布式强化学习的隐私保护动态边缘缓存设计方法,具体为:首先将用户内容流行度动态性建模成无模型的马尔科夫链,然后将系统中各用户设备和服务器设备的缓存命中率最大化问题构建成一个隐私保护约束下的分布式优化问题。接着将该分布式优化问题转化为分布式无模型马尔科夫决策过程问题,并引入一种联邦学习方法用于隐私保护约束下的流行度预测。最后通过原分布式优化问题的转化,得到动作空间,状态空间和奖励函数系统配置。通过迭代学习,获得隐私保护约束下各个设备的动态变换缓存设计方法。实现移动边缘计算网络中用户隐私保护约束下的内容缓存动态更新,保护用户隐私的同时,获得更高的缓存命中率。
本发明公开了一种基于深度强化学习的自动驾驶方法和系统,上述方法通过搭建输入为自动驾驶汽车传感器测量的环境信息,输出为汽车控制动作集的网络模型,将自动驾驶汽车传感器测量的当前环境信息输入网络模型,得到当前控制动作集,设计动作噪声,采用动作噪声修正所述当前控制动作集,得到最终控制动作集,采用最终控制动作集控制自动驾驶汽车行驶,能够实现对自动驾驶汽车的准确实时控制。
本发明公开了一种基于图注意力机制强化学习的货源推荐方法,使用Actor‑Critic框架来制定整个过程。首先,收集司机历史交易记录以及浏览记录数据,对这些历史记录进行数据预处理,提取货源属性标签,并将这些特征权重输入策略函数,将货源候选集中特征匹配度高的货源添加到货源推荐列表,将货源推荐列表推荐给司机终端,根据司机反馈结果调整推荐策略,以便更好地预测司机偏好。本发明的货源推荐系统可以预测出符合司机偏好的货源给司机,提高物流的效率和司机满意度。
本发明公开了一种协作多智能体强化学习方法,步骤如下:获取每个智能体的观测信息和系统的全局状态;将获取的每个智能体的观测信息传入深度神经网络计算得到智能体所有动作的状态动作值;利用贪心规则进行动作选择;将采取的动作对应的状态动作值和全局观测信息传入奖励高速路网络中;奖励高速路网络进行信息融合并输入联合的状态动作值;利用环境给出的奖励信号进行梯度的反向传播并更新神经网络的参数从而得到每个智能体的策略模型。本发明能够降低多智能体系统训练过程中所需的数据量,并适合推广到大规模的多智能体系统中。
本实用新型涉及一种检测用试剂壳,包括压盖和底板,所述底板上设有用于放置试剂条的放置槽,底板上设有至少一个与放置槽连通的干式化学检测孔,压盖上设有与放置槽连通的加样孔和干式荧光检测孔。本实用新型提供的检测用试剂壳,将试剂条放置在放置槽内,盖板与底板闭合后将试剂条密封在试剂壳内,将待测样本通过加样孔滴加到试剂条上,待测样本通过层析作用向两侧扩散,和试剂条上的化学物质充分反应后,将试剂壳插入分析仪器内检测,通过干式化学检测孔和干式荧光检测孔分别对干式化学项目和干式荧光项目进行检测,即可得到相应的检测结果;不仅结构简单、成本低,而且一个样本可以同时检测多个项目,检测效率高。
中冶有色为您提供最新的江苏南京有色金属化学分析技术理论与应用信息,涵盖发明专利、权利要求、说明书、技术领域、背景技术、实用新型内容及具体实施方式等有色技术内容。打造最具专业性的有色金属技术理论与应用平台!