浙江有色金属化学分析技术理论与应用

基于深度强化学习算法的实时电压调控方法 740     

 0

一种基于深度强化学习算法的实时电压调控方法，包括：S1：在日前阶段，建立集中优化模型，求解确定有载调压变压器和离散投切电容器组的控制策略；S2：在日中阶段，基于多智能体深度强化学习框架建立多智能体的实时优化深度神经网络，进行离线学习优化，最终获得SOP实时调控策略。本发明在第一阶段，将优化问题表述为一个混合整数二阶锥规划，获得有载分接开关和可投切电容器组的每小时调度策略；在第二阶段，将配电网划分为多个子网络，继而通过良好的控制策略和子网的局部测量信息，实时调节柔性软开关，完成电压的实时调控。本发明面向高渗透率光伏接入的配电网，有效缓解负荷波动带来的电压违规、网损增加等问题。

环保型高中生用化学实验桌 1038     

 0

本发明涉及器材领域附属装置的技术领域，特别是涉及一种环保型高中生用化学实验桌；其方便处理实验产生的化学废液，可防止废液排放对管道造成腐蚀，给使用者带来便利，实用性较高；并且，工作模式较为多样，方便远距离学生观测实验结果，使用效果较强，从而提高其使用可靠性；包括支撑板和四组支腿，四组支腿底端分别设置有四组胶垫；还包括反应器、驱动电机、冷触媒过滤器、过滤网、固定架和活性炭层，反应器侧壁的上方和下方分别设置有进料管和出料管，驱动电机的输出端设置有传动轴；还包括伺服电机、螺纹杆、螺纹管、主动齿轮、被动齿轮、链条、转轴、带动板和摄像器，带动板内设置有工作腔，链条套设在主动齿轮和被动齿轮上。

微滴电化学电解池 1020     

 0

本实用新型公开了一种微滴电化学电解池，包括下盖片和上盖片；下盖片的上表面开设有下溶液槽和导电槽，导电槽内镶嵌有导电薄片，导电薄片连接有外电极；下盖片的侧壁插有进入下溶液槽的参比电极和对电极；下溶液槽的边沿嵌设有下密封垫圈；下盖片的上表面贴合布置有微米丝，微米丝一端与导电薄片抵接；上密封垫圈将微米丝压紧在下密封垫圈上；外密封垫圈将微米丝压紧在导电薄片上；上盖片与下盖片对应扣合，且开设有与溶液腔连通的注液口。本实用新型使用微米丝电极降低所需电解液的体积，达到操作简便、成本低廉的目的；与传统电解池相比具有明显的优势，适合广泛的电化学测试领域。

基于强化学习的服务流程构造方法 968     

 0

本发明公开了一种基于强化学习的服务流程构造方法。将流程构造过程视作图生成过程，使用有向无环图来表示服务流程图，并使用基于深度随机游走的方法来生成服务流程图的图嵌入表示向量；将图嵌入向量输入策略神经网络和价值神经网络，策略神经网络的输出为对服务流程图中的下一条边的预测，价值神经网络的输出为对当前服务流程图价值的估计；根据服务流程构造的不同优化目标来设计奖励函数，将其作为神经网络参数学习的信号，并使用基于策略梯度的方法来学习神经网络参数。本发明提供的基于强化学习的服务流程构造方法能根据不同的流程构造目标来学习流程构造方法的参数，并自动化挑选合适的服务实体来进行流程构造。

基于分布式电源的深度强化学习配电网故障恢复方法 1111     

 0

本申请实施例提出了基于分布式电源的深度强化学习配电网故障恢复方法，包括根据配电网电气节点间的连接关系，建立配电网的电气拓扑图，合并节点形成故障恢复节点，并以联络开关为边，建立故障恢复拓扑图；以每个分布式电源为智能体，建立故障恢复的多智能体马尔科夫决策过程模型，通过在配电网故障恢复中引入分布式电源，有利于进一步提高恢复供电手段的灵活性和恢复供电的负荷量。同时，本发明引入深度强化学习，智能体通过在不同的问题实例下，基于可观测的部分信息搜索分布式电源的供电范围，得到恢复供电的配电网孤岛划分方案，并根据回报函数调整搜索策略训练模型，对不同的问题实例具有较好的适应性。

基于深度强化学习的无线网络拥塞控制方法 880     

 0

本发明公开了一种基于深度强化学习的无线网络拥塞控制方法，属于无线网络资源管理以及强化学习领域。该方法包括：无线接入网信息预测网络的初始化和预训练，奖励函数再分配网络的初始化和预训练，动作控制网络、价值评价网络和表示网络的初始化和训练，最后实现无线网络拥塞控制。本发明得到的拥塞控制方法相较于以往的传统拥塞控制方法，能得到更高的吞吐量和更低的往返时间，并具有更好的公平性。

基于木马攻击的深度强化学习交通信号控制中毒攻击方法 685     

 0

本发明公开了一种基于木马攻击的深度强化学习交通信号控制中毒攻击方法，根据已有的深度强化学习DQN算法并加入木马攻击对交通路口信号灯控制模型进行训练，通过修改指定位置的车辆信息生成异常交通状态数据，再设定异常交通状态数据下模型采取的异常动作，最后对该异常状态下采取的异常动作设定较高的奖励值实现深度强化学习DQN算法的中毒攻击。本发明最后在模型测试过程中增加路口的车辆等待时间，大幅降低模型的性能，大大降低交通路口的车辆流通效率。

检测半胱氨酸的荧光探针的制备方法及应用技术 1038     

 0

本发明的技术领域属于分析化学中分析检测领域，涉及一种新型荧光探针的制备方法及其在检测半胱氨酸(Cys)中的应用。所述制备方法包括探针由3‑氰基乙酰吲哚与氯代的苯基丙烯醛衍生物通过克诺维纳盖尔缩合反应得到，其制备方法简单、探针结构稳定。该探针通过荧光分光光度计可应用于高选择性、高灵敏度、快速地可视化检测半胱氨酸。此外，该探针还成功的应用于生物活细胞的成像。该发明提供了一种新型的检测半胱氨酸的荧光探针的制备方法，具有很好的应用前景。

在高温高压水溶液环境下使用的电化学试样的密封结构及密封方法 926     

 0

本发明属于腐蚀电化学测量及材料表征技术领域，涉及一种在高温高压水溶液环境下使用的电化学试样的密封结构及密封方法，其中，密封结构包括套设在导线外的包裹所述导线的热缩外套、供导线安置并提供支撑功能的支撑棒和包裹试样和支撑棒以及热缩外套在内的热缩管，所述导线电连接于试样，所述支撑棒的底部密封接触所述试样，其中，所述热缩外套和热缩管采用聚四氟乙烯材质，所述支撑棒采用聚醚醚酮材质。本发明采用简单的工艺制备了能够在高温高压水溶液环境下使用的电化学工作电极，操作简单易行，解决了高温高压水溶液环境下的工作电极封装问题。其中热缩聚四氟乙烯包裹的金属导线以及聚醚醚酮棒能够循环使用，节省了试验成本。

基于虚拟现实和强化学习的熊蜂机器人摆腹控制方法 811     

 0

本发明公开了一种基于虚拟现实和强化学习的熊蜂机器人摆腹控制方法，属于昆虫机器人技术领域。所述控制方法，包括：(1)根据设定的熊蜂腹部摆动的目标模式，采用强化学习算法建立Q表，所述Q表记录了每类摆腹模式下每个动作获得的累积折扣奖励值；(2)监测熊蜂当前时刻的摆腹模式，对照Q表，依据奖励值最大原则，实时做出动作控制熊蜂摆腹。本发明采用算法建立起了熊蜂摆腹行为与视觉刺激器之间的交互机制，不需要进行大量的生物实验来得到刺激‑行为响应之间的关系。本发明视觉刺激诱导熊蜂的运动行为，并以强化学习算法作为控制算法，有效地形成了一个闭环的控制系统，能够精确的控制熊蜂的腹部摆动行为。

基于强化学习的服务任务调度方法 1127     

 0

本发明公开了一种基于强化学习的服务任务调度方法，能对一段较长时间内的服务任务需求下的服务人员调度给出较为合理的安排。首先根据服务任务需求对服务任务进行数学建模，构建服务任务环境。然后使用ε‑Greedy方法在服务任务环境中进行半随机服务人员工作安排，同时使用强化学习方法对半随机人员工作安排过程进行学习，即从不同调度安排之间的价值差异中进行学习，使深度神经网络近似不同调度安排的价值。最后通过使用深度神经网络对实际服务任务需求下不同调度安排的价值进行预测，然后选择输出较优的满足服务任务需求的服务人员调度安排的班表。本发明构建的基于强化学习的服务任务调度方法具有安排速度快、任务班表安排合理的特点。

基于注意力机制的多智能体深度强化学习策略优化方法 994     

 0

本发明公开了一种基于注意力机制的多智能体深度强化学习策略优化方法，所述方法包括如下步骤：搭建多智能体强化学习协作模拟场景，并利用深度确定性策略梯度算法训练多智能体；个性生成器利用概率分类器对智能体观察到的图片的概率分布进行预测，对概率分布器进行训练，使得概率分布器区分智能体更加准确，从而使得智能体的个性逐渐显现；获取每个时间步智能体观察到的图片的特征信息并正则化奖励折扣因子，将得到的奖励折扣因子更新至个性生成器中的奖励函数得到新设置的奖励函数；将新设置的奖励函数更新至深度确定性策略梯度算法的多智能体强化学习框架中对多智能体进行训练，直至多智能体达到收敛。

阳极电化学活化过硫酸盐处理印染废水的方法 753     

 0

本发明属于废水处理领域，具体涉及一种阳极电化学活化过硫酸盐处理印染废水的方法。本发明处理方法包括：S1、将一定量待处理的印染废水加入到电化学反应器阳极室，并在阴极室加入等体积的去离子水；S2、向阳极室加入特定浓度过硫酸盐，并加入特定浓度Na2SO4作为支持电解质；向阴极室加入等浓度的Na2SO4支持电解质；S3、在阳极室装入IrO2/Ti电极，阴极室装入相同面积的不锈钢电极，接通电化学反应器电源，监测反应过程电流及废水颜色变化；S4、待反应完毕，打开反应器阳极室排水系统，将处理过的废水排出。与阴极电活化相比，IrO2/Ti阳极电活化过硫酸盐，氧化能力更强，处理效率更高。

纳米银粒子电化学传感器的制备方法及其应用 878     

 0

本发明提供一种纳米银粒子电化学传感器的制备方法及其应用。通过将NaBH4溶液与AgNO3溶液反应制得纳米银溶胶溶液，然后将其滴涂在银盘电极上，让其自然晾干制成纳米银粒子电化学传感器。该电化学传感器可应用于肌红蛋白的测定，结果表明它具有灵敏度高、重现性好、响应快速的优点。

基于深度强化学习的四足机器人的步态训练方法、装置、电子设备及介质 843     

 0

本申请公开了一种基于深度强化学习的四足机器人的步态训练方法、装置、电子设备及介质。本申请中，可以在模拟器中搭建环境、四足机器人模型以及传感器模型；通过多源信息融合技术以及传感器，获取测量信号，并估计机器人状态；利用环境模块、机器人模型以及测量信号，生成四足机器人的足端轨迹规划和初始步态控制策略；基于深度强化学习算法对四足机器人的初始步态控制策略进行策略提升，直至触发策略提升结束条件。通过应用本申请的技术方案，可以避免相关技术中存在的基于模型控制算法所导致的需要大量的手工调参，人工成本较高的问题。且训练得到的参数往往鲁棒性较差，只能适用于某种固定的场景，难以应付实际四足机器人的多种应用任务的需求。

工业过程的优化学习控制性能提升方法 1025     

 0

本发明公开了一种工业过程的优化学习控制性能提升方法。本发明在传统状态空间模型的基础上，通过构建包含跟踪误差和状态增量的新型状态空间模型，在执行器新模型的基础上提出性能指标并构建值函数与Q函数，最后通过设计非策略Q‑学习算法进行最优控制律学习及性能指标的优化，得到最优的控制器增益，进而提升控制性能。本发明不依赖于系统的数学模型而是对大量在线数据的强化学习，这在实际系统状态很难直接测量或者只能测量部分状态信息的环境下有着突出优势，可以有效地改善实际过程生产的控制性能，使得控制效果与控制精度得到提升。

循环冷却水微碱化过渡期换热器电化学诱导成膜方法 857     

 0

一种循环冷却水微碱化过渡期换热器电化学诱导成膜方法。首先，将循环冷却水系统换热器与较活泼的金属—锌块相连，组成原电池，将循环水pH调至2~4，运行过程中监测循环水中的金属离子含量，约2~3天后，当其上升趋势变缓，清洗完成。对于黄铜质换热器，将系统调至碱性，加入氧化剂，一定时间后即可在其表面形成一层Cu2O钝化膜，撤除阴极保护之后，逐渐转化为稳定的CuO钝化膜，此后，黄铜腐蚀速率< 0.005mm/a。对于碳钢质换热器，先一次性加入Fe2+，循环一定时间后，将溶液调至碱性，再加入氧化剂，一定时间后撤除阴极保护，其表面形成致密的氧化铁钝化膜，腐蚀速率< 0.01mm/a，防止出现局部腐蚀，完成循环冷却水微碱化过渡阶段。

基于双层模糊强化学习的六足机器人避障方法 1133     

 0

本发明公开了一种基于双层模糊强化学习的六足机器人避障方法，步骤包括：六足机器人通过身体前方三个超声波传感器测量出机器人与周围障碍物的距离，然后将三个距离分别进行模糊推理，将测量的障碍物信息转换为有限的状态；然后计算出输出的动作变量，之后对动作变量再次进行模糊推理，结合两次模糊推理再利用sarsa(λ)训练出机器人在相应状态下所要采取的动作。本发明采用模糊sarsa(λ)的方法，可以很好的解决强化学习难以利用与连续状态的问题，也可以有效的解决模糊控制中模糊推理机制建立复杂的问题。

淬火过程中固-液接触表征的电化学阻抗实验系统及其方法 801     

 0

本发明公开了一种应用于淬火过程中固‑液接触表征的电化学阻抗实验系统及其方法。所述系统由：电动执行器、外装载铜管、试样、高温管式加热炉、管式炉控制器、辅助电极、淬火池、淬火冷却液、平板加热台、电化学工作站、计算机、高温参比电极组成。本发明通过采用由高温参比电极，辅助电极，和试样在淬火冷却液中所组成的三电极体系，基于电化学阻抗数据的固‑液接触计算方法，能够在一定精度范围内推算整个试样表面如汽膜覆盖率等的关键固‑液接触参数，并能够以此评价不同试样的热流密度，判断淬火冷却速率。这对于淬火工况和淬火表面结构的设计具有指导意义。系统结构布置简单，表征测量操作方便，结果直观明了，对于试样的形状包容性良好。

户外小型水质检测站 653     

 0

本实用新型的一种户外小型水质检测站，包括机箱、前置水路、配水单元、检测模块、数据采集与传输单元和控制单元，前置水路从待监测水体采集所需的水样供检测分析使用；配水单元将前置水路采集的水样分配给检测模块进行检测分析；检测模块包括化学检测模块和常规五参数检测池，控制单元包括触摸屏和单片机控制系统，触摸屏上实时显示各个检测参数并通过单片机控制系统操作检测，机箱内分层设置，最下层设置前置水路，在前置水路上依次设置常规五参数检测池和化学检测模块，前置水路通过配水单元分别穿过各层的层板对五参数检测池和化学检测模块提供水样。本实用新型一种户外小型水质检测站实现机箱内模块化设计，实现水质检测站的快速、便捷安装。

检测志贺氏菌的酶免疫传感器及其制备方法和运用 1118     

 0

本发明公开了一种灵敏、快速、准确、特异性高且经济的检测志贺氏菌的酶免疫传感器,包括丝网印刷电极,所述丝网印刷电极的工作电极上涂布有包埋“酶标记志贺氏菌抗体-碳纳米管-壳聚糖”混合物的敏感膜。它将多壁碳纳米管和酶的化学放大功能与免疫传感器的特异性相结合,融合二者的优点,使其同时具备免疫反应的特异性和电化学分析的灵敏性,能准确地进行低含量物质的检测。本发明还公开了该酶免疫传感器的制备方法以及运用,可实现对志贺氏菌的直接检测,具有灵敏、快速、特异性高等优点,并且价格低廉,适用于基层或现场检测志贺氏菌。

基于深度强化学习和块规划的月面路径规划系统和方法 1059     

 0

本发明公开了一种基于深度强化学习和块规划的月面路径规划方法，用于月面机器人在大范围月面地形中的快速路径规划。基于深度强化学习方法，提出了一种端到端的路径规划器，能够基于特定尺寸的月面可穿越性地图和机器人位置、目标位置，直接求解当前最佳运动方向。基于分层思想，设计一种块规划应用架构，首先利用块规划器在缩小地图上进行粗略初始路径规划，然后利用块规划器沿着初始路径进行分块精确路径规划。块规划应用架构能够有效压缩求解空间，显著降低路径规划时耗。本发明主要用于月面大范围遥测地形图上的机器人路径规划，通过端到端规划器和块规划应用架构的设计使得本发明的方法具有规划速度快的优势。

可自动修复的危险品化学仓库 714     

 0

本发明公开了一种可自动修复的危险品化学仓库，包括仓库本体、消防沙箱、控制器和探测器组件，所述消防沙箱包括箱体、挡板组件和进沙斗，所述箱体固定在仓库本体的内部顶端，所述箱体的顶面中央设有进沙口，所述进沙斗固定在仓库本体的外部顶面中央且出料管穿过进沙口并伸入箱体的内腔之中，所述箱体的底面设有漏沙口和若干个间隔设置的漏沙长槽，所述漏沙长槽上固定有导沙扁管，所述挡板组件包括板体、支架和气缸，所述板体位于导沙扁管之间，所述气缸通过支架推动板体前后运动从而挡住或者放开漏沙口，所述导沙扁管的底部设有电磁阀，能够有效灭火并阻止火势绵延，达到对危险品化学仓库进行实时监控，对出现预警情况进行自动修复的目的。

化学试验用称量取药勺 752     

 0

本实用新型公开了一种化学试验用称量取药勺，包括电子称重装置、母勺、子勺、拨料块、推杆、勺柄和重量显示装置，所述勺柄的前端一体式固定连接母勺，母勺内部设置有子勺，子勺下方的母勺内安装有电子称重装置，电子称重装置与重量显示装置电路连接，重量显示装置设置在勺柄后部，重量显示装置电路连接测量开关，中空勺柄内部设有推杆，推杆后端连接复位弹簧，推杆前端连接拨料块，所述推杆中部固定连接有推拉块，推拉块滑动设置在勺柄上的滑槽内，所述一种化学试验用称量取药勺，结构简单，操作方便，使取药工作更为方便和精确，便于操作人员控制取药量，使用效果好，适用于对化学药物的精确称量。

基于电导率智慧判别的污水电化学脱氮除磷装置及方法 1077     

 0

本发明公开了一种基于电导率智慧判别的污水电化学脱氮除磷装置及方法，装置包括AO生化反应系统、电化学强化脱氮除磷系统、电导率智慧判别系统和太阳能供电设备。AO生化反应系统主体为进水调节池、缺氧池、好氧池和出水沉淀池；电化学强化脱氮除磷系统主体为活泼金属阳极板、碳基材料阴极网和直流电源；电导率智慧判别系统主体为电导率电极、电导率在线监测仪和PLC控制器，PLC控制器依据电导率数据调控AO生化反应系统与电化学强化脱氮除磷系统的运行模式；太阳能供电设备提供辅助电力。本发明可在原设施基础上进行改造，具有处理效率高、建设成本低、电极使用寿命长、运维管理方便、可实现无人自主调控等优势，贴近农村生活污水处理实际。

基于深度表征学习和强化学习的利尿剂剂量推理设备 624     

 0

本发明公开了一种基于深度表征学习和强化学习的利尿剂剂量推理设备，包含：利尿剂剂量推理单元和数据输入单元；利尿剂剂量推理单元包括：利尿剂剂量推荐模块；环境仿真模块；奖赏模块；对抗模块；数据输入单元用于向利尿剂剂量推理单元输入训练数据集对利尿剂剂量推理单元进行训练及向训练好的利尿剂剂量推理单元输入待预测的个体状态以得到预测结果。本发明的基于深度表征学习和强化学习的利尿剂剂量推理设备，利尿剂剂量推理模块、环境仿真模块、奖赏模块和对抗模块相结合，充分利用和医生不一致但相似的干预措施，且能够充分考虑到治疗进程中的动态时序性，利用鉴别器来解决推荐中反事实缺失的问题，提高推荐的性能，保证推荐的合理性。

基于强化学习的3D NoC映射优化方法 699     

 0

本发明公开了一种基于强化学习的3D NoC映射优化方法，属于运筹优化管理领域。其具体步骤如下：首先根据3D NoC映射需求对IP核映射进行数学建模，构建3D NoC映射环境；然后使用ε‑Greedy方法在3D NoC映射环境中进行半随机IP核映射安排，同时使用强化学习方法对半随机IP核映射过程进行学习，即从不同的IP核映射之间的价值差异中进行学习，使深度神经网络能够近似不同IP核映射的价值；最后通过使用深度神经网络对实际3D NoC映射需求下不同IP核映射的价值进行预测，然后选择输出系统优化的满足3D NoC映射需求的IP核映射序列。本发明构建的基于强化学习的3D NoC映射优化方法具有映射效率高、优化效果好的特点。

电化学储能电站全生命周期内增补方法 1128     

 0

本发明提供一种应用于电化学储能电站全生命周期内的增补方法，包括以下步骤：1)根据电池使用年限确定电池储能系统的所有增补年份方案；2)根据电化学储能电站电池衰减特性、最低输出容量需求、功率和容量配比需求测定在不同增补年份方案A下，需要增补年份的电池和PCS的增补量和从而确定不同的增补方案；3)根据电池和PCS设备价格和土建价格和以及施工成本和增补改造带来的影响成本等确定不同增补方案下的全生命周期内的经济性。4)通过比较得到最优的增补方案。本发明的优点为：所需参数少，计算准确度好，可通过编程或excel快速计算，能在电化学电站建设初期计算全生命周期内增补成本从而节省电站总体投资。

面向深度强化学习模型的特征过滤防御方法 727     

 0

本发明公开了一种面向深度强化学习模型的特征过滤防御方法，包括：(1)针对生成连续行为的DDPG模型，包括actor网络和critic网络，其中，所述actor网络包括动作估计网络和动作实现网络，所述critic网络包括状态估计网络和状态实现网络，对所述深度强化学习模型DDPG进行预训练，并将预训练阶段的当前状态、行为、奖励值以及下一状态保存在缓存区；(2)训练自编码器，并利用训练好的自编码器的编码器对输入状态进行特征过滤，获得过滤后的输入状态对应的特征图，并保存到缓存区；(3)对预训练后的DDPG模型中的卷积核进行剪枝，利用剪枝后的DPG模型进行动作预测，输出并执行预测动作。

湿化学合成金空心壳层纳米结构材料的方法 864     

 0

本发明公开了一种湿化学合成金空心壳层纳米结构材料的方法。首先利用微乳液法制备高纯二氧化锗纳米方块,再将其表面用胺丙基三甲氧基硅烷修饰后,与氯金酸反应生成表面附有金颗粒的二氧化锗纳米复合材料,最后这种纳米复合材料在碳酸钾/氯金酸的混合水溶液中加热反应后离心提纯分离即可得到金空心壳层结构。本发明制备的纳米材料形貌可控且具有纯度高,性能好等优点。具有很好的可重复性。本发明是一种高效率,能精确控制合成金空心壳层纳米材料的方法。本发明可以应用于医药,传感,光探测,催化等领域。