浙江杭州有色金属化学分析技术理论与应用

溶解氧电化学传感器的电极及其制备方法 1064     

 0

本发明公开了溶解氧电化学传感器的电极及其制备方法。它包括贵金属氧探测电极和Ag/AgCl参比电极;贵金属氧探测电极是封装在玻璃毛细管或环氧树脂中的贵金属丝,其表面包裹了有机半透膜;Ag/AgCl参比电极为贵金属丝,其探测端涂覆了含银粉的环氧树脂,并镀有活性氯化银膜。本发明的氧探测电极和Ag/AgCl参比电极体积均很小,探测灵敏度高,耗氧量低,适用范围广,而且所涉及的制备方法工艺简单,成本低廉。它能快速测定天然水体、水溶液及生物体液中的溶解氧含量。在环境实时探测、长期监测和生命科学研究等领域有广泛用途。

搅拌釜中分散相含量的检测方法 705     

 0

本发明公开了一种搅拌釜中分散相含量的检测方法,包括以下步骤:(1)在搅拌釜内部或外壁面设置水听器检测装置;(2)接收多相流体运动过程中产生的振动信号;(3)分析接受到的振动信号,把振动信号按频率分解,根据体系选取特征频段的能量分率与总能量的乘积作为特征变量;(4)根据预先标定的特征变量与反应器内分散相含量之间的预测模型或标准曲线,通过分析采集的振动信号的特征变量判断反应器内的分散相含量。本发明适用于气固体系、液固体系、气液体系、气液固体系等多相体系以及有化学反应发生的多相流动体系,具有简易快捷、安全环保、实时在线的特点,能方便地测量搅拌釜中分散相的含量。

基于深度强化学习的移动机器人避障方法 738     

 0

本发明公开了一种基于深度强化学习的移动机器人避障方法，通过激光雷达获取点云数据，对点云数据进行卷积特征提取，与行人位置、行人速度、全局路径共同作为神经网络输入，建立全连接神经网络，设定环境奖励，通过PPO深度强化学习算法输出机器人动作。相对于其他规划或学习的导航方法，本方法无需对行人进行预测、传感器预处理、简化了算法复杂度，更加适用于在多人环境下的机器人导航策略。同时由于加入全局路径作为输入量，提升了算法的适用范围，同时也加快了算法的收敛时间。

基于深度强化学习算法的实时电压调控方法 741     

 0

一种基于深度强化学习算法的实时电压调控方法，包括：S1：在日前阶段，建立集中优化模型，求解确定有载调压变压器和离散投切电容器组的控制策略；S2：在日中阶段，基于多智能体深度强化学习框架建立多智能体的实时优化深度神经网络，进行离线学习优化，最终获得SOP实时调控策略。本发明在第一阶段，将优化问题表述为一个混合整数二阶锥规划，获得有载分接开关和可投切电容器组的每小时调度策略；在第二阶段，将配电网划分为多个子网络，继而通过良好的控制策略和子网的局部测量信息，实时调节柔性软开关，完成电压的实时调控。本发明面向高渗透率光伏接入的配电网，有效缓解负荷波动带来的电压违规、网损增加等问题。

环保型高中生用化学实验桌 1039     

 0

本发明涉及器材领域附属装置的技术领域，特别是涉及一种环保型高中生用化学实验桌；其方便处理实验产生的化学废液，可防止废液排放对管道造成腐蚀，给使用者带来便利，实用性较高；并且，工作模式较为多样，方便远距离学生观测实验结果，使用效果较强，从而提高其使用可靠性；包括支撑板和四组支腿，四组支腿底端分别设置有四组胶垫；还包括反应器、驱动电机、冷触媒过滤器、过滤网、固定架和活性炭层，反应器侧壁的上方和下方分别设置有进料管和出料管，驱动电机的输出端设置有传动轴；还包括伺服电机、螺纹杆、螺纹管、主动齿轮、被动齿轮、链条、转轴、带动板和摄像器，带动板内设置有工作腔，链条套设在主动齿轮和被动齿轮上。

基于强化学习的服务流程构造方法 968     

 0

本发明公开了一种基于强化学习的服务流程构造方法。将流程构造过程视作图生成过程，使用有向无环图来表示服务流程图，并使用基于深度随机游走的方法来生成服务流程图的图嵌入表示向量；将图嵌入向量输入策略神经网络和价值神经网络，策略神经网络的输出为对服务流程图中的下一条边的预测，价值神经网络的输出为对当前服务流程图价值的估计；根据服务流程构造的不同优化目标来设计奖励函数，将其作为神经网络参数学习的信号，并使用基于策略梯度的方法来学习神经网络参数。本发明提供的基于强化学习的服务流程构造方法能根据不同的流程构造目标来学习流程构造方法的参数，并自动化挑选合适的服务实体来进行流程构造。

基于深度强化学习的无线网络拥塞控制方法 880     

 0

本发明公开了一种基于深度强化学习的无线网络拥塞控制方法，属于无线网络资源管理以及强化学习领域。该方法包括：无线接入网信息预测网络的初始化和预训练，奖励函数再分配网络的初始化和预训练，动作控制网络、价值评价网络和表示网络的初始化和训练，最后实现无线网络拥塞控制。本发明得到的拥塞控制方法相较于以往的传统拥塞控制方法，能得到更高的吞吐量和更低的往返时间，并具有更好的公平性。

基于木马攻击的深度强化学习交通信号控制中毒攻击方法 686     

 0

本发明公开了一种基于木马攻击的深度强化学习交通信号控制中毒攻击方法，根据已有的深度强化学习DQN算法并加入木马攻击对交通路口信号灯控制模型进行训练，通过修改指定位置的车辆信息生成异常交通状态数据，再设定异常交通状态数据下模型采取的异常动作，最后对该异常状态下采取的异常动作设定较高的奖励值实现深度强化学习DQN算法的中毒攻击。本发明最后在模型测试过程中增加路口的车辆等待时间，大幅降低模型的性能，大大降低交通路口的车辆流通效率。

基于虚拟现实和强化学习的熊蜂机器人摆腹控制方法 812     

 0

本发明公开了一种基于虚拟现实和强化学习的熊蜂机器人摆腹控制方法，属于昆虫机器人技术领域。所述控制方法，包括：(1)根据设定的熊蜂腹部摆动的目标模式，采用强化学习算法建立Q表，所述Q表记录了每类摆腹模式下每个动作获得的累积折扣奖励值；(2)监测熊蜂当前时刻的摆腹模式，对照Q表，依据奖励值最大原则，实时做出动作控制熊蜂摆腹。本发明采用算法建立起了熊蜂摆腹行为与视觉刺激器之间的交互机制，不需要进行大量的生物实验来得到刺激‑行为响应之间的关系。本发明视觉刺激诱导熊蜂的运动行为，并以强化学习算法作为控制算法，有效地形成了一个闭环的控制系统，能够精确的控制熊蜂的腹部摆动行为。

基于强化学习的服务任务调度方法 1130     

 0

本发明公开了一种基于强化学习的服务任务调度方法，能对一段较长时间内的服务任务需求下的服务人员调度给出较为合理的安排。首先根据服务任务需求对服务任务进行数学建模，构建服务任务环境。然后使用ε‑Greedy方法在服务任务环境中进行半随机服务人员工作安排，同时使用强化学习方法对半随机人员工作安排过程进行学习，即从不同调度安排之间的价值差异中进行学习，使深度神经网络近似不同调度安排的价值。最后通过使用深度神经网络对实际服务任务需求下不同调度安排的价值进行预测，然后选择输出较优的满足服务任务需求的服务人员调度安排的班表。本发明构建的基于强化学习的服务任务调度方法具有安排速度快、任务班表安排合理的特点。

基于注意力机制的多智能体深度强化学习策略优化方法 995     

 0

本发明公开了一种基于注意力机制的多智能体深度强化学习策略优化方法，所述方法包括如下步骤：搭建多智能体强化学习协作模拟场景，并利用深度确定性策略梯度算法训练多智能体；个性生成器利用概率分类器对智能体观察到的图片的概率分布进行预测，对概率分布器进行训练，使得概率分布器区分智能体更加准确，从而使得智能体的个性逐渐显现；获取每个时间步智能体观察到的图片的特征信息并正则化奖励折扣因子，将得到的奖励折扣因子更新至个性生成器中的奖励函数得到新设置的奖励函数；将新设置的奖励函数更新至深度确定性策略梯度算法的多智能体强化学习框架中对多智能体进行训练，直至多智能体达到收敛。

基于深度强化学习的四足机器人的步态训练方法、装置、电子设备及介质 846     

 0

本申请公开了一种基于深度强化学习的四足机器人的步态训练方法、装置、电子设备及介质。本申请中，可以在模拟器中搭建环境、四足机器人模型以及传感器模型；通过多源信息融合技术以及传感器，获取测量信号，并估计机器人状态；利用环境模块、机器人模型以及测量信号，生成四足机器人的足端轨迹规划和初始步态控制策略；基于深度强化学习算法对四足机器人的初始步态控制策略进行策略提升，直至触发策略提升结束条件。通过应用本申请的技术方案，可以避免相关技术中存在的基于模型控制算法所导致的需要大量的手工调参，人工成本较高的问题。且训练得到的参数往往鲁棒性较差，只能适用于某种固定的场景，难以应付实际四足机器人的多种应用任务的需求。

工业过程的优化学习控制性能提升方法 1026     

 0

本发明公开了一种工业过程的优化学习控制性能提升方法。本发明在传统状态空间模型的基础上，通过构建包含跟踪误差和状态增量的新型状态空间模型，在执行器新模型的基础上提出性能指标并构建值函数与Q函数，最后通过设计非策略Q‑学习算法进行最优控制律学习及性能指标的优化，得到最优的控制器增益，进而提升控制性能。本发明不依赖于系统的数学模型而是对大量在线数据的强化学习，这在实际系统状态很难直接测量或者只能测量部分状态信息的环境下有着突出优势，可以有效地改善实际过程生产的控制性能，使得控制效果与控制精度得到提升。

基于双层模糊强化学习的六足机器人避障方法 1134     

 0

本发明公开了一种基于双层模糊强化学习的六足机器人避障方法，步骤包括：六足机器人通过身体前方三个超声波传感器测量出机器人与周围障碍物的距离，然后将三个距离分别进行模糊推理，将测量的障碍物信息转换为有限的状态；然后计算出输出的动作变量，之后对动作变量再次进行模糊推理，结合两次模糊推理再利用sarsa(λ)训练出机器人在相应状态下所要采取的动作。本发明采用模糊sarsa(λ)的方法，可以很好的解决强化学习难以利用与连续状态的问题，也可以有效的解决模糊控制中模糊推理机制建立复杂的问题。

淬火过程中固-液接触表征的电化学阻抗实验系统及其方法 801     

 0

本发明公开了一种应用于淬火过程中固‑液接触表征的电化学阻抗实验系统及其方法。所述系统由：电动执行器、外装载铜管、试样、高温管式加热炉、管式炉控制器、辅助电极、淬火池、淬火冷却液、平板加热台、电化学工作站、计算机、高温参比电极组成。本发明通过采用由高温参比电极，辅助电极，和试样在淬火冷却液中所组成的三电极体系，基于电化学阻抗数据的固‑液接触计算方法，能够在一定精度范围内推算整个试样表面如汽膜覆盖率等的关键固‑液接触参数，并能够以此评价不同试样的热流密度，判断淬火冷却速率。这对于淬火工况和淬火表面结构的设计具有指导意义。系统结构布置简单，表征测量操作方便，结果直观明了，对于试样的形状包容性良好。

户外小型水质检测站 654     

 0

本实用新型的一种户外小型水质检测站，包括机箱、前置水路、配水单元、检测模块、数据采集与传输单元和控制单元，前置水路从待监测水体采集所需的水样供检测分析使用；配水单元将前置水路采集的水样分配给检测模块进行检测分析；检测模块包括化学检测模块和常规五参数检测池，控制单元包括触摸屏和单片机控制系统，触摸屏上实时显示各个检测参数并通过单片机控制系统操作检测，机箱内分层设置，最下层设置前置水路，在前置水路上依次设置常规五参数检测池和化学检测模块，前置水路通过配水单元分别穿过各层的层板对五参数检测池和化学检测模块提供水样。本实用新型一种户外小型水质检测站实现机箱内模块化设计，实现水质检测站的快速、便捷安装。

检测志贺氏菌的酶免疫传感器及其制备方法和运用 1119     

 0

本发明公开了一种灵敏、快速、准确、特异性高且经济的检测志贺氏菌的酶免疫传感器,包括丝网印刷电极,所述丝网印刷电极的工作电极上涂布有包埋“酶标记志贺氏菌抗体-碳纳米管-壳聚糖”混合物的敏感膜。它将多壁碳纳米管和酶的化学放大功能与免疫传感器的特异性相结合,融合二者的优点,使其同时具备免疫反应的特异性和电化学分析的灵敏性,能准确地进行低含量物质的检测。本发明还公开了该酶免疫传感器的制备方法以及运用,可实现对志贺氏菌的直接检测,具有灵敏、快速、特异性高等优点,并且价格低廉,适用于基层或现场检测志贺氏菌。

基于电导率智慧判别的污水电化学脱氮除磷装置及方法 1077     

 0

本发明公开了一种基于电导率智慧判别的污水电化学脱氮除磷装置及方法，装置包括AO生化反应系统、电化学强化脱氮除磷系统、电导率智慧判别系统和太阳能供电设备。AO生化反应系统主体为进水调节池、缺氧池、好氧池和出水沉淀池；电化学强化脱氮除磷系统主体为活泼金属阳极板、碳基材料阴极网和直流电源；电导率智慧判别系统主体为电导率电极、电导率在线监测仪和PLC控制器，PLC控制器依据电导率数据调控AO生化反应系统与电化学强化脱氮除磷系统的运行模式；太阳能供电设备提供辅助电力。本发明可在原设施基础上进行改造，具有处理效率高、建设成本低、电极使用寿命长、运维管理方便、可实现无人自主调控等优势，贴近农村生活污水处理实际。

基于深度表征学习和强化学习的利尿剂剂量推理设备 624     

 0

本发明公开了一种基于深度表征学习和强化学习的利尿剂剂量推理设备，包含：利尿剂剂量推理单元和数据输入单元；利尿剂剂量推理单元包括：利尿剂剂量推荐模块；环境仿真模块；奖赏模块；对抗模块；数据输入单元用于向利尿剂剂量推理单元输入训练数据集对利尿剂剂量推理单元进行训练及向训练好的利尿剂剂量推理单元输入待预测的个体状态以得到预测结果。本发明的基于深度表征学习和强化学习的利尿剂剂量推理设备，利尿剂剂量推理模块、环境仿真模块、奖赏模块和对抗模块相结合，充分利用和医生不一致但相似的干预措施，且能够充分考虑到治疗进程中的动态时序性，利用鉴别器来解决推荐中反事实缺失的问题，提高推荐的性能，保证推荐的合理性。

基于强化学习的3D NoC映射优化方法 699     

 0

本发明公开了一种基于强化学习的3D NoC映射优化方法，属于运筹优化管理领域。其具体步骤如下：首先根据3D NoC映射需求对IP核映射进行数学建模，构建3D NoC映射环境；然后使用ε‑Greedy方法在3D NoC映射环境中进行半随机IP核映射安排，同时使用强化学习方法对半随机IP核映射过程进行学习，即从不同的IP核映射之间的价值差异中进行学习，使深度神经网络能够近似不同IP核映射的价值；最后通过使用深度神经网络对实际3D NoC映射需求下不同IP核映射的价值进行预测，然后选择输出系统优化的满足3D NoC映射需求的IP核映射序列。本发明构建的基于强化学习的3D NoC映射优化方法具有映射效率高、优化效果好的特点。

电化学储能电站全生命周期内增补方法 1130     

 0

本发明提供一种应用于电化学储能电站全生命周期内的增补方法，包括以下步骤：1)根据电池使用年限确定电池储能系统的所有增补年份方案；2)根据电化学储能电站电池衰减特性、最低输出容量需求、功率和容量配比需求测定在不同增补年份方案A下，需要增补年份的电池和PCS的增补量和从而确定不同的增补方案；3)根据电池和PCS设备价格和土建价格和以及施工成本和增补改造带来的影响成本等确定不同增补方案下的全生命周期内的经济性。4)通过比较得到最优的增补方案。本发明的优点为：所需参数少，计算准确度好，可通过编程或excel快速计算，能在电化学电站建设初期计算全生命周期内增补成本从而节省电站总体投资。

面向深度强化学习模型的特征过滤防御方法 727     

 0

本发明公开了一种面向深度强化学习模型的特征过滤防御方法，包括：(1)针对生成连续行为的DDPG模型，包括actor网络和critic网络，其中，所述actor网络包括动作估计网络和动作实现网络，所述critic网络包括状态估计网络和状态实现网络，对所述深度强化学习模型DDPG进行预训练，并将预训练阶段的当前状态、行为、奖励值以及下一状态保存在缓存区；(2)训练自编码器，并利用训练好的自编码器的编码器对输入状态进行特征过滤，获得过滤后的输入状态对应的特征图，并保存到缓存区；(3)对预训练后的DDPG模型中的卷积核进行剪枝，利用剪枝后的DPG模型进行动作预测，输出并执行预测动作。

湿化学合成金空心壳层纳米结构材料的方法 864     

 0

本发明公开了一种湿化学合成金空心壳层纳米结构材料的方法。首先利用微乳液法制备高纯二氧化锗纳米方块,再将其表面用胺丙基三甲氧基硅烷修饰后,与氯金酸反应生成表面附有金颗粒的二氧化锗纳米复合材料,最后这种纳米复合材料在碳酸钾/氯金酸的混合水溶液中加热反应后离心提纯分离即可得到金空心壳层结构。本发明制备的纳米材料形貌可控且具有纯度高,性能好等优点。具有很好的可重复性。本发明是一种高效率,能精确控制合成金空心壳层纳米材料的方法。本发明可以应用于医药,传感,光探测,催化等领域。

利拉鲁肽生物学活性的检测方法 877     

 0

本发明以细胞内3’,5’-环腺苷酸（cAMP）水平的变化作为检测指标，采用cAMP依赖型蛋白激酶A活性分析法测定利拉鲁肽生物学活性。通过培养大鼠胰岛瘤细胞RIN-m5F，分别加入稀释后的利拉鲁肽对照品溶液和供试品溶液，用试剂盒检测刺激后细胞内cAMP水平变化，用多功能酶标仪的超灵敏化学发光检测模块读取相对化学发光单位（RLU），然后利用统计软件拟合实验数据，通过公式计算供试品的生物学活性。该方法能简便、快速、准确地检测利拉鲁肽生物学活性的变化，其准确性和重复性符合生物制品生物学活性测定方法的要求。

基于差分隐私的深度强化学习模型安全加固方法及装置 1134     

 0

本发明公开了一种基于差分隐私的深度强化学习模型安全加固方法及装置，其中包括一种基于差分隐私的深度强化学习模型安全加固方法，包括如下步骤：从环境中采样数据作为待训练样本集，利用深度强化学习算法构建目标模型，将待训练样本集输入到目标模型中对目标模型进行训练；对训练好的目标模型进行测试，并采样状态动作作为窃取数据集；利用深度强化学习算法构建窃取模型；将窃取数据集作为训练样本输入到窃取模型中并利用模仿学习算法训练窃取模型；将差分隐私保护机制添加到训练好的目标模型中，将目标模型在差分隐私机制的作用下输出的数据输入到窃取模型中；窃取模型在有差分隐私机制作用的数据的影响下作出错误的攻击动作。

基于强化学习粒子群算法的污水处理优化控制方法 765     

 0

本发明涉及一种基于强化学习粒子群算法的污水处理优化控制方法，包括下述步骤：(1)构建基于强化学习的污水处理过程智能体四要素：状态、环境、奖励及行动；(2)建立基于强化学习粒子群算法的污水处理优化控制流程：首先由神经网络模型预测浓度设定值调整趋势，加权至标准粒子群算法位置与速度更新公式，迭代更新，将全局最优作为硝态氮及溶解氧浓度设定值；然后获取进步粒子，记录其浓度设定值及调整趋势，训练神经网络模型；最后对神经网络模型进行评估与更新。本发明依据优化周期重复进行，通过策略评估与不断改进，有助于优化污水处理过程。

基于强化学习的人机共驾控制权切换方法 1056     

 0

本申请公开了一种基于强化学习的人机共驾控制权切换方法，该方法适用于基于强化学习的人机共驾控制权切换系统对驾驶人与驾驶系统之间驾驶权重的分配，该方法包括：根据驾驶人信息和车路预测信息，计算驾驶操作动作预测指数；将所述驾驶操作动作预测指数与综合驾驶操作动作指数，输入至所述控制权切换系统，计算所述驾驶人与所述驾驶系统之间的所述驾驶权重。通过本申请中的技术方案，有效解决了车辆纵向与横向综合的风险，弱化了驾驶人本身带来的不确定性的影响，对驾驶人进行不同角度的综合考虑从而减少了对驾驶人的判断误差。

新型多功能色比/电化学生物传感材料的制备方法 752     

 0

本发明提供一种新型多功能色比/电化学生物传感材料的制备方法，其步骤为：将泡沫镍在H2和Ar气氛下加热到1000℃。然后引入高纯度甲烷以吸附碳源，之后迅速冷却至室温得到镍/石墨烯的三维网络，之后将样品放入Na2WO4、H2C2O4和(NH4)2SO4的水热釜中并用盐酸调节pH值在180℃条件下反应18小时，之后用盐酸和FeCl3将镍骨架腐蚀，得到三维石墨烯@氧化钨纳米线生物传感材料。本发明制备的传感材料显示了优异的色比和电化学传感性能，既实现了色比传感材料方便实用的功能，也能利用其优异的电化学传感性能极为精准的探测多种生物分子，且原料廉价易得，工艺简单，产率高，重复性好。

微波单模腔内集束管式连续流化学反应器及其应用 1048     

 0

本发明提供一种微波单模腔内集束管式连续流化学反应器及其应用，包括微波发生器、微波单模腔和活塞，微波发生器与微波单模腔连接，微波单模腔内有一个集束管式连续流化学反应器，集束管盖上有液体反应物进出导管，与微波单模腔反应物入口和反应物出口相连，反应物入口与带温度和压有力传感器的计量泵、动力泵及反应物容器连接，集束管圆筒壁上有冷凝管入口和冷凝管出口，冷凝管出口通过导管跟气体或液体控制器连接用于控制反应器内温度，并与温度传感器和压力传感器连接。采用本发明装置进行化学反应，可保证微波反应的可测性、可定量、可重复及反应温度的可控性。

基于势能场函数逼近的强化学习方法的泊车策略 663     

 0

本发明公开了一种基于势能场函数逼近的强化学习方法的泊车策略，通过设计势能场来逼近强化学习过程中的状态价值函数；根据车辆状态价值函数值通过ε‑贪婪策略从预设的可执行动作空间中选择执行动作；利用车辆利用状态转移方程根据车辆当前状态和选择的动作预测车辆下一状态；重复选择执行动作和预测状态这一过程至泊车结束，所有选择的动作序列构成实时泊车规划路径。本发明通过训练势能场参数适用于各种不同的泊车区域，在不同的场景下进行泊车路径规划，具有通用性；可实时地规划泊车路径，且该路径可准确跟踪。