浙江杭州有色金属分析检测技术理论与应用

用于人类行为识别的深度联合结构化和结构化学习方法 706     

 0

一种用于人类行为识别的深度联合结构化和结构化学习的方法，包括以下步骤：1)构造联合结构和结构公式化；2)使用空间网络从图像中的人体区域提取深层卷积神经网络特征，将空间网络的fc6层的输出作为深度特征，使用梯度直方图和光流直方图特征来进一步增强特征表示；CNN，HOG和HOF特征被连接以表示图像中的个人行为或交互关系，使用这种特征为每个数据集训练两个线性支持向量机分类器，使用组合特征来计算公式(1)中的联合特征；3)训练模型的参数；4)训练和预测中的相关推理，在训练的每次迭代期间，针对每个训练示例解决损失增强推理。本发明适用于多个行为类别的图像、能够识别交互行为。

强化学习多代理合作任务下的代理贡献分配的方法 966     

 0

本发明公开了一种强化学习多代理合作任务下的代理贡献分配的方法，包括：每个代理独立观测环境状态，输入各自的策略网络，得到各自的动作决策；在模拟环境执行各代理的动作，环境反馈的全局奖励；将各代理之间的交互建模为一张无向图，使用此图计算出每个代理的贡献权值；使用各代理的贡献权值计算各代理的局部奖励，使用此局部奖励对每个代理各自的策略网络进行训练。该方法能够对多个代理与环境交互后的结果（奖励）进行贡献分配，能够起到可信度赋值的效果，给训练算法提供更加精准的奖励描述，帮助多代理系统在合作任务上学习到更好的策略。

深层土壤中无机物和有机物的原位实时光学检测装置 716     

 0

本发明涉及一种深层土壤中无机物和有机物的原位实时光学检测装置，所述检测装置包括深层土壤原位实时探测探针和深层土壤光谱分析仪，所述检测装置对可见光谱和红外光谱分别进行分析，为解决无机和有机物等所有种类的污染物放在一起检测提供了保障，通过光学可见光的发射光谱和红外的吸收光谱，实现非靶向的、原位实时的土壤污染物检测。本发明的突破点在于整合了对土壤中无机物和有机物的进行原位实时检测化验，通过结合金属元素的可见光发射光谱和有机物的红外吸收光谱判断土壤的污染情况。本发明为绿色检测技术，检测过程无副产品、无额外化学反应物生成。

基于强化学习和模仿学习的智能补货决策方法及存储介质 1062     

 0

本发明为基于强化学习和模仿学习的智能补货决策方法及存储介质，包括MDP设计模块，模仿学习建模模块以及智能决策模块；模仿学习建模模块包括行为克隆模块以及对抗式模仿学习模块；智能决策模块包括基础策略以及探索策略。本发明结合行为克隆和对抗式模仿学习两种方式，通过行为克隆应对简单业务场景，使智能体的补货决策能力达到专家平均水平，通过对抗式模仿学习构建对抗奖励函数应对复杂业务场景，超越专家决策水平。本发明有效解决现有补货系统对输入数据依赖度较高，模型稳定性低、泛化能力弱的问题，并避免了黑盒预测，拥有更好的商业落地能力以及业务拓展能力。

带动作集合的强化学习干扰波形生成、评价方法及装置 796     

 0

本发明公开了带动作集合的强化学习干扰波形生成、评价方法及装置，建立干扰波形库；构建干扰波形决策网络，包括策略网络和价值网络；探索阶段使用跟踪算法进行干扰，填充经验池；从经验池中随机选取一组数据；根据当前通信状态的干扰动作，通过策略网络预测下一时刻相应干扰动作；根据策略网络输出的干扰动作，生成离散化干扰动作，从干扰波形库中选取干扰动作，并结合策略网络输出的干扰动作，共同输入价值网络，得到价值最高的干扰动作作为实际的干扰动作；再进行干扰效果评价。针对干扰动作和干扰参数庞大的情况，对通信方的抗干扰行为进行学习，解决了现有干扰波形算法收敛速度慢、准确率不高的问题，实现了精准干扰。

基于化学放能反应驱动的仿青蛙水下软体机器人 655     

 0

本发明属于软体机器人领域，具体涉及一种基于化学放能反应驱动的仿青蛙水下软体机器人，包括机器人主体和腿部驱动组件，所述腿部驱动组件包括主腿管、柔性弹力隔膜、伸缩腿管、仿生伞蹼、放能激励装置和放能原料储放装置，放能原料储放装置用以为反应室输送放能反应原料，放能激励装置用以激励反应室内的原料进行放能反应以推动柔性弹力隔膜鼓起。本发明的机器人具有结构较简单、环境适应性高、驱动简单等优点，且能够进行向前的运动。该设计的发明，有助于解决仿生软体机器人驱动效率低、运动表现速度慢的领域缺点，与此同时，可实现迅速启动、水下监测等功能。

基于强化学习的大型电动汽车充电站的充电优化调度方法 588     

 0

本发明提供了一种基于强化学习的大型电动汽车充电站的充电优化调度方法。首先在当下实际的电动汽车充电站采集数据，并根据状态空间、动作空间及目标函数的定义对采集的数据进行处理，然后运用处理后的数据进行神经网络模型的训练及测试，在保证所用模型的有效性的前提下，将充电站的实际情况作为模型的输入，以模型的输出作为电动汽车充电的参考策略进行实际的充电操作。有效了解决了充电环境下的不确定性问题，而且本发明的方法并不受限于充电站的规模以及充电站达到的电动汽车的数量，训练所得的模型更具有通用性，适用于不同规模下的电动汽车充电站。为电动汽车充电站解决充电调度模型的通用性以及最大化能源和经济效益问题。

在线检测微波反应装置 842     

 0

一种在线检测微波反应装置,包含有微波炉(6)和反应器(5),其特征是温控器(7)与微波炉(6)相连,反应器(5)内的温度探头(4)连接温控器(7),反应器(5)有输液管与检测器(2)相连,检测器(2)与微机(1)连接,恒流泵(3)由输液管分别与检测器(2)和反应器(5)连接。本实用新型适用于蛋白合成、氨基酸合成、MAILLARD REACTION反应的食品添加剂合成、药物化学、食品化学等具有特征吸收的化学反应的在线检测,具有反应能连续进行、在线检测反应、温控精度高、能对反应进行定量研究、图谱分析带来方便等优点。

铁皮石斛中残留农药的检测方法 807     

 0

本发明涉及新型农药检测技术领域，为解决现有农作物残留农药检测方法存在的分析时间长、能耗高、重现性差、回收率和灵敏度低的问题，提供了一种铁皮石斛中残留农药的检测方法，包括以下步骤：(1)将生物质吸附剂填装固相萃取小柱并活化；(2)将铁皮石斛样品溶液离心，淋洗固相萃取小柱，得洗脱液；(3)离心过滤，采用超高效液相色谱串联四级杆飞行时间质谱仪分析检测。本发明将微波化学合成法与微型固相萃取方法结合应用于本项工作，节省了分析时间，减少了能量消耗，可靠，准确，重现性好，回收率高，提取效率高效且灵敏度显著增加。

致密金纳米颗粒的快速化学镀膜方法及其生产设备 912     

 0

本发明提供一种致密金纳米颗粒的快速化学镀膜方法及其生产设备，包括以下步骤：以二氧化硅颗粒为镀膜载体，进行表面羧基化处理；在氯金酸溶液中投加还原剂、氨基硅烷偶联剂，制备氨基金纳米颗粒溶胶B；通过NHS/EDC的偶联作用，将氨基金纳米颗粒溶胶B嫁接到羧基二氧化硅颗粒A表面，形成含致密种子生长层的颗粒C；在颗粒C中加入还原剂和核黄素介体，缓慢注入氯金酸溶液，反应0.5‑1h后，经真空干燥后进行高温隔氧煅烧。本发明可以获得表面金膜层粒径为5‑40nm的二氧化硅颗粒，对汞的富集和脱附效果好；采用金膜富集‑冷原子法测定汞的回收率可以达到96％以上，循环次数达到3500次以上，产品性能稳定，表面金膜颗粒均匀。

基于强化学习防御渗透攻击的方法及装置、电子设备 872     

 0

本发明公开了一种基于强化学习防御渗透攻击的方法及装置、电子设备，该方法包括：(1)将渗透测试过程建模为马尔可夫决策过程，其中所述马尔可夫决策过程包括状态、动作、奖励值；(2)训练智能体,其中所述智能体作为渗透攻击方，训练目标为生成当前最优渗透攻击路径过程；(3)将网络环境中敏感主机的价值进行符号翻转，并设置获得目标敏感主机的Root权限时渗透攻击的回合不结束，将渗透攻击的回合的结束条件修改为回合中训练步数达到了预定阈值；(4)将对主机价值的修改更新到步骤(1)的奖励值中，利用训练好的智能体对步骤(3)中的网络环境进行防御训练，重复防御训练的过程直至训练回合数达到预定阈值，得到防御渗透攻击的策略。

单层二硫化钼的化学气相沉积制备方法及其在薄膜晶体管中的应用 1019     

 0

本发明公开了一种单层二硫化钼的化学气相沉积制备方法及其在薄膜晶体管中的应用；本发明以三氧化钼和硫单质作为反应物，在三氧化钼中加入氢氧化钠，生长得到了质量更好的单层MoS2，晶畴大于100μm，且不局限于一种或者几种衬底材料，在多种单晶和多晶衬底材料上均可稳定生长，本发明还将制备出的单层MoS2应用于薄膜场效应晶体管中，并对薄膜晶体管进行电学测试，获得转移特性曲线，计算出迁移率达121cm2V‑1s‑1，证明该方法制备出的单层MoS2符合半导体器件的应用需求。

基于肽图的单抗糖型检测方法 826     

 0

本发明涉及化学分析检测技术领域，尤其是涉及一种基于肽图的单抗糖型检测方法。基于肽图的单抗糖型检测方法，包括如下步骤：(a)采用超高压液相色谱‑质谱采集肽图试样的质谱信号，获取不同糖型修饰的糖肽的分子量；(b)对照含有各种糖型修饰的糖肽的分子量的数据库，确定所述不同糖型修饰的糖肽所对应的糖型；所述肽图试样的制备包括：在液相环境中，采用变性剂和还原剂对单抗样品进行变性处理；再进行烷基化处理和酶切反应，然后终止酶切反应。本发明基于单抗样品的肽图分析单抗的糖型，解决了现有技术无法兼顾糖型分析效率和分析精度的技术问题。

脑瘤MIB-1指数范围检测方法 743     

 0

本发明涉及一种通过分析脑瘤患者的磁共振图像得到脑瘤MIB-1指数范围的检测方法，包括步骤：采集脑瘤患者的磁共振图像，构造病变区域图像训练样本；提取病变区域图像训练样本的图像特征，根据提取的病变区域图像训练样本的图像特征，训练得到支持向量机模型；构造病变区域图像检测样本，提取病变区域图像检测样本的图像特征；根据病变区域图像检测样本的图像特征，用支持向量机模型检测并获取该病变区域图像检测样本的MIB-1指数所处的范围。本发明克服了现有技术中只能通过手术获得脑瘤病理组织后利用免疫组织化学检测MIB-1指数的缺陷，避免了在免疫组织化学检测中引入的检测者主观思维及标准化不足的问题。

化学机械平坦化设备 835     

 0

本实用新型公开了一种化学机械平坦化设备，包括研磨垫，设于旋转台上；研磨头，用于带动晶圆在研磨垫上旋转以研磨晶圆表面；研磨液输送臂，包括带有出口的研磨液输送管，用于向研磨垫上输送研磨液；还包括，冷却单元，用于降低研磨液输送管内研磨液的温度；加热单元，用于升高研磨液输送管内研磨液的温度；调控单元，用于至少监测研磨垫的温度和研磨液输送管内研磨液的温度，以通过冷却单元和/加热单元的调节，使得研磨垫的温度和研磨液输送管出口处的研磨液温度趋于相同。本实用新型中研磨液温度可以快速升降双向切换；降低能耗；提高生产效率。

基于多智能体强化学习的无线充电设备协作任务卸载策略 716     

 0

本发明公开了一种基于多智能体强化学习的无线充电设备协作任务卸载策略，使用Q‑Learning算法以及神经网络来学习多个移动设备如何在有限的计算资源和电量资源环境下进行协作任务卸载。本发明首次将多用户协作任务卸载建模为部分可观测马尔可夫决策过程（POMDP）的问题表述，视每个智能体为相互独立的学习者，提出了一种在无线充电D2D网络环境下基于多智能体深度确定性策略梯度（MADDPG）的协作任务执行方案（CACTE），其目标是使多个移动设备彼此有效地协作，从而执行更多任务，获得更高的长期回报。并且，将本发明提出的策略与其他策略在不同实验参数下进行对比，证明了本发明所提出策略的有效性。

耦合微腔光子分子的生物化学传感器 963     

 0

本发明涉及一种耦合微腔光子分子的生物化学传感器。本发明包括一段熔锥光纤、一个光微流微腔和一个外部封装聚合物，熔锥光纤主要成分为二氧化硅，直径为3-5μm，搭靠在微流微腔上；微流微腔主要成分为二氧化硅，直径为100-500μm，壁厚为2-20μm；封装聚合物主要为低折射率材料，折射率在1-1.4之间，用于固定熔锥光纤与微流微腔的相对位置关系。本发明具有结构紧凑，尺寸小，抗外界振动能力强，稳定性好，探测极限低，制作工艺比较简单以及成本低等优点。

用于定量检测单个活细菌粘附行为的原位测试系统和测试方法 862     

 0

本发明公开了一种用于定量检测单个活细菌粘附行为的原位测试系统和测试方法，所述测试系统包括电磁屏蔽箱、电化学工作站、计算机、设于电磁屏蔽箱内的减震台、以及设于减震台上的原子力显微镜和光学倒置显微镜；所述的原子力显微镜包括AFM基盘和AFM扫描器。采样本发明的系统和方法可以实现在细菌真实的生理代谢过程中定量检测单个活细菌在材料表面的粘附行为(包括细菌和材料表面粘附力、膜外蛋白生物大分子链长度、平均展开事件次数、平均展开力)，并同时获得单个活细菌和材料之间电子转移信号。

基于强化学习的Baxter机械臂轨迹跟踪控制方法 594     

 0

一种基于强化学习的Baxter机械臂轨迹跟踪控制方法，首先对Baxter机械臂前三个关节进行系统辨识，确定其连续时间的状态空间方程并将之离散化，得到离散的状态空间模型，该步骤仅用于在仿真时获取机器人前三个关节下一时刻的位置和速度跟踪误差；首先给定机械臂前三个关节一个初始状态，按照固定的采样时间测量并记录三个关节下一时刻的位置和速度跟踪误差，对采集到的位置和速度信息预处理之后使用递归的最小二乘法计算最优控制策略所对应的权值矩阵H，最后根据权值矩阵计算出下一时刻的最优反馈控制。本发明自动适应模型改变带来的模型误差，提高机器人在日常使用中的准确性。

多代理强化学习合作任务下的奖励函数建模方法 669     

 0

本发明公开了一种多代理强化学习合作任务下的奖励函数建模方法，包括：每个代理独立观测环境状态，输入各自的策略网络，得到各自的动作决策；在模拟环境执行各代理的动作，得到每个代理各自的奖励；将各代理之间的交互建模为一张无向图，使用此图计算出每个代理的奖励的加权总和；使用加权后的奖励训练代理的策略网络。该方法能够对多个代理与环境交互后的结果进行整合，同时建模出的无向图能够起到可信度赋值的效果，给训练算法提供更加精准的奖励描述，帮助多代理系统在合作任务上学习到更好的策略。

多智能体强化学习和双层策略分配的多区域热电协调控制方法 726     

 0

本发明公开了一种基于多智能体强化学习和双层策略分配的多区域热电协调控制方法，包括：建立多区域热电联合系统数字孪生模型；创建多个区域智能体，并建立多个区域智能体间的通信机制；设计基于多智能体均衡学习算法的多区域均衡控制器，包括奖励函数、均衡选择函数和资格迹的选取；通过多区域均衡控制器对各个区域进行状态估计、更新资格迹、奖励值观测和更新状态‑动作值函数操作后，再进行多个区域部分信息的交互，在线寻求各区域最优均衡总控制策略；将区域热电联合系统中每台机组作为一个机组智能体，以各机组的爬升时间作为一致性变量，采用一致性算法将各区域总控制策略分配给各个机组，实现区域内各机组之间的协调控制。

山核桃功能器官和林地土壤C、N、P化学计量相关性确定方法 679     

 0

本发明公开了山核桃功能器官和林地土壤C、N、P化学计量相关性确定方法，此确定山核桃季节性精准施肥措施，包括：采样；土壤指标和植株全氮全磷含量测定；采用SPSS软件进行数据处理。采用本发明的方法，可以确定，叶片和细根的N、P含量与土壤N、P含量间没有明显的相关性，这说明山核桃植株对土壤N、P的变化具有内稳态平衡机制。叶物质的积累与叶片的C∶P比呈现极显著相关，由此我们可以推断P对山核桃碳物质的积累，即植株的生长发育乃至结实起着极其重要的作用。

电化学耦合上流式厌氧生物反应装置及使用方法 618     

 0

本发明涉及一种电化学耦合上流式厌氧生物反应装置及使用方法。该装置包括上流式厌氧生物反应器筒体、生物电极系统、恒温水浴系统，生物电极系统为所述的上流式厌氧生物反应器筒体内微生物体系提供电子供体，恒温水浴系统为所述的上流式厌氧生物反应器筒体提供恒温水浴；上流式厌氧生物反应器的污泥区设置一对可调电极面积和电极间距的生物电极，生物电极通过金属导线与反应装置主体外部的直流电源相连接，电极电压、回路电流以及阴极电势均通过装置主体外部连接的直流电源和电表进行实时监测和调控。本发明加速厌氧污泥颗粒化，实现反应器的快速启动和对氯代硝基苯的稳定降解，并且结构可靠、易加工、能耗小、运行稳定。

基于深度强化学习的分层决策方法 757     

 0

本发明公开了一种基于深度强化学习的分层决策方法，先初始化决策对象的战术决策层智能体和意图识别层智能体，意图识别智能体采用深度循环Q网络根据输入的意图识别观测信息，生成意图识别层行为，根据意图识别层行为选择战术决策层智能体；战术决策层智能体采用深度确定性策略梯度算法，根据战术决策观测信息计算战术决策层智能体的行为。本发明战术决策层和意图识别层在训练时是相互独立的，在决策时是相互联系的，避免了同时训练难以收敛的问题，能够加快训练时的算法收敛速度，进而提升智能体整体决策能力。

基于强化学习的无超调PID控制器参数整定方法 1091     

 0

本申请涉及一种基于强化学习的无超调PID控制器参数整定方法。本申请通过构造学习智能体，观测当前状态数据输入到动作神经网络得到动作参数，之后再观测下一状态的数据以及奖励。当前状态，动作，转移后状态，奖励值，四个元素组成了状态转移元组，每一次被控对象执行动作时都会进行一次状态转移，并将状态转移元组存入经验池内。智能体抽取一定量的状态转移元组，用于训练动作网络和评价网络。重复训练动作网络和评价网络直到参数收敛，保存参数权重。最终智能体根据当前状态数据输出最优PID参数提供给PID控制器，使得被控对象的状态值在无超调的基础上以较快的速度达到设定值，进而实现对控制器PID参数无超调整定的方面改进。

外周血中抗NY-ESO-1自身抗体的检测方法 1064     

 0

本发明公开了一种外周血中抗NY?ESO?1自身抗体的检测方法，所述方法以NY?ESO?1重组蛋白为抗原制备抗NY?ESO?1抗体，将抗NY?ESO?1抗体与胶乳微球偶联制备抗体偶联物，然后将NY?ESO?1重组蛋白混合液a与外周血待测样品混合反应5?10min，最后再加入抗体偶联物，检测546nm处吸光值，根据标准曲线获得样品中抗NY?ESO?1自身抗体浓度；本发明还提供一种外周血中抗NY?ESO?1自身抗体的化学发光检测方法。本发明所述外周血中抗NY?ESO?1自身抗体的检测方法可在生化分析仪和化学发光免疫分析仪等大型自动化仪器上进行大样本自动化检测，灵敏度1?10ng/mL。

基于均相化学发光技术的快速诊断试纸条 1019     

 0

本发明公开了一种基于均相化学发光技术的快速诊断试纸条，包括PVC底板、样品垫、玻璃纤维垫、包被C线以及T线的硝酸纤维素膜、吸水垫；玻璃纤维垫中包被有偶联了特异性抗体Ⅰ的供体微球；硝酸纤维素膜的T线为偶联了特异性抗体Ⅱ的受体微球，硝酸纤维素膜的C线为偶联了能与所述特异性抗体Ⅰ相结合的特异性抗体Ⅲ的受体微球；所述特异性抗体Ⅰ和特异性抗体Ⅱ均能与待测蛋白特异性结合，且结合在待测蛋白质的不同表位。该诊断试纸条具有特异性强、灵敏度高、快捷、简便、可定量，适合快速诊断等特点。

多代理强化学习合作任务场景下的代理间交换知识的方法 682     

 0

本发明公开了一种多代理强化学习合作任务场景下的代理间交换知识的方法，包括：每个代理独立观测环境，使用神经网络将环境进行编码，提取相关的特征向量；所述代理将各自的特征向量交由中心站（使用循环神经网络实现）进行整合，所述中心站为各代理生成新的知识编码并进行分发；所述代理接收到新的知识，整合旧有的环境特征向量，然后输入神经网络策略进行决策；上述所有神经网络的参数学习是端到端进行的。该方法能够对多个代理所观测的知识进行整合，帮助多代理系统在合作任务上学习到更好的策略。其中，代理的数目不受限制。

水体中壬基酚聚氧乙烯醚的气相色谱-质谱检测方法 826     

 0

本发明公开了一种水体中壬基酚聚氧乙烯醚的气相色谱-质谱检测方法,属于水环境污染物的检测技术领域,包括膜过滤预净化、固相萃取富集及洗脱,洗脱液经特殊化学处理后,用有机溶剂萃取,然后对有机相进行气相色谱-质谱检测,与标准曲线比较,定量得到壬基酚聚氧乙烯醚浓度值。本发明预处理简单、易于操作、线性范围宽、富集倍数高、重现性较好、定性准确,无须采用昂贵的液相色谱-质谱仪,能够快速分析水体中壬基酚聚氧乙烯醚浓度。

基于深度强化学习的机器人导航方法及系统、设备、介质 726     

 0

本发明能够提供基于深度强化学习的机器人导航方法及系统、设备、介质。该方法包括：获取实时观测数据，以构建环境地图和确定机器人的当前位置和目标点相对位置。生成导航动作信息，依据导航动作信息控制机器人从当前位置向目标点相对位置移动。经过第一设定时长后判断机器人是否到达目标点相对位置。根据未到达目标点生成新导航路径，并控制机器人沿着新导航路径移动，以及再经过第二设定时长后返回获取实时观测数据步骤；或根据到达目标点结束导航。本发明能够在没有初始地图的环境下控制机器人在导航过程中灵活地避开静态和动态障碍物，计算量较小。本发明创新地结合了全局信息和局部信息，有效避免了常规机器人在局部区域徘徊的问题。