本发明公开了一种基于图神经网络的强化学习集群蜂拥控制方法,包括以下步骤:建立集群蜂拥控制模型;确定集群的拓扑结构特征表示方法;确定智能体的观测信息特征表示方法;设计状态空间、行为空间与回报函数;设计深度强化学习算法中的策略网络与评价网络模型;设计算法框架及网络参数更新方法;设计集群蜂拥控制算法的训练流程。本发明借助深度强化学习技术实现集群蜂拥控制算法,利用图神经网络提取集群的拓扑结构特征以及观测信息特征,有效提高集群蜂拥控制算法的收敛速度和对动态环境的适应能力,同时能够保证在控制噪声等干扰下算法的稳定性。
本发明公开了一种无人车强化学习训练环境构建方法及其训练系统,属于机器人导航领域与机器人仿真平台领域。包括:构建真实场景与仿真场景数据集;数据集增强;图像域转换算法的训练与模型保存;建立仿真环境模型与强化学习算法的API接口。在仿真环境中训练时,无人车模型上的摄像头采集观测到的仿真环境图像,经过图像域转换网络,转变为模拟的真实场景图片,作为状态输入强化学习网络,经过决策输出动作指令,发布给仿真端的无人车模型。在实际应用时,无人车摄像头采集现实中的真实场景图片,由于强化学习算法在训练时的输入的模拟真实场景图片与现实真实场景图片非常相似,因此训练好的算法可以直接迁移或者微调之后迁移至真实场景当中。
本说明书实施例提供一种强化学习模型的训练方法,该方法包括:获取业务环境的当前状态,其中包括上一轮交互产生的交互内容;基于该交互内容,将多个备选业务动作划分为本轮交互下的可选动作集和禁选动作集;将该当前状态输入强化学习模型,从可选动作集中选取收益预测值最大的可选动作作为本轮业务动作,如此可以避免用户被无关动作打扰,从而提升用户体验;再将该本轮业务动作施加于上述业务环境,得到该业务环境的本轮反馈,基于本轮反馈计算本轮业务动作的收益标签值,并基于该收益标签值构建其他备选业务动作的收益标签值,从而实现可以利用全量备选业务动作训练上述强化学习模型,有效加速强化学习模型的收敛。
本发明公开了一种新型化学试验机,包括箱体,所述箱体上端面上固定安装有第一支杆,所述第一支杆上设置有PH测试装置,所述第一支杆上设置有位于所述PH测试装置右侧的取液装置,所述取液装置右侧设置有清洗装置,所述箱体上固定安装有滑道,所述箱体下端壁上固定安装有第二支杆,所述第二支杆上端转动安装有第一转轴,所述第一转轴上固定安装有第一带轮,第二带轮,所述箱体下端壁上固定安装有位于所述第二支杆右侧的第三支杆,所述第三支杆上端固定安装有第一电机,所述第一电机输出轴上固定安装有第三带轮,本次发明的新型化学试验机将部分化学仪器结合起来,使得实验更加的自动化和提升效率。
本发明公开了一种基于沉积物地球化学特征识别大洋中脊热液区的方法,本发明通过对沉积物样品进行处理,获取其地球化学组成数据,并计算不同端元组成的沉积物对化学组成的贡献,获得热液来源元素的含量,估计热液来源元素的扩散距离,最后预测调查区热液活动的数量和可能产出的位置。本发明的优点是在大洋中脊热液活动探测中,可以实现活动和非活动热液区的识别,以更准确、方便的确定热液区的位置,具有便捷、高效的特点。
本发明公开了一种基于深度强化学习的EFSM输入序列生成方法,将输入序列生成问题看作是一个复杂的优化问题,求解最优解的过程就是利用元启发式算法对可执行路径中的每条变迁搜索满足其谓词判断条件的输入参数解;其中,元启发式算法被使用强化学习算法训练好的智能体来代替,智能体通过在本发明设计的动作空间内选择动作来改变输入参数的值,然后根据奖赏函数获取对应的奖赏值以指导下一步动作的选择。本发明可以根据各种客观测试路径有效地生成新的输入序列,可以有效地提高EFSM模型输入序列生成的效率和成功率,并能够在进行回归测试和测试用例生成应用中有效地减少输入序列生成的时间开销。
本发明公开了一种基于强化学习的视频多次遍历(Multipass)编码中码率分配与控制的优化解决方案。在第一次编码结束之后,视频分割为多个不重叠的连续的画面组。针对不同的画面组在第一次遍历(pass)后采集的对组内各帧图像的综合统计信息,通过预测网络得到码率分配和控制决策参数,并执行第二次遍历编码和获取编码结果评分。将统计信息和码控决策参数输入判别网络得到估分,执行强化学习的迭代训练过程。利用强化学习训练得到的预测网络,在编码视频图像第二次遍历前,得到各个画面组的码率分配与控制的最优化策略参数,从而最大可能的提升编码压缩效率。
本实用新型公开了一种泡沫法化学粘合无纺布纤维切割装置,化学粘合无纺布纤维切割装置设置于无纺布纤维输送方向上,其特征在于,包括机架、上切割模块、下切割模块和螺杆同步总成,通过设置相互交错且贴合的上刀和下刀,设置于无纺布纤维输送方向上,在无纺布纤维通过时得以通过相互交错的上刀和下刀,并实现对不同厚度蓬松状态下的无纺布纤维的切割,设置了螺杆同步总成,实现了对上刀和下刀的同向移动,使得切割设备具备了在运行中调整无纺布切割宽度的能力,避免了停机进行切割位置的调整,且重新开机时需要检查和处理胶黏辊,切换无纺布设定宽度的效率低下的问题。
本发明涉及一种基于深度强化学习的群智感知激励机制方法,获取参与者位置和移动轨迹信息,将参与者移动过程建模为马尔可夫决策过程,采用深度强化学习预测其在下一个激励周期内的移动轨迹,预测参与者在下一个激励周期结束时的位置分布,通过计算参与者的预测位置分布与数据请求方提供的感知数据目标分布的相对熵,选择大于相对熵阈值区域内的参与者进行激励。本发明避免在同一时间段内对所有参与者进行激励、对同一个参与者在所有激励周期内都进行激励,合理的激励机制解决群智感知参与者收集到的感知数据分布情况与数据请求方提供的目标数据分布之间差异较大、覆盖质量较低的问题;可被广泛应用于移动群智感知领域,降低激励参与者的成本。
本实用新型公开了吸化学液体棉生产用原料回收装置,包括吸化学液体棉生产装置、清洗吸尘装置和储棉箱,所述吸化学液体棉生产装置的顶部设有清洗吸尘装置,所述清洗吸尘装置的底部分布有通风口,所述通风口的中间分布有烟尘感应装置,所述清洗吸尘装置的左部经过管道连接有水箱,所述水箱的内部设有水泵,所述清洗吸尘装置的内侧顶部设有金属编织过滤网,所述清洗吸尘装置的右部连接有抽风风扇组,所述吸棉回收端口的底部设有连接软管,所述连接软管的底部设有储棉箱。该吸化学液体棉生产用原料回收装置,环保性能高,耐高温,智能化性能高,实时监测到烟尘,便于清洗吸化学液体棉生产装置内部,便于将吸化学液体棉生产原料回收,避免堵塞。
本实用新型提供一种用于化学气相沉积工艺的喷淋头,所述喷淋头用于向衬底提供反应气体,所述喷淋头具有端口,所述端口具有与之对应设置的窗口透明板,所述窗口透明板作为观察通道或测试通道,通过所述窗口透明板对化学气相沉积工艺进行监控,所述窗口透明板与端口之间通有吹扫气体,所述吹扫气体用于防止反应气体在窗口透明板上发生化学反应或物理沉积。本实用新型使得本领域技术人员能够在化学气相沉积工艺过程中对喷淋头下方的衬底的情况进行实时监控。
本发明公开了一种基于深度强化学习实现人脸识别端边卸载计算方法及装置,包括:获取真实的人脸图片,根据边端人脸识别模型训练得到分类数据,其中,分类数据包括图片名称、id、图片提取出的128维特征向量、终端预测置信度、终端预测值、边缘预测值;将深度学习与强化学习进行结合,定义马尔科夫决策过程的状态空间、动作集、奖励函数和智能体;根据定义好的马尔科夫决策过程,构建Actor神经网络和Critic神经网络,使用分类数据对构建好的Actor神经网络和Critic神经网络进行训练,获得智能卸载决策模型;对智能卸载决策模型的性能与基准查询策略进行对比评估;根据对比评估的结果,将智能卸载决策模型部署到智能终端设备中,进行人脸识别的任务卸载决策。
本实用新型公开了一种监控系统,旨在提供一种医药废水回收化学品纯度监控系统,其技术方案要点是一种医药废水回收化学品纯度监控系统,包括配电柜、测量仪、显示屏、集水罐和废水池,集水罐连接废水池,集水罐上端面设有超声波液位计,集水罐底端连接设有流量计,流量计远离集水罐一端设有污水提升泵,污水提升泵将医药废水送至废水处理站,集水罐侧面设有上取样阀和下取样阀,上取样阀和下取样阀下方均设有取样槽,测量仪包括PH计、NH4‑N测量仪和COD测量仪,PH计、NH4‑N测量仪和COD测量仪的测量触头均位于取样槽内,PH计、NH4‑N测量仪、COD测量仪、超声波液位计和显示屏均与配电柜之间设有信号电缆,本实用新型适用于监控系统技术领域。
本实用新型涉及一种拆除化学水处理反渗透端盖的装置,反渗透膜外壳包括壳体和盖体,装置包括横梁、下支架和操作杆,操作杆的底端转动连接在下支架上,操作杆包括螺杆,所述横梁上设有与螺杆相适配的螺纹孔,所述横梁上设有与盖体相连的拉杆;本实用新型的优点:通过下支架将装置固定在壳体上,连接杆将装置固定在盖体上,能使装置稳定的固定在反渗透膜外壳上,通过顺时针旋转操作杆,横梁在螺杆和螺纹孔的作用下缓慢往上提起,从而带动连接杆往上运动,由于连接杆与盖体相连,从而导致盖体缓慢的脱离壳体,可方便、安全、省力地拆除化学水处理反渗透盖体,大大降低检修人员的劳动强度,且避免对盖体及其连接件、橡胶密封圈的损坏。
本实用新型一种化学实验中有机废液收集装置,包括桶体,桶体的上部设有四个通口,包括一个大集废液口、一个小集废液口、一个排气口以及一个液位监测连结口,桶体接近底部有一滤液层,滤液层下面为集液腔,集液腔的侧壁有通口连接排液管接头,排液管接头通过截止阀连接排液管;大集废液口配有密封盖,小集废液口配有密封套,排气口连接有排气阀,液位监测连结口连接有一套液位监测装置。本实用新型有快速倒入或慢速滴入的集废液口,有液位监测装置,有滤液层可防止排液管道和截止阀堵塞,有排气口可确保安全,科学合理设置液位监测装置的浮子,是化学实验中有机废液收集装置的优良的工具。
本发明公开了一种既有堤防软基电化学处理的施工方法,属于堤坝软基加固工程技术领域,本发明通过在电极周边注入化学溶液,增加了电化学反应的胶凝物(Fe(OH)3)和沉淀物(Mg(OH)2)含量,提高了土体的加固效果和缩短了加固时间;采用加入化学溶液结合电化学反应的方式,可以增大两排电极之间的间距,从而节约试验用材;通过在电极周边留有凹槽,方便了在施工过程中进行电极周边土体中化学溶液的注入,方便了测量电极周边土体中化学溶液的浓度;通过转换电源正负电极和进行化学溶液的更换,使得电极在土体中的电化学反应更为充分,加固范围和效果更为均匀,采用该方案施工工艺简单,可操作性强,经济效益明显,处理效果显著。
本发明提供提高免疫分析仪检测准确性的方法和提高样本中分析物化学发光免疫检测线性范围的方法和试剂,其改进之处均在于生物素标记抗体和亲和素类物质固定的固相先于吖啶酯或吖啶磺酰胺标记抗体加入到样本中并进行孵育,然后加入吖啶酯或吖啶磺酰胺标记抗体,再进行孵育。这种改进可将较高浓度的分析物校准品的发光量显著地或更好地区分开来,从而提高分析物化学发光免疫检测的线性范围,同时显著降低化学发光背景值,而且也能更加准确地测量临床血清或血浆等样品中分析物的浓度。本发明所述方法和试剂与化学发光免疫分析仪配套使用,可用于肿瘤标记物、传染病、激素类、肝病、急性贫血等的检测。
本发明提供一种用于化学气相沉积工艺的喷淋头和改善化学气相沉积工艺的均匀性的方法,所述喷淋头用于向衬底提供反应气体,所述喷淋头具有端口,所述端口具有与之对应设置的窗口透明板,所述窗口透明板作为观察通道或测试通道,通过所述窗口透明板对化学气相沉积工艺进行监控,所述窗口透明板与端口之间通有吹扫气体,所述吹扫气体用于防止反应气体在窗口透明板上发生化学反应或物理沉积。本发明使得本领域技术人员能够在化学气相沉积工艺过程中对喷淋头下方的衬底的情况进行实时监控。
一种危险化学品储存柜,包括柜体,柜体包括若干个储存格,每个储存格上安装有门,门与储存格间安装有与主控装置连接的电子锁,主控装置设有身份认证装置、信息采集装置、输入输出装置、视频监控装置、警报装置、无线数据传输装置,主控装置与远程服务器连接;柜体的储存格均安装有与温度传感器、湿度传感器、烟雾探测器、除湿机芯和冷却器。本发明能够对柜内危险化学品的储存环境进行实时监测和自动调节;实时读取危化品的储存信息以及进出柜体的情况。解决了人工操作时信息管理不及时、不完善、安全监管不到位的问题,有效提高监管水平与工作效率,保障危险化学品的储存及存取安全。
设有工艺通道孔的万吨化学品船分段,包括船体底部、舭部、舱壁、甲板层、分隔甲板、半纵隔壁和工艺通道孔,船体底部通过焊接与舭部安装在一起,舭部通过焊接与舱壁安装在一起,半纵隔壁安装在船体底部和甲板层的右侧;舱壁上方安装有甲板层,在船体底部和甲板层之间还有一层分隔甲板,在船体底部和舱壁上开有工艺通道孔。设有工艺通道孔的万吨化学品船分段弥补了因不能设置人孔盖而给分段内施工来回穿梭带来的极大的不便,而且满足各个船级社的防护等级要求,大大方便了工人的安装操作,减少施工和检验人员的迂回路线,提高工作效率,应该具有广阔的应用前景。
本发明公开一种化学气相沉积法制备Co0.85Se超级电容器材料的方法,其中Co0.85Se超级电容器材料为均匀覆盖在镍网上的纳米膜状结构。具体生长包括:1)硒粉和钴粉磨细混匀后倒入石英舟,放入化学气相沉积反应炉石英管中;2)将泡沫镍网放在气流下游靠近石英管管口的位置;3)通入氩气排尽炉中空气,停止通气,高温加热一段时间后,一定流量氩气通入石英管保温,最后炉子自然冷却至室温;4)取出泡沫镍,用去离子水和乙醇反复清洗,干燥,即得。本发明操作简单,不需要复杂设备,Co0.85Se均匀覆盖在镍网上,可大面积制备。合成的Co0.85Se纳米材料电极在三电极体系下测试,在1A/g的电流密度下表现出4462F/g的高比容量,在20A/g的高电流下经过5000次循环充放电后,仍能保持80%以上的比电容值,电荷转移阻抗为0.82?Ω/cm2。
本实用新型涉及电化学测试技术领域,具体是一种电化学试片用夹具结构,包括上夹具和下夹具,所述上夹具位于下夹具的正上方,所述上夹具与下夹具之间设置有安装腔,所述上夹具中部设置有连接件,所述连接件中部设置与安装孔,所述安装孔内设置有导电芯棒,所述连接件底部设置绝缘橡胶垫圈,所述下夹具的底部中心处设置有绝缘橡胶座,所述上夹具和下夹具的两侧分别对称设置有上连接板和下连接板,所述上连接板和下连接板之间安装有调节装置。本实用新型结构简单,使用方便,提高了对测试件固定效率的同时,使测试件便于安装拆卸,提高了电化学试片的测试效率。
本发明涉及的是化纤设备的技术领域,尤其是一种生产化学纤维用流量计。其主要由进料口、出料口、管道和设置在管道上的流量计组件组成,所述进料口和出料口分别设置在管道的两端;所述流量计组件包括两根U形测量管、电磁监测探头和活动支架,所述两根U形测量管对称设置,所述两根U形测量管的下端均联通管道,所述活动支架分别滑动设置在两根U形测量管上,所述电磁监测探头设置在活动支架的一端。该装置结构简单,采用双U形管式设计,可以有效的对瞬时的大波动流量进行缓冲,通过电磁监测探头进行随时监测,提高了测量的精度和范围,从而保证聚酯反应釜的正常运行,间接的提高了化学纤维的质量。
本发明的实施例提供了一种电镀化学品监控方法、系统和装置,涉及半导体化学品监控技术领域。通过浓度监控装置和液位探测装置实时监控电镀化学品的浓度数据以及剩余量,使得处理装置可基于监控得到的浓度数据以及剩余量计算得到电镀化学品的目标添加量,并控制调节装置将储液槽中的原液添加至电镀化学品中,且通过流量监控装置监控储液槽中的原液的添加量,并在原液添加量达到目标添加量时,发送信号至处理装置,以使处理装置根据信号控制调节装置停止将储液槽中的原液添加至电镀化学品中,如此,便可实时监控电镀化学品的浓度数据,并根据电镀化学品的浓度变化自动进行添加,效率高,且准确度高。
本实用新型涉及一种化学实验用温度计,其特点是包括测温杆,以及设置在测温杆上的测温探头,所述测温杆与本体连接,所述本体内设置有芯片,芯片上设置有显示屏,所述芯片与测温探头连接,芯片将温度信号转化并显示在显示屏上,所述测温杆上设置有保护套,所述保护套为一端封闭的长管,其开口端设置有与本体之间通过螺纹连接的螺纹口。所述本体上设置有开关和复位开关。所述测温杆为导热性能较佳的铜管。所述测温杆与测温探头之间填充有导热硅胶。与现有的技术相比,本实用新型提供了一种化学实验用温度计,本实用新型采用电子式测温,测温杆的长度较大,容易测量较深的实验容器内的温度,本实用新型实用可靠,简单实用。
本发明公开了一种基于图神经网络强化学习的机器人自主控制方法。本发明步骤如下:1、根据环境反馈给机器人传感器的信息和机器人的物理结构,组建机器人的特征图。2、将得到的特征图输入到图神经网络,在训练阶段使用机器人感知到的监督信息对图神经网络进行训练。3、使用训练完成的图神经网络对感知状态信息进行处理,得到更新后的机器人状态信息,预测下一时刻机器人的状态信息。4、使用建立起来的环境模型,以及模型预测控制算法,对未来一步机器人动作进行决策。本发明使用基于图网络的强化学习模型,成功地完成了之前强化学习并不能很好完成的动作提升了机器人自主控制的稳定性和可靠性,使得机器人自主控制更加便于实际应用。
本发明公开了一种博弈对话中基于对话历史和强化学习的多轮对话方法,属于智能体和强化学习模型领域。该方法包括如下步骤:首先将多轮对话作为一个有限重复博弈的过程,存储已经结束的完整多轮对话,构建既往对话历史信息库;然后在一个新的多轮对话中,基于记忆网络构建对手行动估计模型,用当前对话已经进行的轮次去检索对话历史信息库,通过多步估计产生对手下一步策略的估计向量;最后基于编码‑解码模型融合当前对话的信息和估计向量,做出下一步的应答。本发明在多轮对话过程中,将既往对话历史的估计向量和当前对话历史的回应向量进行融合,能够更充分地利用了历史信息,使得对话机器人(智能体)具备更高的适应性、做出更好的应答。
本发明是一种印染方法,特别涉及一种用于去除化学浆和低聚物的坯布染色生产方法。按以下步骤进行:选取样布→前处理退浆→坯布预定型→白坯烧毛→复配助剂配方设计、配制及用量→匹样缸减量→染色配方设计→匹样缸染色→烘干定型→色坯烧毛→水洗烘干→上油定型→后整理轧光→后整理罐蒸→成品检验。用于去除化学浆和低聚物的坯布染色生产方法提高染色稳定性,能有效提高一次成功率,减少染色回修率,节能减排效果明显,且生产加工后织物的手感回弹性、悬垂性、柔软性效果俱佳,各种质量内在指标等都能满足客户的要求。
本实用新型为一种二合一尿液成分检测仪及试剂条,二合一尿液成分检测仪,包括处理器、人机交互模块、干化学检测模块、电化学检测模块和电源模块,所述处理器分别与人机交互模块、干化学检测模块和电化学检测模块相连,所述干化学检测模块设于二合一试剂条插槽侧面,所述电化学检测模块设于二合一试剂条插槽底部。二合一试剂条包括干化学测试部、电化学测试部、尿液滴入口、尿液导流通路和电化学接口。本实用新型的优点是:干化学检测模块和电化学检测模块均设置在二合一试剂条插槽处,能够同时进行干化学和电化学检测,检测效率高;将干化学测试部和电化学测试部整合在同一试剂条上,只需采集一次尿液即可完成尿液成分的定性分析和定量分析。
本发明公开了一种融合深度强化学习和BBR协议的自适应拥塞控制方法及系统,涉及网络传输控制领域;包括以下模块:netlink模块、强化学习智能体、底层拥塞控制模块、网络状态监测模块和速率调整模块;其中netlink模块用于用户态和内核态的通信;强化学习智能体用于接收这一动作的状态和奖励,并给出下一动作,在这里动作对应的是β值;底层拥塞控制模块采用的是BBR算法,它在收到β值后,根据公式计算出带宽值B,并发送给速率调整模块;网络状态监测模块提取ACK包里的有用的网络信息,并传递给强化学习智能体;速率调整模块根据B值调整发送速率。对比传统的拥塞控制方法需要手工的调整以适应不同场景的现象,我们的方法能够实现自适应的功能。
中冶有色为您提供最新的浙江有色金属化学分析技术理论与应用信息,涵盖发明专利、权利要求、说明书、技术领域、背景技术、实用新型内容及具体实施方式等有色技术内容。打造最具专业性的有色金属技术理论与应用平台!