本发明属于计算机视觉技术领域,具体为一种基于感知语法知识的树结构视频描述生成方法。本发明显式利用语言中存在的语义信息,使用依存结构分析工具将顺序结构的句子转换成语法树的结构,通过树之间父结点和子结点之间的连接关系,对句子当中的依存语法结构进行显式建模;通过感知上下文的注意力网络,对生成过程中所产生的不同路径上下文信息分别进行建模;同时,在训练阶段引入强化学习和迭代式生成的训练方式,进一步提高模型性能;本发明通过定性和定量实验,表明模型具有可生成更加准确、语义更加丰富描述的能力。
声明:
“基于感知语法知识的视频描述生成方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究,如用于商业用途,请联系该技术所有人。
我是此专利(论文)的发明人(作者)