本发明公开了一种基于视觉描述语句的图像检索方法,包括:基于图卷积深度学习网络,构建视觉知识图谱表征中节点与边的信息传递模式,实现各语义单元特征的聚合与更新;结合注意力机制,采用多层级长短时记忆网络对图谱中聚合与更新后的各语义单元特征进行编码用于图像描述语句的生成;在强化学习的框架下,利用CIDEr分数和图谱相似度,设计基于图像描述语句的奖惩函数,并用于“图像‑图谱”过程、“图谱‑语句”过程以及“图像‑图谱‑语句”过程的反馈调节与优化,获取图像更细粒度的视觉描述语句并进行检索,输出与查询图像对应的目标检索图像。本发明提高了基于文字的图像检索在大规模数据集上利用的可行性。
声明:
“基于视觉描述语句的图像检索方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究,如用于商业用途,请联系该技术所有人。
我是此专利(论文)的发明人(作者)