本发明涉及一种基于编解码网络的图像‑文本多模态融合方法,属于计算机视觉、自然语言处理、模式识别技术领域。该方法包括如下步骤:S1:在现有目标检测数据集的基础上对其进行手动标记生成文本信息,构建新的图像‑文本数据集,并将数据集划分为训练集、验证集和测试集;S2:选择适合的优化学习方法,设置相关超参数,将训练集和验证集通过编解码网络模型进行训练;S3:训练结束后,在测试集中任选一张图片,输入编解码网络模型,加载训练好的模型权重,最终检测出所对应的目标结果。本发明采用图像‑文本融合处理的方法,利用同一个事物的两种不同类型的数据进行融合处理,能够使网络训练时精确度更高,进而识别出相关所需让目标。
声明:
“基于编解码网络的图像-文本多模态融合方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究,如用于商业用途,请联系该技术所有人。
我是此专利(论文)的发明人(作者)