基于场景文字的多模态融合的图像分类-低调大师

基于场景文字的多模态融合的图像分类

2022-04-27 665

摘要：图像分类任务是计算机视觉最为基础的任务之一。依靠目标的细粒度、具有区分性的视觉特征能够较好地区分通用目标。然而，对于部分细粒度的类别，仅仅依靠视觉特征难以区分不同类别。

图像分类任务是计算机视觉最为基础的任务之一。依靠目标的细粒度、具有区分性的视觉特征能够较好地区分通用目标。然而，对于部分细粒度的类别，仅仅依靠视觉特征难以区分不同类别。如图1展示了不同类别的瓶子或建筑物，瓶子类别的类内差异大（同一类别的样本可以属于塑料瓶或属于玻璃瓶），类间差异小（不同类别的样本具有相同形状等）。然而，目标上的文本信息足以区分类别类型。基于此，一些方法试图引入图像内的场景文本作为额外的信息来辅助图像分类任务。联合场景文本和图像视觉信息共同推理、分析图像内容，是多模态融合分析的重要问题之一。

不同类别的瓶子和建筑物

如图2所示，算法[1]融合图像的视觉特征和图像中的场景文本特征来联合分类。具体地，通过GoogLeNet提取图像的视觉特征。利用现有的Word Spotting算法识别出图像中潜在的场景文本实例。并将每个识别出的场景文本通过Word2Vector的方法，将场景文本实例转化为特征。然而，并不是每个文本实例都有助于识别该图像，因此，通过注意力模型，以图像特征作为信号，关注于和图像内容高度相关的文本实例特征。最后，对经过注意力模型的文本特征和视觉特征联合分析，分辨图像目标的类别。其注意力模型如图3所示，视觉特征和文本实例特征共同输入，计算出每个文本实例特征的权值，随后，用计算出的权值加权到文本特征中，得到加权后的文本特征。

方法[1]框架图

注意力模型结构

方法[1]的性能易受Word Spotting算法的影响，为缓解因场景文本识别错误而带来的分类错误，方法[2]提出图4的算法。该算法的基本框架和方法[1]基本类似，不同之处在于提取场景文本和表示。其基本思路为：通过高斯混合模型建模字典库内单词的表示，将预测到的文本表示通过学习到的高斯混合模型映射到已学习字典库的表示的最近邻点。具体地，在该方法中，通过单阶段检测器YoLo来密集预测图像中文本实例的PHOC[4]表示，之后，通过已离线训练的高斯混合模型，将预测到的文本的PHOC向量映射到预定义字典的最近邻表示。以此，减少场景文本识别错误而带来的分类误差。

方法[2]框架图

方法[1][2]只考虑图像的全局信息，没有考虑图像的局部区分性特征。为此方法[3]不仅提取图像的场景文本特征，而且利用图像中的通用目标信息，联合通用目标和场景文本共同推理、分析图像内容。如图5所示，通过ResNet152提取图像的全局信息，Faster-RCNN提取图像中的通用目标特征。之后，将通用目标特征和场景文本实例特征输入图卷积神经网络，推理分析出增强后的特征。将增强后的的特征和图像全局特征一起输入给分类器进行分类。

方法[3]框架图

从实验结果可以看出，通过引入场景文本和通用目标进行联合推理分析，算法整体的分类性能得到大幅度提升。以上方法充分说明将场景文本引入到图像分析中的必要性，除图像分类任务之外，场景文本所提供的信息能够有效用于VQA，图像检索，Visual grounding等任务之中。

Bai X, Yang M, Lyu P, et al. Integrating scene text and visual appearance for fine-grained image classification[J]. IEEE Access, 2018, 6: 66322-66335.Wang H, Bai X, Yang M, et al. Scene Text Retrieval via Joint Text Detection and Similarity Learning[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 4558-4567.
Mafla A, Dey S, Biten A F, et al. Fine-grained image classification and retrieval by combining visual and locally pooled textual features[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020: 2950-2959.Tian Z, Shen C, Chen H, et al. Fcos: Fully convolutional one-stage object detection[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 9627-9636.
Mafla A, Dey S, Biten A F, et al. Multi-modal reasoning graph for scene-text based fine-grained image classification and retrieval[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2021: 4023-4033.
Levenshtein V I. Binary codes capable of correcting deletions, insertions, and reversals[C]//Soviet physics doklady. 1966, 10(8): 707-710.

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/5520096

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

“消息驱动、事件驱动、流 ”基础概念解析

作者：肯梦阿里云消息队列 RocketMQ 5.0 实现了全新升级，实现了从“消息”到“消息、事件、流”的大融合，基于此，Message-Driven、Event-Driven、Streaming 这三个词是近期消息领域高频词，但由于概念过于新，很多同学其实是不太理解这里的异同。本文把三个概念重新整理下，梳理出比较明确的概念讲给大家。背景首先这三个概念具体翻译如下： Message-Driven：消息驱动的通信； Event- Driven：事件驱动的通信； Streaming：流模式。这三个模式都是类似异步通信的模式，发送消息的服务不会等待消费消息服务响应任何数据，做服务解耦是三个模式共同的特性；只要是在服务通讯领域内，在选型时还要考虑如下特性：排序：是否可以保证特定的顺序交付；事务：生产者或消费者是否可以参与分布式事务；持久化：数据如何被持久化，以及是否可以重放数据；订阅过滤：是否拥有根据Tag或其他字段做订阅过滤的能力； At – least -once（最少交付一次），At-most-once（最多交付一次），Exactly-once （精确交付...

2022-04-26

477

摘要：GaussDB(DWS) ROLLUP，CUBE，GROUPING SETS等OLAP函数的原理解析。本文分享自华为云社区《GaussDB(DWS) OLAP函数浅析》，作者： DWS_Jack_2。在一些报表场景中，经常会对数据做分组统计（group by），例如对一级部门下辖的二级部门员工数进行统计： create table emp( id int, --工号 name text, --员工名 dep_1 text, --一级部门 dep_2 text --二级部门 ); gaussdb=# select count(*), dep_2 from emp group by dep_2; count | dep_2 -------+------- 200 | SRE 100 | EI (2 rows) 常见的统计报表业务中，通常需要进一步计算一级部门的“合计”人数，也就是二级部门各分组的累加，就可以借助于rollup，如下所示，比前面的分组计算结果多了一行合计的数据： gaussdb=# select count(*), dep_2 from emp...

2022-04-27

536

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。