文本检测算法新思路：基于区域重组的文本检测-低调大师

文本检测算法新思路：基于区域重组的文本检测

2022-02-16 567

摘要：文本检测是文本读取识别的第一步，对后续的文本识别有着重大的影响。本文主要介绍基于区域重组的文本检测算法。

背景介绍

文本检测是文本读取识别的第一步，对后续的文本识别有着重大的影响。一般场景下，可以通过对通用目标检测算法进行配置修改，来实现对文本行的检测定位。然而在弯曲文字场景，通用目标检测算法无法实现对文字边框的精准表述。因此，近年来很多学术论文都提出了新颖的解决场景文字检测的算法，主要包括两种思路：1. 基于区域重组的文本检测；2. 基于像素分割的文本检测。本文主要介绍基于区域重组的文本检测算法。

PixelLink

PixelLink主要是针对相邻文本难以分离这个问题而提出的。该方法主要是预测文本/非文本区域，以及每个像素和它的上、下、左、右、左上、右上、左下、右下的像素之间的连接关系。在推理阶段，被预测为文本的像素和与该像素具有连接关系的像素被连接在一起。最后每个连接组件的最小外接矩形作为文本边框。

图1. PinxelLink 算法框架

由于使用了基于连通域的方法进行文本像素汇聚，导致该方法对噪声比较敏感，在推理阶段容易生成一些面积较小的false positives。作者通过去除掉短边小于10个像素或者面积小于300个像素的检测结果来缓解这个问题。

TextSnake

TextSnake 主要是针对使用四边形框不能有效地检测任意形状文本而提出的。该方法使用一系列重叠的圆盘来表示文本区域，每个圆盘有特定的圆心、半径、方向。如图1所示，通过预测文本区域、文本中心线（实际上是中心区域）、文本中心线上每个点对应的半径以及角度来重建文本轮廓。后处理阶段需要从预测的文本中心区域获得多个中心点作为圆盘的圆心，然后根据圆心对应的半径画圆，最后将所有圆的轮廓包围起来得到最终的文本边界框。

图2. TextSnake 文本表征方法

图3. 中心点机制

获得圆盘中心点的步骤如图3所示，首先在预测的文本中心区域随机取一个点，然后根据预测的方向做该点的切线和法线，法线和文本中心区域的两端的交点的中点（图(a)的红点）即是该处的中心点（作为圆盘的圆心）。中心点沿着两个相反的方向前进一定的步长，得到两个新的点，而后根据这两个新的点再寻找对应的中点。以此类推，直到进行到文本中心区域的两端。

该方法能有效地检测任意形状、方向的文本，但是后处理比较复杂且耗时。

CRAFT

CRAFT主要是针对基于字符级的文本检测方法对于曲形文本检测存在限制的问题而提出的，但同样适用于弯曲文本检测。该论文的思路是通过回归字符和字符间的亲和力来检测任意形状文本，这里的亲和力是用于表示相邻的字符是否属于同一个文本实例。此外，由于很多数据集没有提供字符级标注，本文提出一个弱监督算法来从字级标注中生成字符级标注。

图4. CRAFT网络架构

如图4所示，字符区域和相邻字符亲和力都是通过一个通道进行回归得到。

图5. CRAFT 字符区域的ground-truth生成方法

用于训练模型的字符区域得分和亲和力得分的ground truth生成过程如图5所示。对于字符区域得分，首先生成一个2D高斯图，然后计算该高斯图变换到对应的字符框的透视变换矩阵，最后使用这个矩阵将2D高斯图变换到相应的字符区域。对于亲和力得分的ground-truth的生成也是使用相同的方法，前提只需要获得亲和力框。获得亲和力框的过程如下：1. 每个字符框连接对角线将字符框划分为4个三角形，取上下方的三角形的中心作为亲和力框的顶点。2.相邻两个字符框得到的2个上三角形和下三角形的中心作为四边形的顶点构成了一个亲和力边框。

弱监督字符生成算法生成字符伪标签的过程： 1. 使用在合成数据集训练好的模型预测剪裁下来的文本区域的字符区域得分；2. 使用分水岭算法得到每个字符区域；3. 将坐标变换到原图得到实际的字符边框坐标。

图6. CRAFT 弱监督学习过程

后处理：在推理阶段，预测出字符和亲和力图之后，置信度大于指定阈值的字符区域和亲和力区域都被置为1。然后标记每个连通区域。最后，对于四边形文本，使用最小外界矩形作为边框。

图7. 弯曲文本边框重组过程。

对于曲形文本，获得文本轮廓的过程如图7所示：第一步是沿着字符的方向找到每个字符区域的局部最长线；每条线的中心连接起来的线为中心线；每条局部最长线旋转到与中心线垂直；两端的线移动到文本区域的两端；将所有端点连接得到曲形文本边框。

本文主要介绍了基于区域重组的文本检测算法，下篇文章将继续介绍基于像素分割的文本检测算法，敬请关注。

Reference

[1]. Deng D, Liu H, Li X, et al. Pixellink: Detecting scene text via instance segmentation[C] //Proceedings of the AAAI Conference on Artificial Intelligence. 2018, 32(1).

[2]. Long S, Ruan J, Zhang W, et al. Textsnake: A flexible representation for detecting text of arbitrary shapes[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 20-36.

[3]. Baek Y, Lee B, Han D, et al. Character region awareness for text detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 9365-9374.

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/5448569

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Java线程池必知必会

1、线程数使用开发规约阿里巴巴开发手册中关于线程和线程池的使用有如下三条强制规约【强制】创建线程或线程池时请指定有意义的线程名称，方便出错时回溯。正例：自定义线程工厂，并且根据外部特征进行分组，比如，来自同一机房的调用，把机房编号赋值给whatFeatureOfGroup public class UserThreadFactory implements ThreadFactory { private final String namePrefix; private final AtomicInteger nextId = new AtomicInteger(1); /** * 定义线程组名称，在利用 jstack 来排查问题时，非常有帮助 */ UserThreadFactory(String whatFeatureOfGroup) { namePrefix = "From UserThreadFactory's " + whatFeatureOfGroup + "-Worker-"; } @Override pu...

2022-02-16

522

一、什么是缓存缓存，又称作Cache，我们把临时存储数据的地方叫做缓存池，缓存池里面放的数据就叫做缓存。当用户需要使用这些数据，首先在缓存中寻找，如果找到了则直接使用。如果找不到，则再去其他数据源中查找。二、为什么要使用缓存技术缓存的本质就是用空间换时间，以临时存储的数据暂时代替数据源中读取最新的数据，这种方式带来的好处在不同的场景下是不一样的。举个例子：当我们需要喝水时，我们会拿出一个水杯，去水龙头接一杯水来喝。大家可以思考一下，为什么用杯子来喝水，而不是直接用嘴巴在水龙头接水喝。用杯子喝水确实存在一些既有的问题，比如杯子里面的水容易变凉，而水龙头流出的水确是恒温的。我们可以想象一下，公司里的同事们排队在水龙头下面喝水的场面，确实有点滑稽，我们宁愿接受杯子里的水会变凉这个既有问题。用杯子喝水有以下几个优势：用杯子喝水解决了总是要去找水龙头的问题，因为杯子可以一次接更多的水。用杯子喝水更不容易洒出来，不容易浪费水。用杯子喝水比趴在水龙头下喝水更优雅。我们把杯子看成一个缓存池，杯中的水看成缓存，我们接受了杯中水会变凉的问题，相当于牺牲了数据的实时性。把这些优势换一个...

2022-02-16

510

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。