ui2code中的深度学习+传统算法应用

作者：闲鱼技术-云听

背景

在之前的文章中，我们已经提到过团队在UI自动化这方面的尝试，我们的目标是实现基于 单一图片到代码 的转换，在这个过程不可避免会遇到一个问题，就是为了从单一图片中提取出足够的有意义的结构信息，我们必须要拥有从图片中切割出想要区块（文字、按钮、商品图片等）的能力，而传统切割算法遇到复杂背景图片往往就捉襟见肘了（见下图），这个时候，我们就需要有能力把复杂前后景的图片划分为各个层级图层，再交给切割算法去处理，拿到我们期望的结构信息。

经过传统切割算法处理，会无法获取图片结构信息，最终只会当成一张图片处理。

在业界，图片前后景分离一直是个很麻烦的命题，业界目前比较普遍采用的解决方案是计算机视觉算法提取，或是引入人工智能来解决，但直到现在，都没有百分百完美的解决方案。那是否能引入AI来解决这个问题呢，我们来看一下，目前使用