QCon-OPPO大规模CV预训模型技术及实践
1 什么是预训练模型?为什么我们需要预训练模型? 预训练模型是提升深度学习算法性能的一种常用手段。 所谓预训练模型,可以概括为是某种深度学习的网络架构,并且包含这个网络架构在海量数据上训练好的一组权重。 有了网络架构和权重后,我们就可以用它作为某一具体视觉任务的主干网络,并提供初始化参数。 这样一来,具体的下游任务就有了一个较好的训练起点,在减少探索空间的同时,还能够实现更好的算法性能。 那么我们为什么需要预训练模型呢?在这里做一个比喻,如果把深度学习算法比作武侠的话,那预训练模型就是他的内功,有了扎实的内功基础,就能够更容易、更快速的掌握各种武功招式,并发挥其最大效用。预训练模型的过程就是深度学习算法修炼内功的过程。 2 OPPO自研大规模cv预训练模型 2.1 概述 之所以要自研预训练模型主要是两点原因:首先,当前数据科学家们使用的预训练模型都是网上开源的,每年都有变化,最新的一些研究往往不开源,无法保证效果最优;其次就是网上开源的预训练模型,都是基于开源数据集数据集训练得到的,比如大家熟知的imagenet。没有充分利用公司自有数据的优势。因此,自研预训练模型是十分有意义的。 O...