(转)机器学习:偏差处理(2)

下面是处理偏差和方差问题最简单的形式:

如果具有较高的可避免偏差,那么加大模型的规模(例如通过添加层/神经元数量来增加神经网络的大小)。

如果具有较高的方差,那么向训练集增加数据。

如果你可以加大神经网络的规模且无限制地增加训练集数据,那么在很多学习问题上都可以做的很好。

实际上,加大网络的模型规模终将导致你遇到计算力问题,因为训练大的模型很慢。另外你也有可能会耗尽获取更多训练数据的能力。(即使在网上,也只有有限数量的猫图片)

不同的模型架构(例如不同的神经网络架构)对于你的问题将有不同的偏差/方差值。近期不少深度学习研究已经开发出很多新的模型架构。所以,如果你在使用神经网络,学术文献可能会是一个很好的灵感来源,在 Github 上也有很多较好的开源实现。但尝试新架构的结果要比简单地加大模型规模和添加数据的形式更难以预测。

加大模型的规模通常可以减少偏差,但也可能会增加方差和过拟合的风险。然而这种过拟合问题通常只在你不使用正则化技术的时候出现。如果你的算法含有了一个精心设计的正则化方法,通常可以安全地加大模型的规模,而不会增加过拟合风险。

假设你正在应用深度学习,使用了 L2 正则化和 dropout 技术,并且设置了在开发集上表现最好的正则化参数。如果你加大模型规模,算法的表现往往会保持不变或提升;它不太可能明显地变差。避免使用更大模型的唯一原因就是这将使得计算代价变大。


如果你的学习算法存在着很高的可避免偏差,你可能会尝试下面的技术:

加大模型规模(例如神经元/层的数量):这项技术能够使算法更好地拟合训练集,从而减少偏差。当你发现这样做会增大方差时,加入正则化,这可以抵消方差的增加。

根据误差分析结果修改输入特征:假设误差分析的结果鼓励你创建额外的特征,从而帮助算法消除某个特定类别的误差。(我们会在接下来的章节深入讨论这个话题。)这些新的特征对处理偏差和方差都有所帮助。理论上,添加更多的特征将增大方差;然而当你发现这种情况时,加入正则化,这可以抵消方差的增加。

减少或者去除正则化(L2 正则化,L1 正则化,dropout):这将减少可避免偏差,但会增大方差。

修改模型架构(比如神经网络架构)使之更适用于你的问题:这项技术将同时影响偏差和方差。

有一种方法并不能奏效:

添加更多的训练数据:这项技术可以帮助解决方差问题,但它对于偏差通常没有明显的影响。



优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/612626

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。