(转)机器学习:偏差处理(2)
如果具有较高的可避免偏差,那么加大模型的规模(例如通过添加层/神经元数量来增加神经网络的大小)。
如果具有较高的方差,那么向训练集增加数据。
如果你可以加大神经网络的规模且无限制地增加训练集数据,那么在很多学习问题上都可以做的很好。
实际上,加大网络的模型规模终将导致你遇到计算力问题,因为训练大的模型很慢。另外你也有可能会耗尽获取更多训练数据的能力。(即使在网上,也只有有限数量的猫图片)
不同的模型架构(例如不同的神经网络架构)对于你的问题将有不同的偏差/方差值。近期不少深度学习研究已经开发出很多新的模型架构。所以,如果你在使用神经网络,学术文献可能会是一个很好的灵感来源,在 Github 上也有很多较好的开源实现。但尝试新架构的结果要比简单地加大模型规模和添加数据的形式更难以预测。
加大模型的规模通常可以减少偏差,但也可能会增加方差和过拟合的风险。然而这种过拟合问题通常只在你不使用正则化技术的时候出现。如果你的算法含有了一个精心设计的正则化方法,通常可以安全地加大模型的规模,而不会增加过拟合风险。
假设你正在应用深度学习,使用了 L2 正则化和 dropout 技术,并且设置了在开发集上表现最好的正则化参数。如果你加大模型规模,算法的表现往往会保持不变或提升;它不太可能明显地变差。避免使用更大模型的唯一原因就是这将使得计算代价变大。
如果你的学习算法存在着很高的可避免偏差,你可能会尝试下面的技术:
加大模型规模(例如神经元/层的数量):这项技术能够使算法更好地拟合训练集,从而减少偏差。当你发现这样做会增大方差时,加入正则化,这可以抵消方差的增加。
根据误差分析结果修改输入特征:假设误差分析的结果鼓励你创建额外的特征,从而帮助算法消除某个特定类别的误差。(我们会在接下来的章节深入讨论这个话题。)这些新的特征对处理偏差和方差都有所帮助。理论上,添加更多的特征将增大方差;然而当你发现这种情况时,加入正则化,这可以抵消方差的增加。
减少或者去除正则化(L2 正则化,L1 正则化,dropout):这将减少可避免偏差,但会增大方差。
修改模型架构(比如神经网络架构)使之更适用于你的问题:这项技术将同时影响偏差和方差。
有一种方法并不能奏效:
添加更多的训练数据:这项技术可以帮助解决方差问题,但它对于偏差通常没有明显的影响。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
零售地产的新技术实践
2018云栖大会武汉峰会新零售专场,阿里云新零售事业部架构师专家叶建锋带来以“零售地产的新技术实践”为题的演讲。首先本文通过行业背景的介绍引入主题,其次介绍了数字化商场的三“新“包括新营销、新利益以及新技术三个方面,再次对阿里云新商场整体解决方案进行了讲解,最后对广州某著名商场的案例进行了分析。数十款阿里云产品限时折扣中,赶快点击这里,领券开始云上实践吧!直播视频回顾请点击以下是精彩视频内容整理: 行业背景 目前,部分商场面临着一些严峻的问题,可以大概总结为以下四点: 一是由于大家每天上班都忙工作没有时间去逛商场,从而电商的便捷导致了商场的客流量的缺失。 二是由于每个商场都有差不多同样品牌的产品,从而减弱了消费者的吸引力。 三是对消费者的信息掌握不足,可能只知道顾客的姓名、联系方式等,并不知道顾客的喜好。 四是整体体验有待提高,例如逛完商场找
- 下一篇
双中台引领新零售转型
在2018年云栖大会·武汉峰会的新零售专场中,阿里巴巴高级数据产品专家甄日新向我们介绍了中台部门如何由从前的内部数据中台业务中台转型为帮助阿里做互联网架构,处理集团业务,向新零售转型。其中最重要的是和新零售部门的合作,用双中台的模式帮助品牌商和零售商还有商场打造一个新的系统架构。数十款阿里云产品限时折扣中,赶快点击这里,领券开始云上实践吧!直播视频回顾请点击以下为精彩视频内容整理:举个简单例子来说明一下双中台,当你只有一两家便利店的时候,关注点是便利店如何以低成本高速发展。但是当店面规模扩大以后,会发现从前的管理模式中的逻辑和数据业务会存在数据割裂和系统割裂的问题。这个时候就需要数据和业务双平台来进行管理。 阿里巴巴双平台实践 阿里的双中台架构 双中台如今支撑起了阿里内部的大部分业务,从传统的淘宝、天猫到现在的菜鸟、蚂蚁金服新零售等业务,真正实现了“大中台,小前台”的架构。 什么是“大中台,小前台” 在阿里的不断发展和扩大过程中,前面提到的数据割裂现象不可避免的会出现,如左面图所示,即使在同一个系统里面,数据也会出现大量重复的现象。新数据和原始数据都需要拷贝几份,就会会导致大量“烟囱式...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS8安装Docker,最新的服务器搭配容器使用
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- 设置Eclipse缩进为4个空格,增强代码规范
- Red5直播服务器,属于Java语言的直播服务器
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS7安装Docker,走上虚拟化容器引擎之路