在训练的过程中降低学习率-低调大师

在训练的过程中降低学习率

2018-06-30 601

随着学习的进行，深度学习的学习速率逐步下降为什么比固定的学习速率得到的结果更加准确？

img_1629cdd9e398551ac7b3cefec2758e44.jpe

如上图所示，曲线代表损失值，小球一开始位于(1)处，假设学习速率设置为 △ v，那么根据梯度下降，损失值将在(1) (2)之间来回移动，无法到达最小值(3)处。要想到达(3)，只能降低学习速率。

keras中实现方法：

   learning_rate_reduction = ReduceLROnPlateau(monitor='val_acc', patience=3, verbose=1, factor=0.5, min_lr=0.00001)
#并且作为callbacks进入generator,开始训练
history = model.fit_generator(datagen.flow(X_train,Y_train, batch_size=batch_size),
                              epochs = epochs, validation_data = (X_val,Y_val),
                              verbose = 2, steps_per_epoch=X_train.shape[0] // batch_size
                              , callbacks=[learning_rate_reduction])
  

文档：

ReduceLROnPlateau

     keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=10, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0)
    

当评价指标不在提升时，减少学习率。当学习停滞时，减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况，如果在patience个epoch中看不到模型性能提升，则减少学习率

参数

monitor：被监测的量
factor：每次减少学习率的因子，学习率将以lr = lr*factor的形式被减少
patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发
mode：‘auto’，‘min’，‘max’之一，在min模式下，如果检测值触发学习率减少。在max模式下，当检测值不再上升则触发学习率减少。
epsilon：阈值，用来确定是否进入检测值的“平原区”
cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作
min_lr：学习率的下线

来自为知笔记(Wiz)

目前方向：图像拼接融合、图像识别联系方式：jsxyhelu@foxmail.com

微信关注我们

原文链接：https://yq.aliyun.com/articles/649380

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

谷歌中国2018校招年薪56万，Jeff Dean李飞飞李佳等清华研讨现场

【新智元导读】清华-谷歌AI学术研讨会，Jeff Dean、李飞飞、李佳等22位大牛齐聚，探讨机器学习、强化学习、NLP、计算机视觉最新进展。最近一张展示谷歌中国2018校招年薪56万的图片广为流传。谷歌的学术交流对中国AI来说无疑是好事，但或许这也将令国内本就激烈的AI人才争夺战进一步加剧。在清华大学人工智能研究院的成立仪式上，清华-谷歌AI学术研讨会也揭开帷幕。这场研讨会是清华大学人工智能研究院打造人工智能高端交流平台的首次尝试，阵容豪华。在为期两天的时间表上，密集出现了多位数得过名字的大牛，以及众多有意思的主题： Jeff Dean：深度学习解决世界难题李飞飞：朝向AI辅助健康医疗的环境智能李佳：企业AI：现实世界研究的新前线 Quoc Le：AutoML：使用机器学习自动化机器学习 Bill Freeman：用看来听：用视觉促进

2018-06-29

831

深度学习（DeepLearning）尤其是卷积神经网络（CNN）作为近几年来模式识别中的研究重点，受到人们越来越多的关注，相关的参考文献也是层出不穷，连续几年都占据了CVPR的半壁江山，但是万变不离其宗，那些在深度学习发展过程中起到至关重要的推动作用的经典文献依然值得回味，这里依据时间线索，对CNN发展过程中出现的一些经典文献稍作总结，方便大家在研究CNN时追本溯源，在汲取最新成果的同时不忘经典。首先这里给出CNN在发展过程中的一些具有里程碑意义的事件和文献：对于CNN最早可以追溯到1986年BP算法的提出，然后1989年LeCun将其用到多层神经网络中，直到1998年LeCun提出LeNet-5模型，神经网络的雏形完成。在接下来近十年的时间里，卷积神经网络的相关研究趋于停滞，原因有两个：一是研究人员意识到多层神经网络在进行BP训练时的计算量极其之大，当时的硬件计算能力完全不可能实现；二是包括SVM在内的浅层机器学习算法也渐渐开始暂露头脚。2006年，Hinton终于一鸣惊人，在《科学》上发表文章，CNN再度觉醒，并取得长足发展。2012年，ImageNet大赛上CNN夺冠，201...

2018-07-02

686

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。