模型调优没效果? 不妨试试Batch Normalization！-低调大师

模型调优没效果? 不妨试试Batch Normalization！

2018-08-22 573

今儿调模型大佬又给支了一招，叫Batch Normalization(下面简称BN)，虽然还没有深刻理解这玩意是什么，但是是真的挺有效的，哈哈。因此本文只是总结一下BN的具体操作流程以及如何用tensorflow来实现BN，对于BN更深层次的理解，为什么要BN，BN是否真的有效大家可以参考知乎上的回答：https://www.zhihu.com/question/38102762

1、BN的流程

传统的神经网络，只是在将样本x进入到输入层之前对x进行0-1标准化处理（减均值，除标准差），以降低样本间的差异性，如下图所示：

BN是在此基础上，不仅仅只对输入层的输入数据x进行标准化，还对每个隐藏层的输入进行标准化，如下图所示：

可以看到，由标准化的x得到第二层的输入h1的时候，经历了如下的步骤：

1、第一层的权重项w 和输入x想成，得到s1

微信关注我们

原文链接：https://yq.aliyun.com/articles/628193

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

实践总结：使用正式表达式快速生成代码

概述在写代码或者写文档的时候，经常需要将数据库表字段格式化，或者转换为java规范的变量，在实践中总结出来，使用工具+正式表达式，可以简化很多的Ctrl+C/Ctrl+V或修改大小写等繁琐事业，并且能减少误操作。在有规律的，大批量数据的时候，这种处理办法尤其快。以下演示在notepad++中使用正则表达式替换字符大小写。例1. 将建表字段，做成SELECT字段并包含注释 (1) 原始数据 `ID` int(11) NOT NULL AUTO_INCREMENT COMMENT '记录ID', `ORG_ID` int(11) DEFAULT NULL, `PRODUCT_CATEGORY_ID` varchar(50) DEFAULT NULL COMMENT '产品分类ID', (2) 要求处理结果 SELECT `id` AS `id` -- 记录id , `org_id` AS `org_id` -- 组织id , `product_category_id` AS `product_category_id` -- 产品分类id FROM table (3) 处理过程步骤1....

2018-08-23

576

Please note: skrollr hasn't been under active development since about September 2014 (check out the contributions graphs on https://github.com/Prinzhorn/skrollr/graphs/contributors) and I don't have any plans for doing major changes to it. Please consider this before using skrollr in production as problems with new browser versions, especially on mobile, will most definitely surface. To be honest, mobile support always sucked (because mobile browsers are hard) and you shouldn't compromise UX for...

2018-08-23

636

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。