深度学习中的信息论
- 本文首发自公众号:RAIS,期待你的关注。
前言
本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。
信息论
信息论是数学上一个分支,非常重要,包括你能看到这篇文章信息的传输信息论在其中都发挥了极其重要的作用,我就不赘述了,我们还是讨论更学术更专业性的知识。
量化信息
- 非常可能的事情包含较少的信息;
- 较不可能的事情包含更高的信息;
- 独立的事件具有增量的信息。
自信息
香农熵
本是热力学中的概念,被香农引入到信息论中,因此也被称为信息熵或香农熵。不准确点说,熵是用来衡量混乱程度的。越混乱,熵越大,要弄清楚情况所需要的信息越多。
其中 P 为 X 的概率质量函数,上一篇文章中介绍过。其中的 b 不同时对应的结果单位不同(机器学习中,用自然对数 e 为底,单位为 奈特)。对于连续变量则被称为 微分熵。
相对熵
也叫 KL 散度,具有非负的特性。可以用来衡量两个分布之间的差异,用 p 分布近似 q 的分布,相对熵可以计算这个中间的损失,但是不对称(p 对 q 和 q 对 p 不相等),因此不能表示两个分布之间的距离。
交叉熵
用来度量两个概率分布之间的差异。从下面的公式可以看出,因为 H(p) 不变,因此交叉熵的变化可以反映出相对熵的变化,在机器学习或神经网络中,就可以用交叉熵来作为损失函数(不必用相对熵)。
结构化概率模型
因为深度学习或机器学习的算法经常会涉及非常多的随机变量的概率分布,而且这些概率分布中相互关联的的变量并不是特别多,所以把所有的变量都相互关联起来是没有必要也是非常低效的,因此我们可以把概率分布分解成许多部分概率的乘积的形式,这样就可以把没什么关系的变量之间相互分割开,可以用有向图表示。这种模型称作 图模型 或 结构化概率模型。举个例子如:
有有向图就有无向图,对于无向图类型的,表示的是之间有函数关系,但不是一种概率关系,无法用很好的概率分布去描述,相互之间有关系的我们称作为一团,于是就有另外一种情况了。举个例子如,其中 Z 为归一化常数:
总结
信息论是一种基础,越靠近底层,算法等,需要的越多,做上层应用的可能根本不关心,但这更像一块基石,牢固的地基是在上面筑高台的基础。
- 本文首发自公众号:RAIS,期待你的关注。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
微服务架构之SOA思想
SOA思想 1.1 SOA思想介绍 面向服务的架构(SOA)是一个组件模型,它将应用程序的不同功能单元(称为服务)进行拆分,并通过这些服务之间定义良好的接口和协议联系起来。接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构件在各种各样的系统中的服务可以以一种统一和通用的方式进行交互。 核心概念:面向服务的架构。 特点: 分布式的思想 根据业务进行拆分。 粗粒度的服务接口分级。 标准化的服务接口 可从企业外部访问 随时可用,可重用的服务 松散耦合:服务之间、接口与实现之间、业务组件和传输协议之间 支持各种消息模式 精确定义的服务契约 1.2将SOA用于开发来说 说明:以后的开发中,为了让系统统一的完成调用.则可以采用SOA的方式进行管理。 接口: 1.可以是具体的Service接口 2.可以具体的url的请求路径 但凡前台可以与后台进行交互的都可以称之为接口。 1.3.对于整个大局来说 1.3.1 企业需求 一个是“信息孤岛”造成基于系统之间互联互通的整合需求;另一个是业务的变化所导致对IT灵活性,以适应变化的需求。 目前国内外基本情况类似,经过...
- 下一篇
zipkin:打造自己的链路跟踪系统(一)
在微服务盛行的时代,一个公司的应用数量动辄成百上千个。应用之间的依赖关系错综复杂,定位问题、排查问题是一件令人头疼的事情。 为了解决这个问题,Google的Dapper论文应运而生。Twitter基于该论文打造了自己的链路跟踪系统(也就是本文章的主角):zipkin并将其开源 简介 Zipkin is a distributed tracing system. It helps gather timing data needed to troubleshoot latency problems in service architectures. Features include both the collection and lookup of this data. Zipkin是一个分布式追踪系统。它有助于收集解决服务架构中的延迟问题所需的计时数据。功能包括收集和查找此数据。 简单的介绍一下zipkin,详细的介绍请移步:zipkin官网 架构 reporter:上报链路数据的模块,配置在具体的应用中 transport:传输链路数据的模块,通常为http、Kafka collect...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题