度量、范数和内积原来是这么个关系
1引言
首先,题目中的三个概念对应三类空间,即度量空间(Metric space)、赋范空间(Normed space)和内积空间(Inner prodect space)。
度量空间,赋范空间,内积空间
从下图可以看到,这些空间底层都是集合,而所谓拓扑空间(Topological space)就是一个集合
如果光是个集合,里面的元素孤零零的,干不了什么事情呀。定义了拓扑结构,给元素间建立了一定关系,那么大家可以相互打交道,可以开心地搞事情了嘛。不同的结构意味着不同的关系,也意味着能搞不同的事情。而这时的集合就升级为空间了。
度量空间、赋范空间以及内积空间,都是通常称为拓扑空间
的示例。这些空间是按照结构递增的顺序给出的。也就是说,每个内积空间都是赋范空间,而每个赋范空间又都是度量空间。这里,度量空间相对来说是最容易构建的,但由于增加了更多结构,内积空间使用起来更加有用。
度量空间与其他两类空间,即赋范空间和内积空间在一定角度上是有区别的,后面两类空间也是线性空间(向量空间)的特例。
度量空间、向量空间、赋范空间以及内积空间这四者之间的关系可以用下面的文氏图简单概括起来。
这几个空间的来历大致如下,
-
意大利数学家朱塞佩·皮亚诺(Giuseppe Peano)在 1888 年首次给出向量空间的公理化定义。
-
法国数学家弗雷歇(Fréchet)在 1906 年提出了抽象度量空间的一般概念。
-
波兰数学家巴拿赫(Banach)在 1922 年提出了赋范空间的公理化定义。
-
匈牙利数学家(后移民美国)冯·诺依曼(John von Neumann)在 1930 年左右提出内积空间的公理化定义。
实际上,上面这些概念的起源以及公理化定义,都可以在他们前辈的作品中窥见到。比如像内积,皮亚诺早在 1898 年的论文中就已经引入。
在数学中,很多事情往往并不是孤立事件,承前启后是常见的事情。可见,数学家之间也是存在结构的。
2度量空间
度量
是指测量空间中点之间的距离的一种方式。例如,空间
该度量用于计算
通常,度量空间
(i)对于所有
(ii)
(iii)对于所有
(iv)对于所有
简蛋来说,上面几点分别对应下面几个特性,
-
任两点间的距离为正数
-
每个点只有和自己的距离为 0
-
从
-
从
度量空间主要是从点之间的距离这个角度对欧几里德空间 距离
的条件。换句话说,只要满足这些条件就有资格成为距离
,而有了距离
的概念,可以将欧几里德空间里的一些拓扑性质移植到度量空间中。
除了
例 1. 令
例 2. 令
这称为离散度量。
3向量空间
向量简史
我们先简单地来看一下向量(vector)的简历。
vector
或 vecteur
源自拉丁语动词的过去分词 vectus
,意为携带或运输
。最早可能被天文学家引入,用于描述行星围绕恒星构成向量半径。
虽然向量(vector)的名称早在十八世纪就有人使用,但在数学上将向量作为有向线段的想法可以说源于莫比乌斯(Mobius,1827)和格拉斯曼(Grassmann,1844),以及提出四元数的汉密尔顿(Hamilton,1845),他将其用于区分四元数中所谓的向量部分
和标量部分
。
接着,格拉斯曼和汉密尔顿的两大体系相互竞争,争夺影响力。从 1840 年代到 1870 年代,哈密顿体系在欧洲大部分地区比格拉斯曼体系发展得好得多。从 1870 年代到 1890 年代,关于格拉斯曼体系的出版物数量大大增加,提出向量空间公理化定义的皮亚诺(Peano,1888)就是属于这一波。
在那个年代,还没有像今天这样使用点来表示向量。向量的概念通常被视为有向线段
通常认为向量最多具有三个维度,而在格拉斯曼体系中,向量被允许具有任意数量的维数。向量的更一般概念,抽象向量空间,一开始是在皮亚诺的工作中以线性系统
的名称出现的。
向量空间
皮亚诺在其职业生涯的不同时期以三种不同的方式对待类似向量的概念。
-
从 1887 年开始的第一种方式是
-
从 1888 年开始的第二种方式是将两点
-
第三种方式也是从 1888 年开始的,他称之为线性系统(现在称为向量空间)。
第一种方式并没有公理化,第二种方式在十年后,即 1898 年被皮亚诺公理化。那会儿他不再使用线性系统这第三种方式子了。再过了十多年,有学者开始采用他的公理化线性系统才使之被学术界熟知。
下面我们来看看向量空间的现代版公理化定义。
向量空间的公理化定义
给定域
-
向量加法
-
标量乘法
公理 | 说明 |
---|---|
向量加法的结合律 | u + (v + w) = (u + v) + w |
向量加法的交换律 | u + v = v + u |
向量加法的单位元 | 存在一个叫做零向量的元素0 ∈ V,使得对任意u ∈ V都满足u + 0 = u |
向量加法的逆元素 | 对任意v ∈ V都存在其逆元素−v ∈ V使得v + (−v) = 0 |
标量乘法与标量的域乘法相容 | a(bv) = (ab)v |
标量乘法的单位元 | 域F存在乘法单位元1满足1v = v |
标量乘法对向量加法的分配律 | a(u + v) = au + av |
标量乘法对域加法的分配律 | (a + b)v = av + bv |
前四个公理说明配备了向量加法的
向量空间的一个直观模型是向量几何,几何上的向量及相关的运算即向量加法,标量乘法,以及对运算的一些限制如封闭性,结合律,已大致地描述了向量空间这个数学概念的直观形象。
有了公理化定义后,现在的向量空间不光是指几何上的向量了,是抽象的向量了。但是,人们往往需要对向量空间中的抽象向量作进一步分析,因此需要引入向量的长度,向量间的角度以及向量的正交性等概念。
赋范空间
线性代数中的很多概念在一定意义上可以说是源自几何,因为许多主题是出于将
例如,通过计算直角三角形的斜边的长度,可以从勾股定理中获得向量
这里,长度的计算公式为,
在
一个实赋范向量空间
-(i)对于所有
-(ii)
-(iii)对于所有
-(iv)对于所有向量
现在,我们给出几个基本的赋范向量空间。
例 1.
例 2.
这是
例 3.
p-范数
对于
实际上,常用下面三个
-
1-范数
-
2-范数 (欧几里得范数)
-
无穷大范数
例如,
度量和范数的关系
就度量和范数之间的关系来说,范数总是可以引出度量。具体来说,如果
那么,
但是,反过来则不一定成立的,即并非所有度量都可以由某个范数来定义。
例如,离散度量不能用范数定义。这是因为对于任一个范数,当
范数的公理化定义中有齐性这条,而度量的定义里面并没有这条。某种意义上说,度量的条件是比范数的条件要来的低,因此能成为范数,必然能被拿来打造度量,而反过来就不一定了。
如果考虑在
内积空间
内积空间的想法是推广一种欧几里得空间具有的理想特性从而得到一种抽象结构,在此基础上可以计算距离以及确定抽象向量间的正交性和角度。
一个实数域上的内积空间
-
i、所有
-
ii、
-
iii、对于所有向量
-
iv、对于
-
v、对于所有向量
在上面定义中,如果将
对于所有向量
下面是两个基本的内积空间示例。
例1. 实线性空间
例2. 复线性空间
内积与范数、度量的关系
首先,内积总是可以导出范数。具体来说,如果
那么
由于每个内积都可以根据公式
也就是说,对于空间
如果答案是否定的,那么在什么条件下,内积会生成给定的范数?
平行四边形恒等式
对于向量空间
对于所有
我们已经知道
通过观察可以很容易地证实这一点
之所以如此命名平行四边形,是因为它表示一个事实,即平行四边形中对角线的平方和是侧边平方和的两倍,请参见下图。
另外,内积与范数还能一起搞事情,那就是所谓的 CBS(Cauchy-Bunyakovskii-Schwarz
)不等式。
如果
把右边的内积写成范数,可以改成下面这样子。
如果
当且仅当
内积与向量正交
另外,内积为我们提供了一种讨论所谓正交性
的方式。
众所周知,如果
但是直角的视觉概念在更高维空间中并不可用,因此我们必须从本质上挖掘关于垂直更深层的含义。
换句话说,所谓垂直,除了角度是
还真的有,不从角度来看,而是从三角形的边长上来看,也能导出垂直的概念。
回想一下小时候学的数学知识,即经典的毕达哥拉斯定理(Pythagorean theorem),当然,我们称它为勾股定理。利用该定理,从边长上可以发现
而边长不就对应了向量的范数吗!
那么,我们就用范数的语言来书写该定理,得到: 当且仅当
成立时,
如下图所示,只要计算一下相关的三个向量的范数,就能知道两个向量是否垂直了。
进一步,对所有
当且仅当
在内积空间
-
对于带有标准内积的
-
对于带有标准内积的
4小结
回头再看一下前面的文氏图。
简而言之,数学家以集合论为基础,在其上构造和增加各种结构,然后将大家熟悉的概念抽推广到抽象空间。但也不是完全天马行空式地想象,底层还是会遵循一定基本规律和公理,比如勾股定理。
为了简化问题,本文只讨论有限维向量空间,而无限维的情况将涉及泛函分析。
矩阵和线性代数原来是这么来的
概率论原来可以这样优雅地入门
机器学习的数学基础 之 向量范数
机器学习的数学基础 之 矩阵范数
拉格朗日乘子法的来历与直观解释
本文分享自微信公众号 - 机器学习与数学(Mathinside2016)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
聊一聊 JAVA 泛型中的通配符 T,E,K,V,?
作者 |glmapper 出处 | https://juejin.im/post/6844903917835419661 前言 Java 泛型(generics)是 JDK 5 中引入的一个新特性, 泛型提供了编译时类型安全检测机制,该机制允许开发者在编译时检测到非法的类型。 泛型的本质是参数化类型,也就是说所操作的数据类型被指定为一个参数。 泛型带来的好处 在没有泛型的情况的下,通过对类型 Object 的引用来实现参数的“任意化”,“任意化”带来的缺点是要做显式的强制类型转换,而这种转换是要求开发者对实际参数类型可以预知的情况下进行的。对于强制类型转换错误的情况,编译器可能不提示错误,在运行的时候才出现异常,这是本身就是一个安全隐患。 那么泛型的好处就是在编译的时候能够检查类型安全,并且所有的强制转换都是自动和隐式的。 publicclassGlmapperGeneric<T>{privateTt;publicvoidset(Tt){this.t=t;}publicTget(){returnt;}publicstaticvoidmain(String[]args){//...
- 下一篇
请求分级与限流——手动打造服务网关
转载本文需注明出处:微信公众号EAWorld,违者必究。 项目背景 雪崩一词指的是山地积雪由于底部溶解等原因而突然大块塌落的现象,具有很强的破坏力。在系统架构中提到的雪崩,就是由于一台服务器或者一台服务器中的某个模块发生故障进而引起连锁反应,最后导致大量的服务器或者软件模块无法正常工作,这种现象也较做“急剧变化”现象。 在某通信集团统一流程平台项目上线初期就发生过几次服务雪崩的事故,由于业务系统接入持续增多,业务系统的查询请求数量大大高于了前期的设计。当集群中的一台节点宕机下线后,请求压力迅速传导给了整个集群,从而引发了集群整体宕机。 解决方案 为了保障平台整体能稳定运行,在重新对服务器负载进行估算、增加集群冗余后,项目组增加了在部署架构、压力负载分流方面考虑,以持续提升平台性能。 我们对现有平台集群的逻辑架构进行了调整,将业务访问请求按系统ID分流到各子集群,由各集群分开处理,通过对业务请求的细分,达到子集群隔离,提升系统的稳定性与可扩展性。 具体到实施层面,项目组预备在负载均衡上增加服务网关的功能,使得nginx集群不再单纯的做反向代理,而是扩展为服务网关。 服务网关 服务网关基于...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS关闭SELinux安全模块
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Hadoop3单机部署,实现最简伪集群
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Windows10,CentOS7,CentOS8安装Nodejs环境