Python机器学习(三):梯度下降法
梯度下降法不是一种机器学习方法,而是一种基于搜索的最优化方法,它的作用的最小化一个损失函数。相应地,梯度上升可以用于最大化一个效用函数。本文主要讲解梯度下降。 假设损失函数为凸函数 1.批量梯度下降 以线性回归为例子,梯度下降法就是不断更新Θ,每次更新的大小就是一个常数乘上梯度。其中这个常数η称为学习率(Learning Rate)。 η 为 Learning Rate 多元线性回归中的梯度下降 求梯度 二元时可以把变化趋势图绘制出来。每一个箭头代表一次迭代。 圆圈为等高线,中间的损失比较小 将梯度的每一项写成向量形式 写成向量形式 为了美观进行变换 同样的,为了加快训练速度,可以将计算过程向量化 X0 恒等于 1 根据之前编写的LinearRegression类,可以用python封装成这种形式 """ Created by 杨帮杰 on 9/29/18 Right to use this code in any way you want without warranty, support or any guarantee of it working E-mail: yangbang...
