吴恩达《深度学习》第一门课(2)神经网络的编程基础
2.1二分类 (1)以一张三通道的64×64的图片做二分类识别是否是毛,输出y为1时认为是猫,为0时认为不是猫: y输出是一个数,x输入是64*64*3=12288的向量。 (2)以下是一些符号定义(数据集变成矩阵之后进行矩阵运算代替循环运算,更加高效) x:表示一个nx维数据,维度为(nx,1) y:表示输出结果,取值为(0,1); (x(i),y(i)):表示第i组数据; X=[x(1),x(2),……,x(m)]:表示按列将所有的训练数据集的输入值堆叠成一个矩阵;其中m表示样本数目; Y=[y(1),y(2),……,y(m)]:表示所有输入数据集对于的输出值,其维度为1×m; 2.2逻辑回归 (1)逻辑回归的输出值是一个概率,算法思想如下: (2)激活函数使用sigmoid,它使得输出值限定在0到1之间,符合概率的取值。 (3)关于偏置项(偏差)b,可将其变成θ0,对应的x0恒定为1,如下所示: 2.3逻辑回归的代价函数 (1)损失函数(针对单个样本): (2)代价函数(针对全部训练样本): 2.4梯度下降法 (1)下图中左边为凸函数,右边为非凸函数,逻辑回归中代价函数为凸函数,故任意的初始化都能收敛到最优点: (2)参数w、b的更新方式: 2.5导数 导数即斜率。 2.6跟多的导数例子 记住一些常见的导数求法或者直接查看导数表。 2.7计算图 (1)下图展示计算图计算的过程: (2)正向传播用于计算代价函数 2.8计算图的导数计算 (1)反向传播利用链式法则来进行求导,如对a进行求导,其链式法则公式为: 2.9逻辑回归中的梯度下降 针对于单个样本 (1)计算图如下: (2)首先计算da: (3)然后计算dz: (4)最后计算dw,db(下面的式子其实已经对所有样本进行的求导): 2.10m个样本的梯度下降法 (1)以下代码显示了对整个数据集的一次迭代 (2)以上过程会有两个循环,一个循环是循环是遍历样本,第二个循环是当w很多时是要循环的,上面之写出了两个w,所以没体现出来。 2.11向量化 (1)使用循环的方式计算:ωTx (2)使用向量的方式 后者不仅书写简单,更重要的是计算速度可以比前者快特别多。 2.12向量化的更多例子 (1)消除w带来的循环 设置u=np.zeros(n(x),1)来定义一个x行的一维向量,从而替代循环,仅仅使用一个向量操作dw=dw+x(i)dz(i),最后我们得到dw/m。 2.13向量化逻辑回归 (1)将样本x横向堆叠,形成X,同时根据python的广播性质(把实数b变成了(1,m)维),得到: (2)继续利用Python的计算方法,得到A: 2.14向量化logistic回归的梯度输出 (1)没有用向量化时使用的代码: (2)使用向量化之后的代码: 其中前面五个式子完成了前向和后向的传播,也实现了对所有训练样本进行预测和求导,再利用后两个式子,梯度下降更新参数。另外如果需要多次迭代的话,还是需要用到一个循环的,那是避免不了的。 2.15Python中的广播 (1)下图形象的总结了Python中的广播 (2)在Python的numpy中,axis=0是按照列操作,axis=1,是按照行操作,这一点需要注意。 2.16关于python_numpy向量的说明 (1)使用a=np.random.randn(5)生成的数据结构在python中称为一维数组,它既不是行向量也不是列向量,用a.shape的结果是(5,)这表示它是一个一维向量,a和它的转置相乘其实得到的是一个数。 (2)应该使用a=np.random.randn(5,1)这样生成的是一个行向量,它和他的转置乘积会是一个矩阵: 2.17Jupyter/iPython Notebooks快速入门 2.18(选修)logistics损失函数的解释 (1)首先需要明确,逻辑回归的输出表示y等于1的概率。故有: (2)合并成一个式子(要使得式子越大越好): (3)根据对数函数log的单调递增性,对上式取对数有: (4)要最大化上式,最小化上式取反,得到一个样本的损失函数。 (5)所有样本时,认为样本间独立同分布,故联合概率就是每个样本的乘积: (6)两边取对数得到: (7)要最大化上式(最大似然估计)也就是最小化: 总结一下:为了最小化成本函数J(w,b),我们logistic回归模型的最大似然估计的角度出发,假设训练集中的样本都是独立同分布的条件下。