构建机器学习算法
本文首发自公众号：RAIS，点击直接关注。 前言 本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。我们前面也介绍了一些构建机器学习或深度学习的一些内容，理解了其中部分原理和这么做的原因，接下来我们总结一下，跳出来从更高一点的方面去概括的看一看，也许会有不同的感觉。 构建机器学习算法 构建机器学习算法是有套路的：特定的数据集、代价函数、优化过程和模型。数据集比较好理解，没有数据模型就没办法训练，需要做的事情可能是把不好是数据处理成好的数据，这属于特征工程方面的问题，在深度学习研究者中也有大量的时间花在了特征工程上。代价函数，机器学习的训练模型的过程就是优化代价函数的过程，尽可能使代价函数减小。一般的优化算法就是找损失函数梯度为零，或者说找到最小值（极小值）的一组参数。代价函数一般与 损失函数 和 目标函数 进行一个对比，他们的区别是： 损失函数：通常定义在一个数据点上来计算误差； 代价函数：通常定义在整个训练集上来计算误差，是损失函数的平均值； 目标函数：训练期间优化任何功能的最通用的术语，包括目标损失和结构损失（如代价函数 + 正则化） 具体那个式子...
