预测型数据分析：线性回归

回归：预测数值型变量
分类：预测样本所属类别
聚类：在未知样本类别的情况下，根据样本之间的相似性把样本分成不同的类别

适用：用于股价、房价、空气质量等数值型变量的预测
数学模型：分析两组变量之间的关系
x：自变量（Independent variable）
y：应变量（Dependent variable）
如图是一个线性回归的示意图

通过x来预测y，函数：f(x) = y，例如在房价问题中，用房子大小等特征作为自变量，房子价格为应变量
房价回归预测案例：
$x_1$:房子大小
$x_2$:房子楼层
$x_3$:绿化规模
$x_4$:距离最近的地铁站距离
$x_5$:距离最近的公交站距离
$x_6$:是否配备停车位
……
y：房子价格
根据常识来讲，房价和很多因素相关，房子的大小、楼层等等都是比较明显的影响因素，还有一些需要花功夫去寻找的特征。
要寻找一个函数f，将x映射到y上，这就是回归的关键。

回归的经典方法：线性回归
线性回归认为y是x的一个线性的叠加

• 方程式：
  

向量形式：

• 参数含义
  

图中y轴上的截距为，回归曲线的斜率代表横坐标变量的系数，即

• 参数优化方法：监督学习、OLS

  • 监督学习：已有一些训练样本（训练集），同时知道X和y，通过这些已知的样本学习得到回归模型
  • OLS（Ordinary Least Squares）：使得预测的y和真实的y在训练集上误差的平方最小

用sklearn实现

1.依旧使用到iris的数据集

import pandas 
iris = pandas.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header=None)
iris.columns=['SepalLengthCm','SepalWidthCm','PetalLengthCm','PetalWidthCm','Species']
iris.sample(10)

2. 绘图

import seaborn
%matplotlib inline
#通过画图可以直观地对数据的线性关系做一个观察
seaborn.regplot(x='PetalLengthCm',y='PetalWidthCm',data=iris)

3.训练模型

from sklearn import linear_model
lm=linear_model.LinearRegression()
features=['PetalLengthCm']
X=iris[features]
y=iris['PetalWidthCm']
print(X.shape,y.shape)

(150, 1) (150,)

#放入两个特征,X就会多一个维度
features=['PetalLengthCm','SepalLengthCm']
#使用X，y来训练model
model=lm.fit(X,y)
print(model.intercept_,model.coef_)
#从print的结果可以得到回归模型的截距和系数

-0.366514045217 [ 0.41641913]

截距和系数正对应上图中的直线

4.预测数据

#使用model来对数据进行预测，输入X自变量的值，输出y的预测值
#注意多个自变量时的情况,比如：model.predict([1,2])

model.predict(4)

array([ 1.29916248])

预测性能的评估

为了评估获得模型的性能，需要对数据集进行划分，划分为训练集和测试集，在训练集上学习获得模型，在测试集上评估误差

交叉检验

将数据集中的样本等分成多份，每次取其中的一份作为测试集，剩余的数据作为训练集，使用测试集数据评估和检验从训练集学习得到的模型，即进行交叉检验。相对于随机划分，一部分的训练集永远划分在测试集中，交叉检验是将数据划分成若干份，每次用不同的部分作为测试集，则每份都被当做测试集和训练集使用过。

如下图是将数据集划分为五份的交叉检验

将数据集分为5份，分别进行5次回归

回归常用的打分函数

• $MAE=\sum \left | {y}'-y \right |/N$对应的scoring参数为’neg_mean_absolute_error’
• $MSE=\sum ({y}'-y)^{2}$对应的scoring参数为’neg_mean_squared_error’

得分越高，则代表模型的性能越好

scikit learn中进行交叉检验

from sklearn.model_selection import cross_val_score
#得到5次交叉检验的误差,注意这里cross_val_score()前面用了负号，得到的是每个回归模型的平均绝对值误差
#用MAE举例
scores=-cross_val_score(lm,X,y,cv=5,scoring='neg_mean_absolute_error')
print(scores)
#求平均值，作为误差结果
import numpy as np
print(np.mean(scores))

[ 0.08581817  0.09533821  0.13792154  0.2074044   0.29904645]
0.165105751004