基于Tensorflow的人工智能算法入门
coding=utf-8
引用数据分析模块
import numpy as np
引用文档读取模块，可以读取csv、json等文件
import pandas as pd
引用人工智能算法模块，里面包含相关算法
import tensorflow as tf
引用数据人工智能分析模块，并引用数据拆分功能
from sklearn.model_selection import train_test_split
初始化数据
从文件读取数据
data = pd.read_csv('data/XXX.csv')
为空值的列补充0值
data = data.fillna(0)
转换XX为1，XXX为2
data['XXX'] = data['XXX'].apply(lambda s: 1 if s == 'XXX' else 0)
添加新列Deceased 值为Survived 取非
独立热编码，就是使用N位布尔型的状态标识来对N种状态进行编码，任意时刻编码中只有一位有效（one-hot编码）
data['XXX'] = data['XXX'].apply(lambda s: 1 - s)
选取特征字段用于分类
as_matrix :
在numpy中的特殊类型，
是作为array的子类出现，所以继承了array的所有特性并且有自己的特殊的地方，
专门用来处理线性代数操作（*表示矩阵的相乘，但是对于两个matrix的除/则表示对应元素的相除。）
dataset_X = data[['XXX', 'XXX', 'XXX', 'XXX', 'XXX', 'XXX']].as_matrix()
dataset_Y = data[['XXX', 'XXX']].as_matrix()
拆分数据为"训练数据集和验证数据集"，其中验证数据集为20%（字段为test_size）
train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和testdata。
参数说明：
train_data：所要划分的样本特征集
train_target：所要划分的样本结果
test_size：样本占比，如果是整数的话就是样本的数量
random_state：是随机数的种子。
随机数种子：其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。
比如你每次都填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。
随机数的产生取决于种子。
随机数和种子之间的关系遵从以下两个规则：
种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。
X_data, X_val, y_data,y_data_test_split(dataset_X, dataset_Y,
test_size=0.2,
random_state=42)
定义计算公式
声明输入数据占位符
shape 第一个参数为None，表示可以同时放入任意条记录
==================================================
tf.placeholder(dtype, shape=None, name=None)
此函数可以理解为形参，用于定义过程，在执行的时候再赋具体的值
参数：
dtype：数据类型。常用的是tf.float32,tf.float64等数值类型
shape：数据形状。默认是None，就是一维值，也可以是多维，比如[2,3], [None, 3]表示列是3，行不定
name：名称
X = tf.placeholder(tf.float32, shape=[None, 6])
y = tf.placeholder(tf.float32, shape=[None, 2])
逻辑回归预测函数：y' = softmax(xW + b)
参数：x为输入向量，是大小为d x 1的列向量，d是特征数
tf.Variable是声明变量。
weights = tf.Variable(tf.random_normal([6, 2]), name='weights')
bias = tf.Variable(tf.zeros([2]), name='bias')
下面为逻辑回归的预测函数的tf写法
tf.matmul 是矩阵乘法算子
tf.nn.softmax 是sofrmax 函数
y_pred = tf.nn.softmax(tf.matmul(X, weights) + bias)
下列是交叉熵的计算公式
Minimise cost using cross entropy
NOTE: add a epsilon(1e-10) when calculate log(y_pred),
otherwise the result will be -inf
使用交叉熵作为代价函数
1e-10 是误差值
当 y_pred 十分接近真值y_true 的时候，也就是y_pred 的值非常接近 0 或 1 时，
计算log（0）会得到负无穷 -inf，从而导致输出非法，全部都是 nan，并进一步导致
无法计算梯度，迭代陷入崩溃。
cross_entropy = - tf.reduce_sum(y * tf.log(y_pred + 1e-10),
reduction_indices=1)
批量样本的代价值为所有样本交叉熵的平均值
cost = tf.reduce_mean(cross_entropy)
使用随机梯度下降算法优化器来最小化代价，系统自动构建反向传播部分的计算图
train_op = tf.train.GradientDescentOptimizer(0.001).minimize(cost)
correct_pred = tf.equal(tf.argmax(y, 1), tf.argmax(y_pred, 1))
acc_op = tf.reduce_mean(tf.cast(correct_pred, tf.float32))
开始训练和分析模型
通过计算session来开启训练迭代
with tf.Session() as sess:
# 初始化所有变量，必须最先执行
tf.global_variables_initializer().run()
# 计算训练的循环，迭代10轮
for epoch in range(10):
total_loss = 0.
for i in range(len(X_train)):
# 接口触发执行
feed_dict = {X: [X_train[i]], y: [y_train[i]]}
_, loss = sess.run([train_op, cost], feed_dict=feed_dict)
total_loss += loss
# 评估校验数据集上的准确率
accuracy = sess.run(acc_op, feed_dict={X: X_val, y: y_val})
# 通过 NumPy 校验算法准确率
pred = sess.run(y_pred, feed_dict={X: X_val})
correct = np.equal(np.argmax(pred, 1), np.argmax(y_val, 1))
numpy_accuracy = np.mean(correct.astype(np.float32))
# 读取测试算法数据集
testdata = pd.read_csv('data/test.csv')
testdata = testdata.fillna(0)
# 转换XXX为1，XXX为2
testdata['XXX'] = testdata['XXX'].apply(lambda s: 1 if s == 'XXX' else 0)
X_test = testdata[['XXX', 'XXX', 'XXX', 'XXX', 'XXX', 'XXX']]
predictions = np.argmax(sess.run(y_pred, feed_dict={X: X_test}), 1)
submission = pd.DataFrame({
"XXX": testdata["XXX"],
"XXX": predictions
})
