coding=utf-8

引用数据分析模块

import numpy as np

引用文档读取模块，可以读取csv、json等文件

import pandas as pd

引用人工智能算法模块，里面包含相关算法

import tensorflow as tf

引用数据人工智能分析模块，并引用数据拆分功能

from sklearn.model_selection import train_test_split

初始化数据

从文件读取数据

data = pd.read_csv('data/XXX.csv')

为空值的列补充0值

data = data.fillna(0)

转换XX为1，XXX为2

data['XXX'] = data['XXX'].apply(lambda s: 1 if s == 'XXX' else 0)

添加新列Deceased 值为Survived 取非

独立热编码，就是使用N位布尔型的状态标识来对N种状态进行编码，任意时刻编码中只有一位有效（one-hot编码）

data['XXX'] = data['XXX'].apply(lambda s: 1 - s)

选取特征字段用于分类

as_matrix :

在numpy中的特殊类型，

是作为array的子类出现，所以继承了array的所有特性并且有自己的特殊的地方，

专门用来处理线性代数操作（*表示矩阵的相乘，但是对于两个matrix的除/则表示对应元素的相除。）

dataset_X = data[['XXX', 'XXX', 'XXX', 'XXX', 'XXX', 'XXX']].as_matrix()
dataset_Y = data[['XXX', 'XXX']].as_matrix()

拆分数据为"训练数据集和验证数据集"，其中验证数据集为20%（字段为test_size）

train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和testdata。

参数说明：

train_data：所要划分的样本特征集

train_target：所要划分的样本结果

test_size：样本占比，如果是整数的话就是样本的数量

random_state：是随机数的种子。

随机数种子：其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。

比如你每次都填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。

随机数的产生取决于种子。

随机数和种子之间的关系遵从以下两个规则：

种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。

X_data, X_val, y_data,y_data_test_split(dataset_X, dataset_Y,

 test_size=0.2, random_state=42) 

定义计算公式

声明输入数据占位符

shape 第一个参数为None，表示可以同时放入任意条记录

==================================================

tf.placeholder(dtype, shape=None, name=None)

此函数可以理解为形参，用于定义过程，在执行的时候再赋具体的值

参数：

dtype：数据类型。常用的是tf.float32,tf.float64等数值类型

shape：数据形状。默认是None，就是一维值，也可以是多维，比如[2,3], [None, 3]表示列是3，行不定

name：名称

X = tf.placeholder(tf.float32, shape=[None, 6])
y = tf.placeholder(tf.float32, shape=[None, 2])

逻辑回归预测函数：y' = softmax(xW + b)

参数：x为输入向量，是大小为d x 1的列向量，d是特征数

tf.Variable是声明变量。

weights = tf.Variable(tf.random_normal([6, 2]), name='weights')
bias = tf.Variable(tf.zeros([2]), name='bias')

下面为逻辑回归的预测函数的tf写法

tf.matmul 是矩阵乘法算子

tf.nn.softmax 是sofrmax 函数

y_pred = tf.nn.softmax(tf.matmul(X, weights) + bias)

下列是交叉熵的计算公式

Minimise cost using cross entropy

NOTE: add a epsilon(1e-10) when calculate log(y_pred),

otherwise the result will be -inf

使用交叉熵作为代价函数

1e-10 是误差值

当 y_pred 十分接近真值y_true 的时候，也就是y_pred 的值非常接近 0 或 1 时，

计算log（0）会得到负无穷 -inf，从而导致输出非法，全部都是 nan，并进一步导致

无法计算梯度，迭代陷入崩溃。

cross_entropy = - tf.reduce_sum(y * tf.log(y_pred + 1e-10),

 reduction_indices=1) 

批量样本的代价值为所有样本交叉熵的平均值

cost = tf.reduce_mean(cross_entropy)

使用随机梯度下降算法优化器来最小化代价，系统自动构建反向传播部分的计算图

train_op = tf.train.GradientDescentOptimizer(0.001).minimize(cost)

correct_pred = tf.equal(tf.argmax(y, 1), tf.argmax(y_pred, 1))
acc_op = tf.reduce_mean(tf.cast(correct_pred, tf.float32))

开始训练和分析模型

通过计算session来开启训练迭代

with tf.Session() as sess:

# 初始化所有变量，必须最先执行 tf.global_variables_initializer().run() # 计算训练的循环，迭代10轮 for epoch in range(10): total_loss = 0. for i in range(len(X_train)): # 接口触发执行 feed_dict = {X: [X_train[i]], y: [y_train[i]]} _, loss = sess.run([train_op, cost], feed_dict=feed_dict) total_loss += loss # 评估校验数据集上的准确率 accuracy = sess.run(acc_op, feed_dict={X: X_val, y: y_val}) # 通过 NumPy 校验算法准确率 pred = sess.run(y_pred, feed_dict={X: X_val}) correct = np.equal(np.argmax(pred, 1), np.argmax(y_val, 1)) numpy_accuracy = np.mean(correct.astype(np.float32)) # 读取测试算法数据集 testdata = pd.read_csv('data/test.csv') testdata = testdata.fillna(0) # 转换XXX为1，XXX为2 testdata['XXX'] = testdata['XXX'].apply(lambda s: 1 if s == 'XXX' else 0) X_test = testdata[['XXX', 'XXX', 'XXX', 'XXX', 'XXX', 'XXX']] predictions = np.argmax(sess.run(y_pred, feed_dict={X: X_test}), 1) submission = pd.DataFrame({ "XXX": testdata["XXX"], "XXX": predictions })