SOTON私人定制：利用Python进行数据分析（前言、案例和IPython）
前言与案例 前言 使用Python的几个原因： Python目前有比较强大的数据分析库： pandas, scikit-learn Python和C与FORTRAN的交互比较容易，可以使用C和FROTRAN的库处理线性代数，优化问题，积分和快速傅里叶变换 Python既能用于探索性研究，设计原型机，并且也能构建生产系统。如果使用R/SAS，后续还得用Java, C#, C++实现生产系统的代码 不用Python的理由也有： 运行速度太慢。不过和人力相比起来，计算机成本不算啥 Python有一个被人嫌弃的全局解释锁(global interpreter lock, GIL)，不能使用多线程，怎么玩集群！ 不过目前有PyPy等项目可以加速，初学者目前不需要担心这个运行速度问题，更大的问题是你想不出数据分析方案。 必要的Python库：Numpy(Python数值计算的基石),pandas(将R的data.frame在Python中进行实现), matplotlib(Python最棒的图形库), IPython和Jupyter(效率神器), SciPy(科学计算常用库), scikit-learn(机器学习少不了它), statsmodels(Python的统计分析库) Python最佳发行版: Anaconda Python版本：Python3是未来趋势 Python社区和会议：pydata,, pystatsmodels 约定俗成的几行代码: import numpy as np import matplotlib.pyplot as plt import pandas as pd import seaborn as sns import statsmodels as sm 一些术语: Mugne/munging/wrangling: 通常翻译成数据规整化，指的是非结构化数据和混乱的数据经过一系列的处理成为结构和整齐的数据形式 pseudocode： 伪代码，就是不能直接运行的代码，主要表现思想 Syntactic sugar: 语法糖， 不是新的语言特性，仅仅是将一些语法变得更加好写，好用而已。虽然大家经常会吐槽XXX不就是语法糖嘛，但是用的时候一点都不含糊。 案例 在正式开始使用Python进行数据分析的时候，先了解Python能做什么能够提高我们学习的信心。作者举了几个例子，用来体现数据分析的常规流程：读取、写入数据，准备数据，格式变换，建模和计算，可视化展示。 所用数据可以在https://github.com/wesm/pydata-book进行下载 git clone https://github.com/wesm/pydata-book.git 案例：usa.gov的短域名数据， 展示前10个时区 %matplotlib inline # 读取数据 import json records = [json.loads(line) for line in open(file="../pydata-book/datasets/bitly_usagov/example.txt")] # 数据准备，清理 from pandas import DataFrame, Series df = DataFrame(records) clean_tz = df['tz'].fillna('Missing') clean_tz[clean_tz == ''] = 'Unknown' tz_counts = clean_tz.value_counts() # 可视化 tz_counts[:10].plot(kind='barh', rot=0) 前10时区 IPython常用操作 后续的主要数据分析都是利用Ipython，IPython是加强版的Python交互终端，效率神器。一般都是通过命令行jupyter notebook启动浏览器版。在Jupyter下，混写markdown语法和Python代码保存为pynb格式，方便让别人理解你的分析过程。 IPython用起来和普通的Python shell差不多，但是记住如下特性能够大大提高效率 IPtyhon常用操作 在正式学习数据分析之前，我们需要先找一个合适的工具。IPython虽然只提供了更强大的交互式shell界面，但是由于它的"执行-探索"的设计理念非常符合数据分析，所以我们先来熟悉一下IPython，为之后的学习打下基础。 安装 pip install ipython 启动 在cmd直接敲下ipython就会出现交互式的界面 IPython 常用功能 1.Tab补全 是不是觉得每次都把命令打全特别累呀，是不是会突然忘记某个命令怎么拼写了呢？只要输入命令的前几个，按下Tab，Ipython就会为你自动补全，或者提供候补选项，甚至它会为你补全文件路径。 TAB补全 2.属性查看？ 你刚刚定义了一个变量，但是你Python刚入门，不清楚这个变量到底属于list还是dic，这时候你只要在这个变量后加一个?就能查看详细信息了（其实放在前面也行） ？的作用 ps:如果你定义的是一个函数，使用 ??还可以查看源代码 3.内部执行python脚本 在普通python命令下，我们想执行一个脚本只能先退出然后运行这个脚本，但是在ipython下你可以直接在内部执行一个刚定义的脚本，这个神奇的方法就叫做%run 新建一个hello.py %run 4.神奇的复制 假设你有一段代码如下： x5 print('hello world') hello() 你不想一行一行的重新敲，希望直接复制运行，怎么做呢？一种方法直接复制粘贴，这种方法遇到tab缩进的代码容易出错。另一个方法复制之后用%paste或cpaste，高端又安全。 5.快捷键 假设你运行hello函数时，不小心敲成了ehllo。你想修改这个错误，于是你用方向键一个一个往前移动，这太不效率了用Ctrl+A吧。还有没有其他快捷键呢？当然有了，下面就是Ipython提供的快捷键，记住他们可以让你的效率提高好多倍呢！ Ctrl-P 或上箭头键 后向搜索命令历史中以当前输入的文本开头的命令 Ctrl-N 或下箭头键 前向搜索命令历史中以当前输入的文本开头的命令 Ctrl-R 按行读取的反向历史搜索（部分匹配） Ctrl-Shift-v 从剪贴板粘贴文本 Ctrl-C 中止当前正在执行的代码 Ctrl-A 将光标移动到行首 Ctrl-E 将光标移动到行尾 Ctrl-K 删除从光标开始至行尾的文本 Ctrl-U 清除当前行的所有文本译注12 Ctrl-F 将光标向前移动一个字符 Ctrl-b 将光标向后移动一个字符 Ctrl-L 清屏 6.与操作系统互动 在普通的python环境中，与操作系统互动是一件比较麻烦的事情，你看需要import os然后执行某些指令。但是IPython为你解决了这些问题。 ！cmd 执行系统shell的cmd output = !cmd args 运行cmd并储存标准输出 %cd 文件目录 切换文件目录 %pwd 查看当前工作目录 %dirs 查看当前目录的所有文件 %env 打印环境变量 事实上你可以用！+args执行所有的环境变量。 7.魔法命令（magic commands) 除了之前%run之外，IPtyhon还提供了许多以%开头的魔法指令，下面只是几个比较实用。 %matplotlib 可以将matplotlib的图表直接嵌入到Notebook之中，或者使用指定的界面库显示图表，它有一个参数指定matplotlib图表的显示方式。 性能分析 %timeit调用timeit模块对单行语句重复执行多次，计算出其执行时间。%%timeit则用于测试整个单元中代码的执行时间 %hist 查看命令行历史 %reset 重置IPython内的所有变量 你可以执行%magic查看关于各个命令的说明，而在命令之后添加?可以查看该命令的详细说明。
