标签：数据预处理、数据科学、数据可视化、招聘、Jupyter、机器学习

原文作者：John Sullivan，数据科学博客DataOptimal的创始人，可以通过 @DataOptimal在Twitter上与他联系。

原文地址：5 Data Science Projects That Will Get You Hired in 2018

天善智能

  看了不少天善智能^[1]的视频课，读了一堆数据科学的书，下一步你打算怎么办？

  找个数据科学的工作不容易，不过我有个好主意能帮你找工作，这就是打造你自己的作品集，利用作品集展示你学到的技能，让未来的老板知道你有多大本事。

  你可以把这5个数据科学项目放到作品集里，以此说明自己的能力：

1. 数据清洗

  数据科学家往往要耗费高达80%的时间来清理新项目的数据，这是数据科学团队最大的痛点。如果能告诉他们你拥有丰富的数据清理经验，你的价值马上就能体现出来了。现在，找一些需要清理的数据集，创建一个数据清洗项目，开始数据清理吧。

Data Cleaning

  用Python的话，Pandas绝对是首选，如果用的是R，可以使用dplyr这个包。记得要表现出以下几项技能：

• 导入数据；
• 合并多个数据集；
• 检测缺失值；
• 检测异常值；
• 插入缺失值；
• 数据质量验证。

1. 探索性数据分析

  数据科学的另一项重要工作是探索性数据分析（EDA，Exploratory Data Analysis ），它是提出问题、使用可视化方法研究问题的过程。探索性数据分析可以让分析师通过数据得出结论，进而影响业务决策。这项工作可以是通过客户细分得出洞察结果，也可以是分析季节因素对销售趋势的影响。一般来说，探索性数据分析会带来一些让人意想不到的发现。

Exploratory data analysis

键冬同学的PyEcharts-柱形图

键冬同学的PyEcharts-地图

键冬同学的PyEcharts-词云图

  Python用户可以使用Pandas和Matplotlib（译注：强烈推荐国内用户使用键冬同学的PyEcharts，交互式的可视化图，非常好用！)这两个库进行探索性数据分析。R用户可以使用ggplot2这个包，也非常实用。探索性数据分析这个项目要展示出如下几方面的技能：

• 能够提出探索性的问题；
• 能够识别趋势；
• 能够识别变量的共变性（covariation）；
• 能够使用可视化（散点图、直方图，箱须图等）有效地沟通分析结果。

1. 交互式数据可视化

  交互式数据可视化包括使用Dashboard这样的工具。数据科学团队和终端业务用户都喜欢使用这些工具。数据科学团队可以使用Dashboard进行协作，一起开展数据分析工作。更重要的是，Dashboard为终端业务用户提供了交互式的工具，让他们把精力放在战略目标上，而不用关注过多的技术细节。很多时候，数据科学团队提交给用户的可交付成果都是以Dashboard这种形式体现的。

Interactive data visualizations

Python用户可以使用Bokeh和Plotly，这两个库都是编制Dashboard的利器。R用户则必选RStudio的Shiny包。Dashboard的项目一定要突出以下这些重要的技能。

• 列出客户需求相关的指标；
• 提取有用的特征；
• 使用有逻辑的布局，比如易于浏览的“F模式”；
• 创建最优的刷新率；
• 生成报告或其它自动化的操作。

1. 机器学习

  机器学习项目是你的作品集里另一项非常重要的内容。在你关掉这篇文章，开始构建深度学习项目前，不要着急，咱们先花一分钟的时间回顾点儿基础概念，就算要建立一个特别复杂的机器学习模型，也得先从基础做起。我建议从线性回归与逻辑斯蒂回归做起，和高管沟通时，解释这些模型也会相对容易一点。这个项目的重点应该是突出项目对业务的影响，比如客户流失、欺诈监测，或贷款拖欠这些内容。提醒一下，别再用预测鸢尾花类型这样的例子了，最好找些实用的数据项目。

Machine learning

  Python用户可以用 Scikit-learn这个机器学习库，R用户可以使用Caret这个包。机器学习项目要传达给读者你具有以下技能：

• 能够说明选择某个机器学习模型的原因；
• 能够避免过拟合，将数据分割为训练集与测试集（K折交叉验证）；
• 能够选择正确的评估指标（AUC~Area Under Curve, 调整R方~Adj-R², 混淆矩阵~confusion matrix）；
• 能够开展特征工程与选择的能力；
• 能够进行超参数调优。

1. 沟通

  沟通对于数据科学的重要性比你想的要大得多，能否有效地沟通、交流数据分析结果是区分牛X数据科学家和普通数据科学家的标准。不管你做的模型多花哨，如果不能给同事或客户讲清楚，不能让他们理解，就没人会买你的账。幻灯片和笔记是超强大的沟通工具，你可以尝试把机器学习项目改造成幻灯片，还可以使用Jupyter Notebook或RMarkdown辅助沟通。

Jupyter communication

  记住，首先要搞清楚目标受众是谁，给公司高管做汇报和给机器学习专家做演讲完全是两码事儿。注意要突出以下这些能力：

• 搞清楚你的目标受众是谁；
• 展示可视化图；
• 幻灯片要清爽，不要塞进去太多信息；
• 陈述流程一定要流畅；
• 结合业务影响（比如减少成本、增加收入）说明分析结果。

  使用Jupyter Notebook或RMarkdown文件记录项目，也可以使用免费的Github Pages将Markdown文件转化为静态网页。

  完成上述五个项目，把它们加到你的作品集里，找工作时，把你的作品集展示给面试官，就能把他们都给震了。

  保持积极的心态，不断实践各种数据科学项目，你就能在数据科学这条道路上不断前进，最终找到一条属于自己的路，并在这个领域占据一席之地。顺祝马到成功，高薪在手！

1. 原文是慕课，这里本地化了，顺便给天善智能打个广告，感谢天善引导我进入数据科学的大门。 ↩