什么是网络爬虫，网络爬虫有什么用？

简单地说，就是把网页所展示数据通过非人工的手段获取下来。

现在是大数据时代，数据分析是解决各行各业相关问题重要的依据。数据分析结果的准确性有很大一部分取决于数据量是否足够大。如果是几十条数据，我们当然可以让人来一条条地复制粘贴。但就像我们前面说的，数据量要足够大分析出来的结果才是有意义的，所以我们需要的数据量通常比较大，往往不可能通过人力来完成数据采集的工作（因为效率低，而且容易出错，重复枯燥的工作也使人失去耐心）。这时候网络爬虫就起到非常重要的作用。

网络爬虫在数据采集方面有好的优势，比如采集速度快，比人来操作可能要快一千倍一万倍都不止；方便将获取的数据进行相关的清洗加工以及储存工作；代码可重复使用，或者说是“一劳永逸”。举个例子来体现一下：

有一天，你的老板让你做关于某个城市的近五年的天气变化的数据分析与展示来决定公司不同季节的衣服应该在什么时候开始铺货，打折促销等。经过思考，你觉得需要做以下的工作：

1、找到某个天气查询网站，找到所需城市的历史天气网页。

2、获取某个城市近五年的全部数据也就是365*5=1825条数据（每条数据包含天气状况、风力风向、温度湿度、PM2.5等）

3、将获取的数据进行清洗（也就是数据是否有重复，或者明显不符合实际情况的（比如温度数值显示为90°），将这些错误数据删除）

4、将数据保存成相关格式（比如Excel）

5、对数据进行相关的分析展示工作

就前四步数据获取的工作而言，如果我们靠人力来赋值粘贴这些数据，看上去也才1825条，不是特别多，靠单身多年的手速应该可以搞一波。但是，这些网页通常是按月来分的，也就说每一页都只是某一年中某一个月（比如2018年8月）的数据，那你在复制粘贴的时候，还要点击切换网页12*5=60次。

你在重复的工作中，也许还会失去耐心，变得狂躁，进而变得麻木。网页上出现了某天的温度为90°这样非常严重的常识性错误数据，你都一并复制粘贴了；当你用好不容易将1825条数据复制粘贴到Excel中并反复确认已经保存成功了，这时候，你的老板一通电话对你说：“小x啊，搞错了，不是那个城市，是另外一个地方。你应该还没开始做吧？好好干，小伙子我是很看好你的！”这时候，你恨不得沿着电话线爬过去把老板打一顿，也忍不住开始感叹这种重复性高工作要是交给计算机来做该多好。

如果这时候，你看了我其他文章，懂网络爬虫。别说一个城市了，就算是全国所有城市地区的天气数据都给你老板安排得明明白白。到时你就可以拿着一份漂亮的数据分析报告对老板说：“老板，我觉得你叫我去分析那个城市不行。我分析了全国所有城市几十万条数据，根据我们公司的实际情况我觉得这些城市更加符合我们公司的发展情况”。老板一听，立刻就觉得你这个小伙子确实不错，有能力踏实能干，值得培养，升职加薪年终奖就都有了。

而且网络爬虫，也不仅仅只是获取数据，有时候也能方便我们的生活，比如免费下载一些需要付费的视频歌曲（当然，我们还是要尊重版权，我绝对不提倡你这样做）。

最后，我希望以后不管你是从事什么行业的，都可以学一些程序设计方面的技术。学会一门程序设计语言（比如Python、Java，但我建议不是从事计算机行业的朋友学一学Python，以后我的博客也会有Python和Java相关教程），能让你的工作变得更加有效率，能让你的生活变得更加便捷。

原文地址https://blog.csdn.net/qq_29750277/article/details/82119274