关于爬虫，首篇
补充基础知识 爬虫，毋庸置疑就是爬去互联网的网页，理论上，只要是互联网中存在的web页面，都可以爬取。用来做数据采集非常合适，尤其是现在大数据领域，爬虫必不可少。 爬虫种类有很多，了解概念可以参考百度百科 这里采用Java语言做爬虫，没有什么特别的原因，第一我用Java多，第二Java效率也挺好，第三我们的很多项目都Java的，做互相集成非常方便。当然pyhton的很多爬虫也很优秀。 爬虫框架： java的爬虫也很多，我选了一个简单易用，方便扩展，完全开源的爬虫为基础来修改 。 壁虎：https://github.com/xtuhcy/gecco 爬虫原理 爬虫无非就是模拟浏览器和一些人们操作浏览器的动作，自动的访问网站，下载网页，然后抽取有用的网页内容，当采集的数据量达到一定数量级时，便会产生非常壮观或有价值的效果。麻烦的地方就在于很多网站有登陆、验证码、ajax、js等等技术防止你进行数据爬取。 使用爬虫基础要求： 1.了解网络基础，了解从浏览器输入网址到看到数据经历了什么，整个过程是什么。 2.可以分析web网页，可以抓包。开发过网页前端的具有css基础的即可。 3.Java语言...
