Python爬虫入门教程 20-100 慕课网免费课程抓取

1. 慕课网免费课程-写在前面

美好的一天又开始了，今天咱继续爬取IT在线教育类网站，慕课网，这个平台的数据量并不是很多，所以爬取起来还是比较简单的

2. 慕课网免费课程准备爬取

打开我们要爬取的页面，寻找分页点和查看是否是异步加载的数据。

进行了一些相应的分析，发现并没有异步数据，只需要模拟翻页就，在进行HTML的解析就可以获取数据了，
翻页数据如下，合计32页，在数据量上属于非常小的了。

https://www.imooc.com/course/list?page=1 https://www.imooc.com/course/list?page=2 .... https://www.imooc.com/course/list?page=32

3. 慕课网免费课程编写代码

代码分为自动拼接URL，解析HTML，存储到mongodb三个部分组成