一、5 个值得在 2018 年关注的库
这个库和 Flask 类似，但是比它快很多，速度能在测试中达到每秒 36000 次请求。在2017年的 Star 增长数几乎是翻了一倍。Gotta go faster!
这个库相当于是环境管理和包管理二合一，由 Kenneth Reitz （Requests 的作者 ）编写，现在移交给 Python 官方来维护，提供比 pip 体验更好的开发包管理。它的 Slogon 是Python Development Workflow for Humans，用来解决各种环境不一致、安装包的问题。
现在反爬虫技术越来越厉害，常见的请求 + 解析爬虫随着频率变大和前端开发的复杂化变得并不是那么奏效。Requestium 的好处是，结合了 Chrome 59 以后的 headless 无头特性（代替了 phantomjs）。虽然效率稍微低一点，但是稳，前端渲染的网页也可以爬取解析。是 Requests, Selenium 和 Parsel 的结合体。
这个库的开发者在 medium 上发了一篇文章，标题是：Regex was taking 5 days to run. So I built a tool that did it in 15 minutes. （正则要花5天时间才能完成，所以我做了个工具在15分钟内搞定）。这个库可以快速进行大规模语料库的文本搜索与替换。当关键词数量>500 的时候，FlashText 的搜索速度开始超过正则。
作者：麻瓜编程
链接：https://www.zhihu.com/question/24590883/answer/286407918
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
二、Awesome Python中文版来啦！
引自：Python 资源大全
(本文由 伯乐在线 - 艾凌风 翻译
英文出处：vinta/awesome-python)
三、python 之网络和邮件
1. yagmail
果使用 yagmail，发送一个带附件的邮件，只需要2行代码：
import yagmail yag = yagmail.SMTP(user='joy_lmx@163.com', password='nicai?', host='smtp.163.com', port='25') yag.send(user, subject = "I now can send an attachment", attachments=['a.txt', 'b.jpg'])
2. requests
>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass')) >>> r.status_code 200 >>> r.headers['content-type'] 'application/json; charset=utf8' >>> r.encoding 'utf-8' >>> r.text u'{"type":"User"...' >>> r.json() {u'private_gists': 419, u'total_private_repos': 77, ...}
3. psutil
psutil 是用来获取操作系统监控以及进程管理的，如果你正在写一个监控系统（或脚本），赶紧去试试。这么说吧，我曾经使用psutil把网易内部的一个监控模块，从 \(1000+\) 行重构到了\(100+\) 行。
我这里推荐的几个库，可能 yagmail对最多人有用。而 psutil，对专业的人士最有用。如果你要写一个监控系统，不使用 psutil的话，只能直接去 /proc 目录下读取想用的文件进行计算，或者执行 iostat、vmstat、df 等 linux 命令获取命令输出，不管哪一种方法，都要处理很多繁琐的细节。有了 psutil 以后，就轻松多了。贴段代码大家感受一下：
def get_network_info(self):
""" psutil.net_io_counters()
snetio(bytes_sent=12541464,
bytes_recv=21459989,
packets_sent=80164,
packets_recv=88134,
errin=0, errout=0, dropin=0, dropout=0)
"""
return psutil.net_io_counters()
def get_memory_used(self):
""" psutil.virtual_memory()
svmem(total=4159041536, available=3723980800,
percent=10.5, used=1599082496, free=2559959040,
active=587403264, inactive=897105920,
buffers=95989760, cached=1068032000)
"""
memory_info = psutil.virtual_memory()
memory_used = ( memory_info.total * memory_info.percent / 100 ) / 1024 / 1024
return memory_used
此外，使用越来越广泛的监控工具 glances（如果没用过，要不现在就是试试？），就是用 psutil 收集相关数据的。
4. BeautifulSoup
如果你写爬虫，还在用 XPath 解析 HTML，那赶紧用用 BeautifulSoup，比 XPath 好用一百倍；如果你还在用正则表达式从 HTML 中获取内容，BeautifulSoup 能让你好用到哭。（补充：评论里大家都说 XPath 更好用，难道是我思维方式和大家不一样？）
BeautifulSoup 是用来解析 HTML 的，特点就是好用，有人吐槽 BeautifulSoup 慢？我不在乎 BeautifulSoup 比 XPath 慢多少，我只知道，我的时间比机器的更宝贵。
例如，要找到页面中所有的 links，如下所示：
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
from bs4 import BeautifulSoup
import requests
url = 'https://www.biaodianfu.com'
r = requests.get(url, timeout=20)
soup = BeautifulSoup(r.content, 'html.parser')
print(type(soup))
<class 'bs4.BeautifulSoup'>
for link in soup.find_all('a'):
print(link.get('href'))
https://www.biaodianfu.com/category/product-design
https://www.biaodianfu.com/category/share-discovery
https://www.biaodianfu.com/category/bigdata
https://www.biaodianfu.com/category/programming
https://www.biaodianfu.com/category/management
https://www.biaodianfu.com/category/architecture
https://www.biaodianfu.com/category/marketing
https://www.biaodianfu.com
http://www.biaodianfu.com/
https://www.biaodianfu.com/about
https://www.biaodianfu.com/archives
.....
有了BeautifulSoup以后，爬虫操作就变得特别简单了。脏活累活别人都帮忙做好了。
更多参考：Python数据解析工具：Beautiful Soup
5. utils
除了开源的库以外，还有些开源项目的 DataStruct.py helper.py utils.py 文件，也值得看一看。里面很多好东西，都是可以直接拿过来用的。
探寻有趣之事！
