2018-03-17 00:00:00 使用FeignClient调用远程服务时整合本地方法 背景 包装一个用户服务,一部分功能需要调用远程服务,而另一部分功能调用本地方法,如: @FeignClient(value="USER-SERVICE") public interface RemoteUserService{ @GetMapping("getUserByUserId") public User getUserByUserId(String userId); } public interface LocalUserService{ public String getUserId(); } @Service public class LocalUserServiceImpl implements LocalUserService{ @Autowired private HttpServletRequest request; public String getUserId(){ return (String)request.getSession().getAttribute("user-id"); } } 为了简化篇幅,并没有处理异常。 当使用者使用这两个用户相关的服务,就...
2018-03-17 00:00:00 Scrapy爬虫(8)scrapy-splash的入门 scrapy-splash的介绍 在前面的博客中,我们已经见识到了Scrapy的强大之处。但是,Scrapy也有其不足之处,即Scrapy没有JS engine, 因此它无法爬取JavaScript生成的动态网页,只能爬取静态网页,而在现代的网络世界中,大部分网页都会采用JavaScript来丰富网页的功能。所以,这无疑Scrapy的遗憾之处。 那么,我们还能愉快地使用Scrapy来爬取动态网页吗?有没有什么补充的办法呢?答案依然是yes!答案就是,使用scrapy-splash模块! scrapy-splash模块主要使用了Splash. 所谓的Splash, 就是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器,Splash是用Python实现的,同时使用Twisted和QT。Twisted(QT)用来让服务具有异步处理能力,以发挥webkit的并发能力。Splash的特点如下: 并行处理多个网页 得到HTML结果以及(或者)渲染成图片 关掉加载图片或使用 Adblock Plus规则使得渲染速度更快 使用JavaScript处理网页内容 ...