java写爬虫获取京东售价
在互联网这个圈子，每每说起爬虫，大家总是会说起python , 但是除了python , 我们用Java也是可以完成的。最近生活比较拮据，买东西总想买凑一波打折，在现在生活中， 我们可以一家超市一家超市的跑， 然后看哪家最便宜，但习惯网购的我们，可能更多的会选择打开淘宝或者京东看看。但并不是每次都凑巧想要的东西都在打折，那我们就会不停的去刷新页面，看看有没有打折，有没有降价。
如以前几篇文章所说，人力能在电脑上完成的，计算机也一定可以帮我们完成。今天就来试一下，用java程序来帮我们进行价格的监控。
思路：
我们是通过打开浏览器，然后输入京东的官网，找到自己想要的东西，然后看价格。发现不是自己想要的价格就先放那，过段时间再来刷新一次。
那用程序来做也是这么一个思路。 打开京东的网址，然后去找到价格，看看是不是我们想要的价格。
技术选型：承接上文的maven项目，我们用Jdk10自带的HttpClient去模拟浏览器的请求。用jsoup去分析html页面（需要引入jsoup的pom依赖）。
在页面上人工获取价格的方式如下图所示：
在pom.xml的 dependencies节点下添加：
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.11.3</version>
</dependency>
jdk10 HttpClient相关用法参考：
<u>https://developer.oracle.com/java/jdk-http-client</u>
实现代码如下：
public static void main(String[] args) {
//我们想监控价格的商品url
String url = "https://item.m.jd.com/product/5444550.html";
HttpClient client = HttpClient.newHttpClient();
//构造我们的请求
HttpRequest request = HttpRequest.newBuilder()
.uri(URI.create(url))
.build();
try {
HttpResponse<byte[]> response = client.send(request, BodyHandler.asByteArray());
byte[] responseStr = response.body();
//对返回值进行解码
String str = new String(responseStr,"gbk");
//对页面的Html转换成java对象
Document doc = Jsoup.parse(str);
//通过id获取到对应的元素
Elements eles =doc.select("#priceSale");
String text = eles.get(0).text();
//输出元素的值，即我们想要的价格
System.out.println(text);
} catch (Exception e) {
e.printStackTrace();
}
}
注：因为使用到jdk10的实验室功能httpclient，所以需要在启动时加上jvm参数：
--add-modules=jdk.incubator.httpclient
程序的输出结果：
有兴趣的小伙伴可以自己试一试，以此程序为蓝本，可以扩展成一个全网比价的小程序，就可以便宜的买买买啦
欢迎大家关注公众号：java技术大本营， 质量内容号，专心写好每一篇技术文。欢迎留言一起讨论
