Java爬虫之利用Jsoup自制简单的搜索引擎
Jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。Jsoup的官方网址为: https://jsoup.org/, 其API使用手册网址为:https://jsoup.org/apidocs/overview-summary.html .
本次分享将实现的功能为:利用Jsoup爬取某个搜索词语(暂仅限英文)的百度百科的介绍部分,具体的功能介绍可以参考博客:Python爬虫——自制简单的搜索引擎。在上篇爬虫中我们用Python进行爬取,这次,我们将用Java来做爬虫,你没看错,就是Java.
在Eclipse中加入Jsoup包,下载网址为:https://jsoup.org/download .
爬虫的具体代码如下:
package baiduScrape; /* * 本爬虫主要利用Java的Jsoup包进行网络爬取 * 本爬虫的功能: 爬取百度百科的开头介绍部分 * 使用方法: 输入关键字(目前只支持英文)即可 */ import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import java.net.*; import java.io.*; import java.util.Scanner; public class BaiduScrape { public static void main(String[] args) { Scanner input = new Scanner(System.in); String baseUrl = "https://baike.baidu.com/item/"; String url = ""; // 如果输入文字不是"exit",则爬取其百度百科的介绍部分,否则退出该程序 while(true) { System.out.println("Enter the word(Enter 'exit' to exit):"); url = input.nextLine(); if(url.equals("exit")) { System.out.println("The program is over."); break; } String introduction = getContent(baseUrl+url); System.out.println(introduction+'\n'); } } // getContent()函数主要实现爬取输入文字的百度百科的介绍部分 public static String getContent(String url){ // 利用URL解析网址 URL urlObj = null; try{ urlObj = new URL(url); } catch(MalformedURLException e){ System.out.println("The url was malformed!"); return ""; } // URL连接 URLConnection urlCon = null; try{ urlCon = urlObj.openConnection(); // 打开URL连接 // 将HTML内容解析成UTF-8格式 Document doc = Jsoup.parse(urlCon.getInputStream(), "utf-8", url); // 刷选需要的网页内容 String contentText = doc.select("div.lemma-summary").first().text(); // 利用正则表达式去掉字符串中的"[数字]" contentText = contentText.replaceAll("\\[\\d+\\]", ""); return contentText; }catch(IOException e){ System.out.println("There was an error connecting to the URL"); return ""; } } }
在上述代码中,url为输入词条(暂时仅限于英文),进入while循环可一直搜索,当输入为’exit’时退出。contentText为该词条的百度百科简介的网页形式,通过正则表达式将其中的文字提取出来。代码虽然简洁,但是功能还是蛮强大的,充分说明Java也是可以做爬虫的。
接下来是愉快的测试时间:
本次分享到此结束,接下来也会持续更新Jsoup方面的相关知识,欢迎大家交流~~
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
SSM-SpringMVC-32:SpringMVC中灌顶传授文件上传
------------吾亦无他,唯手熟尔,谦卑若愚,好学若饥------------- 我将用自认为最简单的语言,描述Springmvc的文件上传,来将老夫毕生功力灌顶传授给你 首先文件上传,又简至深 前提有吗?jar包,form表单里的属性(method="post" enctype="multipart/form-data") jar包的节点我给出来: <!--文件上传的jar包--> <dependency> <groupId>commons-fileupload</groupId> <artifactId>commons-fileupload</artifactId> <version>1.3.1</version> </dependency> <dependency> <groupId>commons-io</groupId> <artifactId>commons-io</artifactId> &...
- 下一篇
Python 学习(一)
1. 保留字 ['False', 'None', 'True', 'and', 'as', 'assert', 'break', 'class', 'continue', 'def', 'del', 'elif', 'else', 'except', 'finally', 'for', 'from', 'global', 'if', 'import', 'in', 'is', 'lambda', 'nonlocal', 'not', 'or', 'pass', 'raise', 'return', 'try', 'while', 'with', 'yield'] 查看方法: 图1.png 2. 打印 1). 写代码 # !/usr/bin/python3 # 第一个注释 print ("Hello, Python!") 图2.png 2). 命令行运行 python helloPython.py 打印结果: 图3.png 3. 注释 注释可以使用#进行单行注释或者'''和"""进行多行注释 # !/usr/bin/python3 # 第一个注释 print ("Hello, Pytho...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Red5直播服务器,属于Java语言的直播服务器
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS6,CentOS7官方镜像安装Oracle11G
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装