Web 爬虫 Apache Nutch 1.16 发布-低调大师

Web 爬虫 Apache Nutch 1.16 发布

2019-10-17 772

Apache Nutch 1.16 发布了。Nutch是一个成熟的、可用于生产的 Web 爬虫。 Nutch 1.x 可以依靠 Apache Hadoop™ 数据结构进行细粒度配置，这对于批处理非常有用。

此版本包含 100 多个错误修复和改进，主要更新内容如下：

新特性

[NUTCH-2676] - 更新至最新的 selenium，并添加代码以通过远程 Web 驱动程序使用 chrome 和 firefox 无头模式

Bug 修复

[NUTCH-1063] - OutlinkExtractor 测试会生成异常，但不会失败
[NUTCH-1842] - crawl.gen.delay 在 nutch-default.xml 中具有错误的默认值，或者被错误地解析
[NUTCH-2279] - 使用 Hadoop MR 输出压缩时 LinkRank 失败
[NUTCH-2381] - 在某些情况下，类 TextProfileSignature 为同一文本“配置文件”页面提供不同的签名
[NUTCH-2387] - Nutch 不应使用 “noindex” 元索引文件
[NUTCH-2457] - Tika 可能无法正确解析嵌入的文档
[NUTCH-2475] - If 和 else-if 分支的条件相同
[NUTCH-2482] - index-geoip 不向文档字段添加空值
[NUTCH-2585] - TrieStringMatcher 中的 NPE
[NUTCH-2598] - URLNormalizerChecker 在输入中的无效 URL 上失败
……

详情见更新说明。

微信关注我们

原文链接：https://www.oschina.net/news/110655/nutch-1-16-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Boostnote 0.13.0 发布，跨平台 Markdown 编辑器

Boostnote 0.13.0已经发布了，该版本内容有：添加对 plantUML Mindmap、WBS、Gantt 的支持 NPM‘test’脚本包含 JEST 测试添加使用热键组合排序行的能力修复了对多个实例抛出异常的问题在查看标签列表时向侧边栏添加侧边栏折叠按钮修复：无法在带有“#”的外部链接的 Markdown 预览中打开外部浏览器添加选项，以禁用自动删除未引用的附件更新中文翻译修复无法滚动到编辑器窗格的底部添加 CodeEditor::setLineContent 方法来操作行内容修复设置 HotKey 后应用程序空白的问题修复 PDF 导出后的 XSS错误如果“switch preview”未设置为“on right click”，则仅显示上下文菜单路径名匹配中更严格的正则化模式优化：突出显示任何非空的搜索查询支持自动生成[TOC]标记的 toc 内容调整 Markdown 预览样式优化溢出滚动条显示发布说明

2019-10-18

710

A-Keyboard A-Keyboard是一个小型的 JavaScript 虚拟键盘。访问 A-Keyboard Github Demo 网站查看在线键盘、数字键盘Demo。图片 Default: Classic: Dark: GrassGreen: Default数字键盘: Classic数字键盘: Dark数字键盘: GrassGreen数字键盘: 安装首先导入 CSS 文件： <link rel="stylesheet" href="css/index.css"> 你也可以使用 CDN： <link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/akeyboard@version/css/index.css"> 之后你需要导入 JS 文件：使用<script>引入 <script src="index.js"></script> CDN <script src="https://cdn.jsdelivr.net/npm/akeybo...

2019-10-18

816

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。