您现在的位置是：首页 > 文章详情

Google 开源 robots.txt 解析器

日期：2019-07-02点击：466收藏

Google 称过去 25 年 Robots Exclusion Protocol (REP)协议一直是一种约定的标准，给网站管理员人员和爬虫工具开发者带来了很多不确定性。Google 现在宣布它将率先致力于让 REP 成为一个行业标准，作为这个努力的一部分，它开源了自己使用的 robots.txt 解析器，源代码托管在 GitHub 上，采用 Apache License 2.0 许可证。robots.txt 解析器是一个 C++ 库，用于解析和匹配 robots.txt 文件中的规则，它已经有约 20 年历史了，包含了 1990 年代写的代码。

稿源：Solidot

原文链接：https://www.oschina.net/news/107918/google-opensource-robotstxt

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。