Hadoop之父Doug Cutting：Lucene到Hadoop的开源之路

2017-11-14 545

Hadoop之父Doug Cutting：Lucene到Hadoop的开源之路

Doug Cutting，凭借自己对工作的热情和脚踏实地的态度，开创了Lucene和Nutch两个成功的开源搜索引擎项目，同时也是当下人气大数据计算框架 Hadoop的创立者。Doug于1985年毕业于美国斯坦福大学，首个在Xerox的实习工作奠定了他日后研究搜索引擎项目以及成功的基础。1997年底，Doug通过Lucene这个首个提供了全文文本搜索的开源函数库实现了理论到实践的巨大突破。在此基础上，Doug相继实现了Nutch 、Hadoop。为了自身梦想的实现，Doug先后就职于Architext和Yahoo!等企业，直至2009年出任Cloudera的首席架构师。

Lucene&Nutch

Lucene是第一个提供全文文本搜索的函数库，提供了一个简单而强大的应用程序接口，是一个高性能、可伸缩的信息搜索库。作为一个成熟免费的开源项目，Lucene在Java信息检索程序库中得到了广泛的欢迎。开发者不仅能利用它构建具体的全文检索应用，同时还能将其集成到各种系统软件中，它提供的很多API函数都能运用到各种实际应用程序中。

Nutch则是Doug在Lucene基础上将开源思想继续深化的成果，是一个真正的应用程序，它是建立在Lucene核心之上的Web搜索的实现，其目的旨在减少人们使用过程中的复杂度，并在花费很少的情况下配置世界一流的Web搜索引擎，实现开箱即用的特性。站内索引和搜索推广到全球网络的搜索上，就像Google和雅虎一样。

Hadoop

Hadoop是Doug基于谷歌MapReduce system开发的一个开源版本，是一种开源的适合大数据的分布式存储和处理平台，是当下新时代应用程序开发必备技能之一。Hadoop作为一个能够让用户轻松架构和使用的分布式平台，具有以下几个优点：

高可靠性
高扩展性
高效性
高容错性
低成本

Hadoop从最初应用的那一刻起就表现的异常出众，大大提高了网页搜索的速度。Doug的目标是将Hadoop发展成云计算领域的RedHat。纵观当下该计算框架所受到的关注度，Hadoop的成功已完全超脱了Doug的想象。

Doug可以说是云计算和大数据领域的传奇人物，他将高深莫测的搜索技术神奇般的变成了产品。然而，他的成功秘诀却并不神秘——对工作的热情和工作时的认真踏实。然而，正是这众所周知的品质成就了他的成功，也让几乎所有的人都直接或间接的使用过他作品。

转自：http://cda.pinggu.org/view/1679.html

本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/bonelee/p/6857535.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/396998

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

浅析微软Service Layer Guidelines和OSOA架构体系(SCA,SDO等)之间的关系

浅析微软模式与实践小组的Service Layer Guidelines和OSOA架构体系(SCA,SDO等)之间的对应关系。注：本文假设您已了解熟悉了SOA的一些重要概念，包括 SCA , SDO , BPEL , ESB ,以及微软体系下的WCF,消息队列,WorkFlow等概念。因为下文中将会通过对比一下这两个SOA技术体系的架构图来介绍一下其中的一些有意思的东西。首先登场的就是 OSOA中的架构图：然后是微软Service Layer Guidelines一文中的图，该文章链接。先聊一下微软的架构图：在微软图中的Business (业务层) 和Services (服务层)，其中的Services层中包括两种组件： ServiceInterfaces：用于暴露服务接口，其核心内容就是对业务逻辑层的实现进行“封装”，而这些服务会被调用这些服务的对象所消费(Custom)。 MessageTypes: 消息类型，即在服务层上进行交换的数据类型。其数据结构采用消息结构进行封装，以支持不同的操作。包括：命令消息（数据）, 文档消息（Document mes...

2017-11-15

518

SOA已经成为代替曾经一度风靡面向对象、BS结构、三层结构、N层结构的另外一个软件解决方案的热门话题。 SOA热潮涌起几乎每一家IT公司都有基于SOA的解决方案、支持WebSERVICE的产品以及符合XML的数据标准。这种现象说明，SOA的确代表了软件业的一场革命，代表了在中国式的系统集成红海中挣扎的集成商的一个机会，代表了被美国跨国应用厂商(例如:微软/ORACLE)公司盘剥垄断的IT及软件产业的一个突破，也代表了中国外包产业的另一个蓝海。 SOA的核心价值在于将商业逻辑直接以服务的方式映射到一个服务编排中，从而真正实现商业人员对IT系统的直接掌控、修改及再造，一举改变过去IT系统建设内部流程很长(商业人员提需求-IT设计师进行模块设计-IT项目经理组织项目开发-IT工程师进行开发)的局面，也就是说，SOA将改变企业IT系统的建设方法及运营方式。在SOA的世界里，软件行业将扮演三大类角色:应用咨询及集成服务--负责将服务根据行业最佳实践的方式进行编排;服务生产商--负责开发各式各样的服务，并进行登记;服务中介--提供服务的注册、查询及搜索。这样以来，国内软件行业将需要重新组合，...

2017-11-15

611

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。