《HBase企业应用开发实战》—— 1.4　HBase的核心功能模块-低调大师

《HBase企业应用开发实战》—— 1.4　HBase的核心功能模块

2017-07-02 592

本节书摘来自华章出版社《HBase企业应用开发实战》一书中的第1章，第1.4节，作者：马延辉　孟鑫　李立松，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.4　HBase的核心功能模块

Hadoop框架包含两个核心组件：HDFS和MapReduce，其中HDFS是文件存储系统，负责数据存储；MapReduce是计算框架，负责数据计算。它们之间分工明确、低度耦合、相关关联。对于HBase数据库的核心组件，即核心功能模块共有4个，它们分别是：客户端Client、协调服务模块ZooKeeper、主节点HMaster和Region节点RegionServer，这些组件的描述和相互之间的关联关系如图1-3所示。

1.4.1　客户端Client

客户端Client是整个HBase系统的入口。使用者直接通过客户端操作HBase。客户端使

微信关注我们

原文链接：https://yq.aliyun.com/articles/118489

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

如何基于Spark进行用户画像？

近期，comSysto公司分享了该公司研发团队利用Spark平台解决Kaggle竞赛问题的经历，为Spark等平台应用于数据科学领域提供了借鉴。主办方提供了一个包含5万个匿名驾驶员线路的数据集，竞赛的目的是根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征。例如，驾驶员是否长距离驾驶?短距离驾驶?高速驾驶?回头路?是否从某些站点急剧加速?是否高速转弯?所有这些问题的答案形成了表征驾驶员特征的独特标签。面对此挑战，comSysto公司的团队想到了涵盖批处理、流数据、机器学习、图处理、SQL查询以及交互式定制分析等多种处理模型的Spark平台。他们正好以此挑战赛为契机来增强Spark方面的经验。接下来，本文就从数据分析、机器学习和结果等三个方面介绍comSysto团队解决以上问题的过程。数据分析作为解决问题的第一个步骤，数据分析起着非常关键的作用。然而，出乎comSysto公司团队意料的是，竞赛提供的原始数据非常简单。该数据集只包含了线路的若干匿名坐标对(x,y)，如(1.3,4.4)、(2.1,4.8)和(2.9,5.2)等。如下图所示，驾驶员会在每条线路中出发并返回到原...

2017-07-03

505

前　言为什么写作本书阿里巴巴是国内最早使用Greenplum作为数据仓库计算中心的公司。从2009年到2012年Greenplum都是阿里巴巴B2B最重要的数据计算中心，它替换掉了之前的Oracle RAC，有非常多的优点。 Greenplum的性能在数据量为TB级别时表现非常优秀，单机性能相比Hadoop要快好几倍。 Greenplum是基于PostgreSQL的一个完善的数据库，在功能和语法上都要比Hadoop上的SQL引擎Hive好用很多，对于普通用户来说更加容易上手。 Greenplum有着完善的工具，相比Hive，整个体系都比较完善，不需要像Hive一样花太多的时间和精力进行改造，非常适合作为一些大型的数据仓库解决方案。 Greenplum能够方便地与Hadoop进行结合，可直接把数据写在Hadoop上，还可以直接在数据

2017-07-03

577

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。