搜索[hbase]结果-低调大师优秀个人博客

精选列表

搜索[hbase]，共3637篇文章

HBase中Disruptor使用

// Disruptor配置为处理多个生产者和仅有一个消费者（HBase中的生产者是调用append、sync的IPC Handlers）。

2016-03-18

HBase Java编程示例

; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor

2016-03-08

HBase设计与开发

https://blog.csdn.net/qq1010885678/article/details/50504941 HBase设计与开发 @(HBase) 适合HBase应用的场景成熟的数据分析主题

2016-01-11

Hbase与hive整合

//hive与hbase整合create table lectrure.hbase_lecture10(sname string, score int) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler

2015-10-11

hbase 报文处理逻辑

OsUtil.isLinux()) config= "D:/work/util/aoi-hbase/trunk/src/main/resources/config.properties"; else config

2015-09-05

Hbase java 常见操作

; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor;

2015-08-24

HDInsight HBase的概述

HDInsight HBase的概述什么是HBase的？ HBase的是建立在Hadoop的Apache的开源的NoSQL数据库，提供了大量的非结构化和半结构化数据的随机存取和强大的一致性。

2014-12-15

Hbase Java API详解

在讲解的时候我首先给大家讲解一下HBase的整体结构，如下图： HBase Master是服务器负责管理所有的HRegion服务器，HBase Master并不存储HBase服务器的任何数据，HBase

2014-02-19

平台篇-八年磨一剑，重新定义 HBase——HBase 2.0&阿里云 HBase 解读

八年磨一剑1.1 HBase 的前世今生关系型数据库的发展已经经历了 40 多年的历史了，而 HBase 以及大数据这套东西的历史大概从 2006 年被认为是大数据的发起时期到现在，也就是 13 年左右

2019-01-13

Spring Boot 2.x ：通过 spring-boot-starter-hbase 集成 HBase

本文内容 HBase 简介和应用场景 spring-boot-starter-hbase 开源简介集成 HBase 实战小结一、HBase 简介和应用场景 1.1 HBase 是什么？

2019-04-07

HBase技术与应用实践 | HBase在爱奇艺的应用实践

本次分享来自中国HBase技术社区第七届MeetUp成都站，分享嘉宾郑浩南爱奇艺资深研发工程师，专注于大数据领域，负责Hadoop服务的运维研究以及DevOps平台开发。

2018-11-14

兑吧：从自建HBase迁移到阿里云HBase实战经验

在推啊的广告场景中，广告主可获得更好的投放效果，媒体方能得到更好的流量变现效率，受众端具有更好的用户体验，目前推啊已经服务超过15000家媒体，阿里云hbase主要服务于"推啊"的广告业务。

2018-06-11

一脸懵逼学习HBase的搭建（注意HBase的版本）

3：hbase集群中的角色：（1）、一个或者多个主节点，Hmaster；（2）、多个从节点，HregionServer； 1：由于HBase依赖hdfs，所以下载的时候注意HBase的版本：

2017-10-24

《HBase企业应用开发实战》—— 1.4 HBase的核心功能模块

本节书摘来自华章出版社《HBase企业应用开发实战》一书中的第1章，第1.4节，作者：马延辉孟鑫李立松，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2017-07-02

《HBase实战》一第一部分 HBase基础

本节书摘来异步社区《HBase实战》一书中的第1章，第1.1节，作者：【美】Nick Dimiduk , Amandeep Khurana 译者：谢磊责编：杨海玲，更多章节内容可以访问云栖社区“

2017-05-01

HBase指南 | HBase 2.0之修复工具HBCK2运维指南

目前社区已经发布了HBase的2.0版本，很多公司都希望去尝试新版本上的新功能，但是不得不面对的问题就是当集群出了问题应该如何解决。

2018-12-27

HBase实操 | 使用Phoenix在CDH的HBase创建二级索引

1.文档编写目的对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列的值，即全表扫瞄。

2018-11-15

《HBase企业应用开发实战》—— 1.5 HBase的使用场景和经典案例

本节书摘来自华章出版社《HBase企业应用开发实战》一书中的第1章，第1.5节，作者：马延辉孟鑫李立松，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2017-07-02

1.核心组件及流程 scan过程总体上是分层处理的，与存储上的组织方式一致，脉络比较清晰；具体来说，就是region→store→hfile/memstore，分别都有对应的scanner实现进行数据读取； scan请求本身设置的条件，以及server和table层面的一些参数限制，会根据需要分布在不同层次的scanner中进行处理； 2.RegionScanner RegionScanner的实现类在HRegion内部定义，为RegionScannerImpl；该类内部主要通过一个优先级队列(heap)和一个scanner类型的指针(current)进行驱动，不断的从StoreScanner中获取数据；下面分步说明一下数据驱动的过程： (图1) (图2) (图3) (图4) 假设startrow和stoprow分别为r1和r3。 1：创建指定的各个列族对应的storeScanner，如果未指定则是全部列族； 2：storeScanner创建过程中，会根据startrow参数，seek到对应cell； 3：将这些storeScanner放入一个heap中，heap为优先级队列，比较器的compare方法中比较的是KeyValueScanner所peek到的cell大小，如图1； 4：全部放入到heap使其有序，poll方法得到最小的storeScanner，即storeScannerB，将其赋值给current，如图2； 5：调用current的next方法，该方法会获取一行的全部cell，获取完后内部已seek到下一行，如图3； 6：再将current放回到heap中，此时会形成新的顺序，如图4； 7：重复4到6步，直到新的行大于或等于r3； 3.StoreScanner StoreScanner的数据驱动方式与RegionScanner类似，也是使用heap和current去进行控制；除了数据获取之外，该类比较重要的1个部分是数据的检查，相关逻辑封装在ScanQueryMatcher中； ScanQueryMatcher中主要包含2个组件：DeleteTracker和ColumnTracker，前者负责处理delete逻辑，后者负责检查当前cell的column、version及value等是否符合要求；另外，在getScanners的过程中会根据keyRange、timeRange、bloomBlock等对storeFile进行过滤，以减少数据的读取； matcher返回的code及含义说明如下： #丢弃当前cell，继续处理下个cell SKIP #丢弃当前cell，并推进到下个column SEEK_NEXT_COL #丢弃当前cell，并推进到下个row SEEK_NEXT_ROW #保留当前cell，继续处理下个cell INCLUDE #保留当前cell，并推进到下个column INCLUDE_AND_SEEK_NEXT_COL #保留当前cell，并推进到下个row INCLUDE_AND_SEEK_NEXT_ROW #当前row已完成 DONE #整个scan已完成 DONE_SCAN #丢弃当前cell，并推进到下个指定的cell，由少数filter用到 SEEK_NEXT_USING_HINT 4.storeFileScanner storeFileScanner是真正涉及到hfile数据读取的地方，会根据rowKey，基于内存中indexBlock的数据定位到具体的dataBlock位置，以block为单位进行读取；读取后的block数据在内存中以ByteBuffer的形式存在，而blockSeek方法会将这个ByteBuffer的position推动到合适位置的过程；接下来，会读取一个cell的数据作为返回，使上层的storeScanner能够据此对各个storeFileScanner进行排序；值得一提的是，实际实现中，还存在lazySeek的优化，大致原理是根据hfile中存储的最小time，返回一个假的cell，如果该cell都不能排在前面，那就不需要关心真实的cell是什么了，等到该cell能够排在最前面的时候，再进行realSeek，这个机制对于各个hfile按时间存在明显分界并且主要读取近期数据的场景，可以有效减少实际的数据读取量；

2020-04-02

Spark On HBase Idea远程调试

本文介绍如何在本地IDEA远程调试Spark On HBase。前提条件： 1、已经安装了Intellij IDEA，Git、Maven。2、HBase集群开通了外网地址。

2019-04-02

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

HBase中Disruptor使用

HBase Java编程示例

HBase设计与开发

Hbase与hive整合

hbase 报文处理逻辑

Hbase java 常见操作

HDInsight HBase的概述

Hbase Java API详解

平台篇-八年磨一剑，重新定义 HBase——HBase 2.0&阿里云 HBase 解读

Spring Boot 2.x ：通过 spring-boot-starter-hbase 集成 HBase

HBase技术与应用实践 | HBase在爱奇艺的应用实践

兑吧：从自建HBase迁移到阿里云HBase实战经验

一脸懵逼学习HBase的搭建（注意HBase的版本）

《HBase企业应用开发实战》—— 1.4 HBase的核心功能模块

《HBase实战》一第一部分 HBase基础

HBase指南 | HBase 2.0之修复工具HBCK2运维指南

HBase实操 | 使用Phoenix在CDH的HBase创建二级索引

《HBase企业应用开发实战》—— 1.5 HBase的使用场景和经典案例

HBase scan过程简析

Spark On HBase Idea远程调试

资源下载

Mario

Rocky Linux

Sublime Text

WebStorm

欢迎您来访！

精选列表

HBase中Disruptor使用

HBase Java编程示例

HBase设计与开发

Hbase与hive整合

hbase 报文 处理 逻辑

Hbase java 常见操作

HDInsight HBase的概述

Hbase Java API详解

平台篇-八年磨一剑，重新定义 HBase——HBase 2.0&阿里云 HBase 解读

Spring Boot 2.x ：通过 spring-boot-starter-hbase 集成 HBase

HBase技术与应用实践 | HBase在爱奇艺的应用实践

兑吧：从自建HBase迁移到阿里云HBase实战经验

一脸懵逼学习HBase的搭建（注意HBase的版本）

《HBase企业应用开发实战》—— 1.4 HBase的核心功能模块

《HBase实战》一第一部分 HBase基础

HBase指南 | HBase 2.0之修复工具HBCK2运维指南

HBase实操 | 使用Phoenix在CDH的HBase创建二级索引

《HBase企业应用开发实战》—— 1.5 HBase的使用场景和经典案例

HBase scan过程简析

Spark On HBase Idea远程调试

资源下载

Mario

Rocky Linux

Sublime Text

WebStorm

欢迎您来访！

hbase 报文处理逻辑