Apache NiFi之Kafka流数据到HBase
一.说明
在大数据平台的业务场景中,处理实时kafka数据流数据,以成为必要的能力;此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase
二.开拔
Ⅰ).配置ConsumeKafka_0_10
测试使用了kafka0.10版本,所以NiFi中也选择对于版本
a).选择ConsumeKafka_0_10
在Processor中搜索ConsumeKafka_0_10
b).配置ConsumeKafka_0_10
1.Kafka Brokers: hostname1:9092,hostname2:9092:hostname3:9092
2.Topic Name(s): entry_index_nifi
3.Group ID: entry_index_nifi
Ⅱ).配置PutHBaseJSON
a).选择PutHBaseJSON
在Processor中搜索PutHBaseJSON
b).配置PutHBaseJSON
1.HBase Client Service: 选择匹配版本的HBaseClient
2.Table Name: 配置入库HBase表名
3.Row Identifier Field Name: 配置RowKey值
4.Column Family: 配置列簇
c).选择HBase_1_1_2_ClientService
在Processor中搜索HBase_1_1_2_ClientService
d).配置HBase_1_1_2_ClientService
1.Zookeeper Quorum: hostname1:2181,hostname2:2181,hostname3:2181
2.Zookeeper Client Port: 2181
3.Zookeeper ZNode Parent: /hbase
e).激活HBase_1_1_2_ClientService
Ⅲ).启动服务
可以点击选择单个Processor启动,也可以在空白处点击流程启动
Ⅳ).验证结果
a).Kafka源数据
./bin/kafak-console-consumer.sh --zookeeper hostname1:2181,hostname2:2181,hostname3:2181 ---topic entry_index_nifi
b).HBase入库数据
scan 'kafka.entry_index_nifi',{LIMIT=>10}
三.HBase命令
## 创建表空间 create_namespace 'kafka' ## 查看表空间 list_namespace_tables 'kafka' ## 创建表 create 'kafka.entry_index_nifi','cf1' ## 查看表数据 scan 'kafka.entry_index_nifi',{LIMIT=>10}
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
大数据平台测试
一.大数据平台测试简述 大数据平台测试包括2部分:基础能力测试和性能测试 Ⅰ).基础能力测试 大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持 大数据平台是否能够通过界面的形式方便用户进行非运行维护,主要包括集群的安装、监控、配置、操作等 大数据平台是否能够提供基本的安全方案 a).是否具备认证功能以防止恶意访问和攻击 b).是否能够进行细粒度的权限管理 c).是否能够提供审计和数据加密功能 大数据平台是否具备高可用的机制,防止机器的失效带来的任务失败以及数据丢失 大数据平台是否能够支持机器快速平滑地扩展和缩容时带来线性的计算能力 大数据平台是否能够支持多个调用接口以及对SQL语法的支持情况 大数据平台是否能够根据队列、用户的权重来细粒度地分配计算资源 Ⅱ).性能测试 基准测试:数据生成、负载选择和明确测试指标等内容 性能测试:基准测试之上的扩展 二.大数据平台测试流程 Ⅰ).数据生成 BDGS: 能够快速生成保持真实数据特性的文本、表和图数据的数据生成工具 BDGS构造方法 a).数据筛选:选取代表性的真实数据集和相应的建模方法或工具 b)...
- 下一篇
Apache NiFi之MySQL数据同步到HBase
一.说明 将Apache NiFi做为关系型数据与非关系型数据库的数据同步工具使用,在此场景中需要将mysql导出的avro数据格式转化为json入库HBase 二.开拔 Ⅰ).配置ExecuteSQLRecord a).选择ExecuteSQLRecord 在Processor中搜索ExecuteSQLRecord b).配置ExecuteSQLRecord 1.创建Database Connection Pool2.创建JsonRecordSetWriter3.配置SQL select query select Host,User,authentication_string from mysql.user; c).创建DBCPConnectionPool 在Database Connection Pool中选择DBCPConnectionPool d).配置DBCPConnectionPool 1.Database Connection URL: jdbc:mysql://hostname:3306/druid2.Database Driver Class Name: com.my...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8安装Docker,最新的服务器搭配容器使用
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7设置SWAP分区,小内存服务器的救世主