Apache Drill 常用Plugins配置
1.kafka
{ "type":"kafka", "kafkaConsumerProps":{ "bootstrap.servers":"hostname1:9092,hostname2:9092,hostname3:9092", "group.id":"drill-consumer" }, "enabled":true }
2.hive
{ "type":"hive", "configProps":{ "hive.metastore.uris":"thrift://hostname:9083", "javax.jdo.option.ConnectionURL":"jdbc:mysql://hostname:3306/hive", "hive.metastore.warehouse.dir":"/user/hive/warehouse", "fs.default.name":"hdfs://hostname:9000", "hive.metatore.sasl.enabled": false }, "enabled":true }
3.hbase
{ "type":"hbase" "config":{ "hbase.zookeeper.quorum": "hostname1,hostname2,hostname3", "hbase.zookeeper.property.clientPort": "2181" } "size.calculator.enabled": "false", "enabled": true }
4.kudu
{ "type":"kudu", "masterAddresses":"hostname", "enabled": true }
5.openTSDB
{ "type":"openTSDB", "connection":"http://hostname:10000", "enabled": true }
6.mysql
{ "type": "jdbc", "driver": "com.mysql.jdbc.Driver", "url": "jdbc:mysql://hostname:3306", "username": "root", "password": "mypassword", "enabled": true }

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Apache Zookeeper常用命令
一.功能简述 Apache ZooKeeper是一种用于分布式应用程序的分布式开源协调服务;提供了命名服务、配置管理、集群管理、分布式锁、队列管理等一系列的功能 Ⅰ).角色功能 ZooKeeper主要包括leader、learner和client三大类角色,其中learner又分为follower和observer 功能描述 a).leader 负责进行投票的发起和决议,更新系统状态 b).learner 1).follower 用于接受客户端请求并想客户端返回结果,在选主过程中参与投票 2).observer 可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的状态,observer的目的是为了扩展系统,提高读取速度 c).client 请求发起方 Ⅱ).数据模型和分层命名空间 ZooKeeper提供的namespace非常类似于标准文件系统。名称是由斜杠(/)分隔的路径元素序列。ZooKeeper名称空间中的每个节点都由路径标识 层次化的目录结构,命名符合常规文件系统规范 每一个zookeeper节点一个znode,并且具有一个唯一...
- 下一篇
Kafka实战(三) -Kafka的自我修养
Apache Kafka是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform) Kafka是LinkedIn公司内部孵化的项目。LinkedIn最开始有强烈的数据强实时处理方面的需求,其内部的诸多子系统要执行多种类型的数据处理与分析,主要包括业务系统和应用程序性能监控,以及用户行为数据处理等。 遇到的主要问题: 数据正确性不足数据的收集主要采用轮询(Polling),确定轮询间隔时间就成了高度经验化的难题。虽然可以采用一些启发式算法(Heuristic)来帮助评估,但一旦指定不当,还是会造成较大的数据偏差。 系统高度定制化,维护成本高各子系统都需要对接数据收集模块,引入了大量的定制开销和人工成本 LinkedIn工程师尝试过使用ActiveMQ解决这些问题,但并不理想 显然需要有一个“大一统”
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- 2048小游戏-低调大师作品
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS关闭SELinux安全模块
- CentOS7,8上快速安装Gitea,搭建Git服务器