Apache Drill 常用Plugins配置
1.kafka
{
"type":"kafka",
"kafkaConsumerProps":{
"bootstrap.servers":"hostname1:9092,hostname2:9092,hostname3:9092",
"group.id":"drill-consumer"
},
"enabled":true
}
2.hive
{
"type":"hive",
"configProps":{
"hive.metastore.uris":"thrift://hostname:9083",
"javax.jdo.option.ConnectionURL":"jdbc:mysql://hostname:3306/hive",
"hive.metastore.warehouse.dir":"/user/hive/warehouse",
"fs.default.name":"hdfs://hostname:9000",
"hive.metatore.sasl.enabled": false
},
"enabled":true
}
3.hbase
{
"type":"hbase"
"config":{
"hbase.zookeeper.quorum": "hostname1,hostname2,hostname3",
"hbase.zookeeper.property.clientPort": "2181"
}
"size.calculator.enabled": "false",
"enabled": true
}
4.kudu
{
"type":"kudu",
"masterAddresses":"hostname",
"enabled": true
}
5.openTSDB
{
"type":"openTSDB",
"connection":"http://hostname:10000",
"enabled": true
}
6.mysql
{
"type": "jdbc",
"driver": "com.mysql.jdbc.Driver",
"url": "jdbc:mysql://hostname:3306",
"username": "root",
"password": "mypassword",
"enabled": true
}

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
Apache Zookeeper常用命令
一.功能简述 Apache ZooKeeper是一种用于分布式应用程序的分布式开源协调服务;提供了命名服务、配置管理、集群管理、分布式锁、队列管理等一系列的功能 Ⅰ).角色功能 ZooKeeper主要包括leader、learner和client三大类角色,其中learner又分为follower和observer 功能描述 a).leader 负责进行投票的发起和决议,更新系统状态 b).learner 1).follower 用于接受客户端请求并想客户端返回结果,在选主过程中参与投票 2).observer 可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的状态,observer的目的是为了扩展系统,提高读取速度 c).client 请求发起方 Ⅱ).数据模型和分层命名空间 ZooKeeper提供的namespace非常类似于标准文件系统。名称是由斜杠(/)分隔的路径元素序列。ZooKeeper名称空间中的每个节点都由路径标识 层次化的目录结构,命名符合常规文件系统规范 每一个zookeeper节点一个znode,并且具有一个唯一...
-
下一篇
Kafka实战(三) -Kafka的自我修养
Apache Kafka是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform) Kafka是LinkedIn公司内部孵化的项目。LinkedIn最开始有强烈的数据强实时处理方面的需求,其内部的诸多子系统要执行多种类型的数据处理与分析,主要包括业务系统和应用程序性能监控,以及用户行为数据处理等。 遇到的主要问题: 数据正确性不足数据的收集主要采用轮询(Polling),确定轮询间隔时间就成了高度经验化的难题。虽然可以采用一些启发式算法(Heuristic)来帮助评估,但一旦指定不当,还是会造成较大的数据偏差。 系统高度定制化,维护成本高各子系统都需要对接数据收集模块,引入了大量的定制开销和人工成本 LinkedIn工程师尝试过使用ActiveMQ解决这些问题,但并不理想 显然需要有一个“大一统”
相关文章
文章评论
共有0条评论来说两句吧...