后Hadoop时代,我们该如何去架构自己的大数据平台
韩卿Luke Han,Kyligence联合创始人兼CEO,Apache Kylin联合创建者及项目委员会主席,首个来自国内的Apache软件基金会顶级项目VP,负责Kylin的战略规划,发展路线图及产品设计等,并致力于发展Apache Kylin全球社区,构建生态系统及推广等。曾任eBay全球分析基础架构部大数据产品负责人,Actuate中国首席顾问,卓越动力华东区技术总监等职,在大数据,数据仓库,商业智能,可视化情报分析等领域拥有丰富的经验。
曹龙
曹龙,阿里云技术专家,专注在大数据领域,6年分布式引擎研发经验;阿里YARN、Spark技术负责人;先后研发上万台Hadoop、ODPS集群;目前是阿里E-mapreduce负责人之一,为广大公共云用户提供专业的Hadoop服务。
立即参与请点击这里直接报名。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
ElasticSearch大数据分布式弹性搜索引擎使用
阅读目录: 背景 安装 查找、下载rpm包 、执行rpm包安装 配置elasticsearch专属账户和组 设置elasticsearch文件所有者 切换到elasticsearch专属账户测试能否成功启动 安装自启动elasticsearch servicewrapper包 下载elasticsearch servicewrapper 包 elasticsearch servicewrapper开源包的配置小bug servicewrapper安装 chkconfig -add 加入linux启动服务列表 安装_plugin/head管理插件(辅助管理) 安装chrom中的elasticsearch客户端插件 使用elasticsearch自带的_cat工具 clone 虚机(修改IP、HWaddr、UUID配置,最后修改下系统时间) 配置 elasticsearch.yml配置 IP访问限制、默认端口修改9200 集群发现IP列表、node、cluster 名称 master node 启动切换 linux 打开最大文件数设置(用作index时候的系统阀值) 安装中文分词器ik(注...
- 下一篇
Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析
Logstash是一款开源日志收集处理框架,有各种不同的input、filter、output插件,用户使用这些插件可以将各种数据源导入到其他系统。logstash-output-datahub插件,实现将数据导入DataHub的功能,通过简单的配置即可完成数据采集和向DataHub的传输任务。结合StreamCompute(Galaxy)用户可以方便的完成流式数据从采集,传输,开发到结果数据存储与展示的整套解决方案。同时,还可以通过创建Collector同步任务将数据同步到MaxCompute(ODPS),之后在MaxCompute上进行完备的数据开发工作。 接下来,会将各个流程步骤在文章中作详细描述,以帮助用户使用Logstash+DataHub+StreamCompute/MaxCompute快速构建起自己的流式数据应用。 数据
相关文章
文章评论
共有0条评论来说两句吧...