中国HBase技术社区第九届meetup-HBase典型应用场景与实践(北京站)
2018年12月23日14点,将在北京朝阳360公司A座一层发布厅举办中国HBase技术社区第九届meetup-HBase典型应用场景与实践。
本期活动主题
13:30-14:00
签到
14:00-14:40
HBase 2.0 在360的技术改进与应用实践
课程介绍:HBase在360的使用现状和发展历程,以及在升级HBase2.0的过程中发现的问题与改进。
讲师:王小勇——360系统部分布式存储方向架构师
在360先后负责hdfs的版本开发和功能定制化、参与并完成了hbase 0.8.9版本的定制化和多项技术升级;带领技术团队,hbase2.0的应用实践过程中主导了多项改进,推动了hbase从低版本到hbase 2.0版本的平滑过度和功能迁移。
14:40-15:20
HBase 基本知识介绍及典型案例分析
课程介绍:HBase基础知识介绍,Rowkey设计技巧,HBase企业级特性及组件介绍,HBase+Spark典型案例分析。
讲师:吴阳平——阿里云HBase业务架构师
「过往记忆博客( https://www.iteblog.com ) 博主。」
负责HBase时空、时序、分析、图等业务架构、业务场景以及车联网、物联网等行业的存储分析大数据方案。热衷于大数据(Hadoop、HBase、Spark等)相关技术。
15:20-15:30
抽奖环节 送360、阿里、京东、58专属定制的礼品
15:30-16:10
HBase在无界零售中的应用
课程介绍:Hbase存储的优势;Hbase案例分享;Hbase数据分析
讲师:诸葛子房——京东大数据工程师
主要从事大数据平台研发等相关工作,了解大数据、互联网金融等相关业务,仍然在学习的路上继续努力着。
16:10-16:50
图数据库hgraphdb介绍
课程介绍::HGraphDB是一个使用HBase作为底层存储的图数据库,是Apache TinkerPop3接口的实现。
讲师:陈江——阿里高级技术专家
在分布式存储领域及数据库领域有非常丰富的经验。
16:50-17:30
HBase在58的实践和应用
课程介绍:HBase在58的实践和应用,包括平台建设、生态建设、平台监控、平台运营等
讲师:何良均——58大数据工程师
本科毕业于哈尔滨工业大学,有多年的大数据平台工作经验,对大数据平台存储和计算引擎有深入的研究和优化经验。目前主要负责公司HBase平台和OLAP的能力建设。
主办:中国HBase技术社区
协办:360技术委员会;阿里云飞天八部多模型数据库组;云栖社区;360大学;360系统部,DataFun社区
合作伙伴:开源中国;SegmentFault;掘金;活动行;示说网
报名地址:点击
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Flink SQL 核心解密 —— 提升吞吐的利器 MicroBatch
之前我们在 Flink SQL 中支持了 MiniBatch, 在支持高吞吐场景发挥了重要作用。今年我们在 Flink SQL 性能优化中一项重要的改进就是升级了微批模型,我们称之为 MicroBatch,也叫 MiniBatch2.0。 在设计和实现 Flink 的流计算算子时,我们一般会把“面向状态编程”作为第一准则。因为在流计算中,为了保证状态(State)的一致性,需要将状态数据存储在状态后端(StateBackend),由框架来做分布式快照。而目前主要使用的RocksDB,Niagara状态后端都会在每次read和write操作时发生序列化和反序列化操作,甚至是磁盘的 I/O 操作。因此状态的相关操作通常都会成为整个任务的性能瓶颈,状态的数据结构设计以及对状态的每一次访问都需要特别注意。 微批的核心思想就是缓存一小批数据,在访问状态状态时,多个同 key 的数据就只需要发生一次状态的操作。当批次内数据的 key 重复率较大时,能显著降低对状态的访问频次,从而大幅提高吞吐。MicroBatch 和 MiniBatch 的核心机制是一样的,就是攒批,然后触发计算。只是攒批策略不太...
- 下一篇
【译】Apache Spark 2.4 内置数据源 Apache Avro
原文链接: Apache Avro as a Built-in Data Source in Apache Spark 2.4 Apache Avro 是一种流行的数据序列化格式。它广泛使用于 Apache Spark 和 Apache Hadoop 生态中,尤其适用于基于 Kafka 的数据流场景。从 Apache Spark 2.4 版本开始,Spark 原生支持了 Avro 数据的读写。新的内置 spark-avro 模块最初来自 Databricks 开源项目 Avro Data Source for Apache Spark(后文简称为 spark-avro )。 此外, 它还提供了: 新函数 from_avro() 和 to_avro() 用于在 DataFrame 中读写 Avro 数据,而不仅仅是文件。 Avro 逻辑类
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS6,CentOS7官方镜像安装Oracle11G
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- CentOS6,7,8上安装Nginx,支持https2.0的开启