中国HBase技术社区第九届meetup-HBase典型应用场景与实践（北京站）-低调大师

中国HBase技术社区第九届meetup-HBase典型应用场景与实践（北京站）

2018-12-04 628

2018年12月23日14点，将在北京朝阳360公司A座一层发布厅举办中国HBase技术社区第九届meetup-HBase典型应用场景与实践。

本期活动主题

13:30-14:00
签到

14:00-14:40
HBase 2.0 在360的技术改进与应用实践
课程介绍：HBase在360的使用现状和发展历程，以及在升级HBase2.0的过程中发现的问题与改进。
讲师：王小勇——360系统部分布式存储方向架构师
在360先后负责hdfs的版本开发和功能定制化、参与并完成了hbase 0.8.9版本的定制化和多项技术升级；带领技术团队，hbase2.0的应用实践过程中主导了多项改进，推动了hbase从低版本到hbase 2.0版本的平滑过度和功能迁移。

14:40-15:20
HBase 基本知识介绍及典型案例分析
课程介绍：HBase基础知识介绍，Rowkey设计技巧，HBase企业级特性及组件介绍，HBase+Spark典型案例分析。
讲师：吴阳平——阿里云HBase业务架构师
「过往记忆博客（ https://www.iteblog.com ）博主。」
负责HBase时空、时序、分析、图等业务架构、业务场景以及车联网、物联网等行业的存储分析大数据方案。热衷于大数据（Hadoop、HBase、Spark等）相关技术。

15:20-15:30
抽奖环节送360、阿里、京东、58专属定制的礼品

15:30-16:10
HBase在无界零售中的应用
课程介绍：Hbase存储的优势；Hbase案例分享；Hbase数据分析
讲师：诸葛子房——京东大数据工程师
主要从事大数据平台研发等相关工作，了解大数据、互联网金融等相关业务，仍然在学习的路上继续努力着。

16:10-16:50
图数据库hgraphdb介绍
课程介绍：：HGraphDB是一个使用HBase作为底层存储的图数据库，是Apache TinkerPop3接口的实现。
讲师：陈江——阿里高级技术专家
在分布式存储领域及数据库领域有非常丰富的经验。

16:50-17:30
HBase在58的实践和应用
课程介绍：HBase在58的实践和应用，包括平台建设、生态建设、平台监控、平台运营等
讲师：何良均——58大数据工程师
本科毕业于哈尔滨工业大学，有多年的大数据平台工作经验，对大数据平台存储和计算引擎有深入的研究和优化经验。目前主要负责公司HBase平台和OLAP的能力建设。

主办：中国HBase技术社区

协办：360技术委员会；阿里云飞天八部多模型数据库组；云栖社区；360大学；360系统部，DataFun社区

合作伙伴：开源中国；SegmentFault；掘金；活动行；示说网

报名地址：点击

微信关注我们

原文链接：https://yq.aliyun.com/articles/675215

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Flink SQL 核心解密 —— 提升吞吐的利器 MicroBatch

之前我们在 Flink SQL 中支持了 MiniBatch, 在支持高吞吐场景发挥了重要作用。今年我们在 Flink SQL 性能优化中一项重要的改进就是升级了微批模型，我们称之为 MicroBatch，也叫 MiniBatch2.0。在设计和实现 Flink 的流计算算子时，我们一般会把“面向状态编程”作为第一准则。因为在流计算中，为了保证状态（State）的一致性，需要将状态数据存储在状态后端（StateBackend），由框架来做分布式快照。而目前主要使用的RocksDB,Niagara状态后端都会在每次read和write操作时发生序列化和反序列化操作，甚至是磁盘的 I/O 操作。因此状态的相关操作通常都会成为整个任务的性能瓶颈，状态的数据结构设计以及对状态的每一次访问都需要特别注意。微批的核心思想就是缓存一小批数据，在访问状态状态时，多个同 key 的数据就只需要发生一次状态的操作。当批次内数据的 key 重复率较大时，能显著降低对状态的访问频次，从而大幅提高吞吐。MicroBatch 和 MiniBatch 的核心机制是一样的，就是攒批，然后触发计算。只是攒批策略不太...

2018-12-05

541

原文链接: Apache Avro as a Built-in Data Source in Apache Spark 2.4 Apache Avro 是一种流行的数据序列化格式。它广泛使用于 Apache Spark 和 Apache Hadoop 生态中，尤其适用于基于 Kafka 的数据流场景。从 Apache Spark 2.4 版本开始，Spark 原生支持了 Avro 数据的读写。新的内置 spark-avro 模块最初来自 Databricks 开源项目 Avro Data Source for Apache Spark（后文简称为 spark-avro ）。此外, 它还提供了：新函数 from_avro() 和 to_avro() 用于在 DataFrame 中读写 Avro 数据，而不仅仅是文件。 Avro 逻辑类

2018-12-05

682

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。