O2O数据仓库实践:应对快速变化业务模型
O2O这个增长迅猛，快速变化的行业，对如何建立数据仓库提出了很多挑战——快速变化, 快速处理, 快速应用是三个最核心的需求。美团作为国内最大的本地服务电子商务公司,在支撑前线的数据仓库设计上面临哪些挑战?又有哪些方案?美团数据仓库架构师徐章，他目前负责美团数据仓库的建设和数据仓库工具的开发。他介绍了美团数据仓库的架构和核心工具，以及在数据建模和管理上的探索、实践和创新。
▲美团数据仓库架构师徐章
数据仓库的构建离不开业务场景
解析团购行业的特点：1、团购?业低?利,要求?效率，百度8%，美团5%。2、业务复杂. 订单、财务、供应链、客服等，近20个业务部?,关系复杂需求多。3、业务变化快. ?业?速发展,形式不断更新。
团购行业对数据仓库的要求：快速建模: 全?地覆盖所有业务、业务模型灵活变更: 可?且响应周期短、?便使?: 每个?都能使?数据资源。
快速粗放式增长之痛：1、指标管理混乱: 重复定义, ?径不?致, 变更困难。2、元数据过于松散: 找不到数据, 业务知识零散。3、依赖关系过于复杂: 层次过深, 指标来源不明。4、规范执?困难: ??审核,建模?法论难以贯彻，还容易将精?耗费在业务?关的细节上。
数据仓库的构建思路
1、形式化模型定义：精确表达业务逻辑、?处定义,各处复?、模型即?档。
2、简化处理层级
3、模型驱动数据?产
总线图的方法
多维度模型视角主要包括：1、按事实?度(纵向): 星型多维。2、按主题组织(横向): 维度层级组合合并
模型元素：1、实体/事实: 名称,物理表名,属性/度量列表；2、属性: 名称,对应字段/表达式,属性字典；3、度量: 聚合?法； 4、层级关系: 各层级属性
简化处理层级：目标
模型驱动?动化?作流：1、??成聚合表流程。2、?动创建主题表流程。3、?动部署上线并注册任务调度。
驱动数据?产:聚合计划：1、选定事实。2、指定维度层级组合。3、?成Hive SQL (Multi Groupby)
驱动数据?产:主题定义：1、选定维度层级组合。2、指定事实列表。3、?成Hive SQL (FULL OUTER JOIN)。
达成的效果：1、关注于业务建模, ?具执?规范和?产。2、业务知识和指标查找变得可能。3、减少混乱的指标定义带来的沟通?作。4、快速响应模型变更。5、便于快速铺开到新的产品线(电影,酒店,外卖…)
经验总结
最后，美团数据仓库架构师徐章总结了自己的经验，主要包括了三点：1、元数据管理的形式: 档< wiki < 字典系统< 形式化模型。2、对开放数据产的态度: 平衡治和统。3、动化,助化,平台化。
作者:景保玉
来源：IT168
原文链接：O2O数据仓库实践:应对快速变化业务模型
