依托MaxCompute构建零售快消品行业数据仓库-低调大师

依托MaxCompute构建零售快消品行业数据仓库

2017-07-27 664

利用MaxCompute，五叶草为某世界500强快消品零售巨头搭建了企业级数据仓库。由于部分子系统未打通、业务逻辑繁杂，客户的业务分析工作主要在线下人工完成，分析时间长、统计口径不一、数据质量参差不齐。在将数据存储在MaxCompute后，依托其强大的海量数据处理能力，原先需要花数小时更新的报表只在10分钟左右即可完成，有效降低了时间人力成本，提升了工作效率，使客户可以将更多的精力投入到业务升级中去。

在MaxCompute中我们定义了如下的各层数据模型：

1. 数据接口层

数据接口层的数据结构应该对应源系统。应当注意的是同步的源数据要避免使用视图，在客户的生产环境上曾经出现过这样的情况：由于存储过程优化不好，同步视图在同步任务发起后仍然没有生成出来，导致同步任务及后续的ETL挂起。所以后续通过客户和第三方接洽，将数据源从视

微信关注我们

原文链接：https://yq.aliyun.com/articles/155214

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

基于MaxCompute方案的TFI门店销量调研

摘要：TFI拥有全球超过1200家快餐店，是世界知名品牌之一的公司，分别是汉堡王，Sbarro，Popeyes，Usta Donerci和Arby。他们在欧洲和亚洲雇用了2万多人，并在开发新的餐馆方面进行了大量的日常投资。现在，决定何时何地开设新餐馆，主要是基于开发团队的个人判断和经验的主观过程。这个主观数据难以准确地推断出地域和文化。新的餐厅需要大量的时间和资金投入才能开始运作。如果选择餐厅的位置错误，将会导致营业亏损，并在18个月内关闭。现在TFI公布了其在土耳其地区所经营的137家餐厅开张一年以来的销量情况和餐厅的地理位置，所处地区的人口等等一系列进过隐藏处理过后的特征，通过学习这137家餐厅的数据来预测另外100000家餐厅的年度销量情况。数据信息：利用所提供的数据，建立机器学习的模型，对每一家餐厅未来的年度销量情况进行预测。一、销量预测架构1.数据源：数据包括TFI集团旗下的餐厅数据构成的137条训练集和100000条测试集；2.数据同步至阿里云：使用DataX工具将数据导入到在ODPS建立的表中；3.流程计算：阿里云建立算法分析流程；4.分析结果：对三个模型预测结果以...

2017-07-27

556

好久没有写,这久都是在做ELK的数据化模板,觉得还是有些东西需要写下来的，前面我已经写过了EKL的安装，今天就来说一下ELK三个软件之间的连接把。 # 关系介绍： ES是一个文档数据库，Logstash是一个数据收集工具，Kibana是一个数据处理工具，这么去理解这三个组件是无可厚非的。我们通过Logstash把数据收集起来，无论是通过读取日志，还是读取数据库，亦或是去监听某一个日志输出端口，总之Logstash就是一个数据收集工具，收集到数据之后再把数据发送给ES进行固化。好了，现在我们在ES中已经有了数据了，那么，通过什么来分析呢？没错，就是通过Kibana，它需要去ES数据库拿去数据，然后对数据进行分析。现在我们应该可以理ELK三个组件的逻辑关系了。现在把三者的关系理解清楚以后，就可以进行配置了。 # EKL相互配置根据关系图我们可以知道，第一步需要做的是连接数据源和Logstash。第一步：连接数据源和Logstsh 假设我们使用时是日志文件数据源，我们就需要使用Logstash的file{}插件事例代码如下： file{ path=>['/data/access.l...

2017-07-28

556

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。