依托MaxCompute构建零售快消品行业数据仓库-低调大师

依托MaxCompute构建零售快消品行业数据仓库

2017-07-27 642

利用MaxCompute，五叶草为某世界500强快消品零售巨头搭建了企业级数据仓库。由于部分子系统未打通、业务逻辑繁杂，客户的业务分析工作主要在线下人工完成，分析时间长、统计口径不一、数据质量参差不齐。在将数据存储在MaxCompute后，依托其强大的海量数据处理能力，原先需要花数小时更新的报表只在10分钟左右即可完成，有效降低了时间人力成本，提升了工作效率，使客户可以将更多的精力投入到业务升级中去。

在MaxCompute中我们定义了如下的各层数据模型：

1. 数据接口层

数据接口层的数据结构应该对应源系统。应当注意的是同步的源数据要避免使用视图，在客户的生产环境上曾经出现过这样的情况：由于存储过程优化不好，同步视图在同步任务发起后仍然没有生成出来，导致同步任务及后续的ETL挂起。所以后续通过客户和第三方接洽，将数据源从视

微信关注我们

原文链接：https://yq.aliyun.com/articles/155214

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

基于MaxCompute方案的TFI门店销量调研

摘要：TFI拥有全球超过1200家快餐店，是世界知名品牌之一的公司，分别是汉堡王，Sbarro，Popeyes，Usta Donerci和Arby。他们在欧洲和亚洲雇用了2万多人，并在开发新的餐馆方面进行了大量的日常投资。现在，决定何时何地开设新餐馆，主要是基于开发团队的个人判断和经验的主观过程。这个主观数据难以准确地推断出地域和文化。新的餐厅需要大量的时间和资金投入才能开始运作。如果选择餐厅的位置错误，将会导致营业亏损，并在18个月内关闭。现在TFI公布了其在土耳其地区所经营的137家餐厅开张一年以来的销量情况和餐厅的地理位置，所处地区的人口等等一系列进过隐藏处理过后的特征，通过学习这137家餐厅的数据来预测另外100000家餐厅的年度销量情况。数据信息：利用所提供的数据，建立机器学习的模型，对每一家餐厅未来的年度销量情况进行预测。一、销量预测架构1.数据源：数据包括TFI集团旗下的餐厅数据构成的137条训练集和100000条测试集；2.数据同步至阿里云：使用DataX工具将数据导入到在ODPS建立的表中；3.流程计算：阿里云建立算法分析流程；4.分析结果：对三个模型预测结果以...

2017-07-27

539

好久没有写,这久都是在做ELK的数据化模板,觉得还是有些东西需要写下来的，前面我已经写过了EKL的安装，今天就来说一下ELK三个软件之间的连接把。 # 关系介绍： ES是一个文档数据库，Logstash是一个数据收集工具，Kibana是一个数据处理工具，这么去理解这三个组件是无可厚非的。我们通过Logstash把数据收集起来，无论是通过读取日志，还是读取数据库，亦或是去监听某一个日志输出端口，总之Logstash就是一个数据收集工具，收集到数据之后再把数据发送给ES进行固化。好了，现在我们在ES中已经有了数据了，那么，通过什么来分析呢？没错，就是通过Kibana，它需要去ES数据库拿去数据，然后对数据进行分析。现在我们应该可以理ELK三个组件的逻辑关系了。现在把三者的关系理解清楚以后，就可以进行配置了。 # EKL相互配置根据关系图我们可以知道，第一步需要做的是连接数据源和Logstash。第一步：连接数据源和Logstsh 假设我们使用时是日志文件数据源，我们就需要使用Logstash的file{}插件事例代码如下： file{ path=>['/data/access.l...

2017-07-28

532

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。