数加DataWorks/MaxCompute在国网浙江电力的最佳实践-低调大师

数加DataWorks/MaxCompute在国网浙江电力的最佳实践

2017-12-07 843

摘要：2017云栖大会dataworks专场，国网浙江电力大数据平台架构师陈振带来Dataworks/MaxCompute在国网应用的实践。本文主要从建设数据仓库的三个痛点开始谈起，引出企业级数仓架构设计，着重通过数据集成和企业级管理为大家分享了具体的应用情况，最后作了简要的展望。

以下是精彩内容整理：

背景&动机

由于长期业务系统的竖井式发展，导致业务系统中数据存储分散，当你要进行多个业务系统中数据的联合统计场景时，我们通常不得不汇总三到四个以上的业务系统数据，久而久之就会在数据中心里形成一张非常复杂的数据集成网络，由于业务系统给出的接口非常老旧，导致在数据集成网络中涉及到的技术手段又非常多，总共这三大痛点给我们数据中心管理带来非常大的困难。

所以，我们开始思考，为什么不把全部的业务数据放到统一的数据仓库中去呢？为了进行数据的

微信关注我们

原文链接：https://yq.aliyun.com/articles/280237

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

千亿特征流式学习在大规模推荐排序场景的应用

摘要：2017云栖大会机器学习平台PAI专场，阿里巴巴高级技术专家陈绪带来千亿特征流式学习在大规模推荐排序场景的应用的演讲。主要从电商个性化推荐开始谈起，进而描述了技术挑战和PAI解决方案，重点分享了鲲鹏框架和算法调优，最好作了简要总结。以下是精彩内容整理：电商个性化推荐淘宝、天猫在无线、PC端各个场景的商品个性化推荐大家都很熟悉，这些展示都是由个性化推荐排序算法决定的。根据每个用户不同的兴趣，做到千人千面的个性化展示，比如手淘首页的猜你喜欢，它是阿里电商最大的推荐场景，还有人群导购、看了又看、买了又买等页面，背后都是由机器学习算法来规划商品个性化排序。点击率预估算法商品的个性化排序一般都转化成点击率预估问题，给定一个当前用户，并且给定用户相关上下文的一些特征，来预测对于一个特定的商品的点击概率有多大，我们希望用户点击率越高的商品

2017-12-08

608

#!/bin/bash#@author：feiyuanxing 【既然笨到家，就要努力到家】#@date：2017-01-05#@E-Mail：feiyuanxing@gmail.com#@TARGET:一键安装hadoop 2.7.1 centos 64位 #@CopyRight:本脚本遵守未来星开源协议（http://feiyuanxing.com/kaiyuanxieyi/kaiyuanxieyi.html） #讲解：#1.请使用root用户执行，软件默认安装在work用户，通常会在linux的/home 挂载一个大型磁盘#2.软件安装在/home/work/local/hadoop/hadoop 有人问为什么这么深# 2.1 work目录下local包含所有软件 hadoop安装大数据生态圈其他软件# 2.2 hadoop的数据安装在 /home/work/data ，此目录由于数量较大，可以单独挂载一个磁盘 INSTALL_HOME=/home/work/local/hadoopROOT_HOME=/home/work/local/hadoop/hadoop #hadoop...

2017-12-08

668

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。