数加DataWorks/MaxCompute在国网浙江电力的最佳实践-低调大师

数加DataWorks/MaxCompute在国网浙江电力的最佳实践

2017-12-07 860

摘要：2017云栖大会dataworks专场，国网浙江电力大数据平台架构师陈振带来Dataworks/MaxCompute在国网应用的实践。本文主要从建设数据仓库的三个痛点开始谈起，引出企业级数仓架构设计，着重通过数据集成和企业级管理为大家分享了具体的应用情况，最后作了简要的展望。

以下是精彩内容整理：

背景&动机

由于长期业务系统的竖井式发展，导致业务系统中数据存储分散，当你要进行多个业务系统中数据的联合统计场景时，我们通常不得不汇总三到四个以上的业务系统数据，久而久之就会在数据中心里形成一张非常复杂的数据集成网络，由于业务系统给出的接口非常老旧，导致在数据集成网络中涉及到的技术手段又非常多，总共这三大痛点给我们数据中心管理带来非常大的困难。

所以，我们开始思考，为什么不把全部的业务数据放到统一的数据仓库中去呢？为了进行数据的

微信关注我们

原文链接：https://yq.aliyun.com/articles/280237

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

千亿特征流式学习在大规模推荐排序场景的应用

摘要：2017云栖大会机器学习平台PAI专场，阿里巴巴高级技术专家陈绪带来千亿特征流式学习在大规模推荐排序场景的应用的演讲。主要从电商个性化推荐开始谈起，进而描述了技术挑战和PAI解决方案，重点分享了鲲鹏框架和算法调优，最好作了简要总结。以下是精彩内容整理：电商个性化推荐淘宝、天猫在无线、PC端各个场景的商品个性化推荐大家都很熟悉，这些展示都是由个性化推荐排序算法决定的。根据每个用户不同的兴趣，做到千人千面的个性化展示，比如手淘首页的猜你喜欢，它是阿里电商最大的推荐场景，还有人群导购、看了又看、买了又买等页面，背后都是由机器学习算法来规划商品个性化排序。点击率预估算法商品的个性化排序一般都转化成点击率预估问题，给定一个当前用户，并且给定用户相关上下文的一些特征，来预测对于一个特定的商品的点击概率有多大，我们希望用户点击率越高的商品

2017-12-08

627

#!/bin/bash#@author：feiyuanxing 【既然笨到家，就要努力到家】#@date：2017-01-05#@E-Mail：feiyuanxing@gmail.com#@TARGET:一键安装hadoop 2.7.1 centos 64位 #@CopyRight:本脚本遵守未来星开源协议（http://feiyuanxing.com/kaiyuanxieyi/kaiyuanxieyi.html） #讲解：#1.请使用root用户执行，软件默认安装在work用户，通常会在linux的/home 挂载一个大型磁盘#2.软件安装在/home/work/local/hadoop/hadoop 有人问为什么这么深# 2.1 work目录下local包含所有软件 hadoop安装大数据生态圈其他软件# 2.2 hadoop的数据安装在 /home/work/data ，此目录由于数量较大，可以单独挂载一个磁盘 INSTALL_HOME=/home/work/local/hadoopROOT_HOME=/home/work/local/hadoop/hadoop #hadoop...

2017-12-08

687

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。