基于MaxCompute的媒体大数据开放平台建设-低调大师

基于MaxCompute的媒体大数据开放平台建设

2019-02-18 655

摘要：随着自媒体的发展，传统媒体面临着巨大的压力和挑战，新华智云运用大数据和人工智能技术，致力于为媒体行业赋能。通过媒体大数据开放平台，将媒体行业全网数据汇总起来，借助平台数据处理能力和算法能力，将有价值数据内容和能力开放给用户。本文主要从新华智云数芯平台，媒体行业数据特征，批流处理数据架构，以及通用的媒体大数据平台能力等几个方面介绍了如何基于MaxCompute做媒体大数据开放平台建设。

演讲嘉宾简介：
李金波，新华智云首席数据官。负责阿里巴巴大数据通用计算平台MaxCompute（原ODPS）框架架构。对高可用分布式系统设计开发有多年经验。先后研发过阿里巴巴机器学习平台在线预测系统和通用大数据计算平台框架系统。

本次直播视频精彩回顾，戳这里！https://yq.aliyun.com/live/796
以下内容根据演讲嘉宾视频分享整理

微信关注我们

原文链接：https://yq.aliyun.com/articles/690744

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MaxCompute SQL随机抽取N行数据

本文将为您介绍如何对数据随机取出数据的前 N 条数据。示例数据目前的数据，如下表所示： empno ename job sal 7369 SMITH CLERK 800.0 7876 SMITH CLERK 1100.0 7900 JAMES CLERK 950.0 7934 MILLER CLERK 1300.0 7499 ALLEN SALESMAN 1600.0 7654 MARTIN SALESMAN 1250.0 7844 TURNER SALESMAN 1500.0 7521 WARD SALESMAN 1250.0 实现方法通过 order by rand ()来实现随机抽取效果。 SELECT empno , ename , sal , job FROM emp order by rand() limit 3

2019-02-19

813

HBase Spark分析引擎是云数据库HBase版提供的分析引擎，基于Spark提供的复杂分析、流式处理、机器学习的能力。Spark分析引擎可以对接阿里云的多种数据源，例如：云HBase数据库、MongoDB、Phoenix等，同时也支持对接云数据库POLARDB。POLARDB是阿里云自研的下一代关系型云数据库，100%兼容MySQL，性能最高是MySQL的6倍。本文主要介绍HBase Spark分析引擎如何对接云数据库POLARDB。场景介绍 POLARDB中经常会存储一些维度表信息，例如：用户维度表信息，包含用户的ID，姓名，地址等信息。此类数据的特点是数据量小，不经常改变。Spark 中经常会存在一些海量事实表数据用于数据的分析，例如用户的通话信息、交易信息等。此类数据的特点是数据量大、增量更新。用户需要在这类数据中统计、

2019-02-19

697

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。