云场景实践研究第20期：梨视频-低调大师

云场景实践研究第20期：梨视频

2018-02-03 657

更多云场景实践研究案例，点击这里：【云场景实践研究合集】联合不是简单的加法，而是无限的生态，谁会是下一个独角兽

作为中国领先的资讯类短视频生产者，梨视频采用阿里云平台搭建了数据处理系统和梨视频推荐系统，本文从架构和实现的角度介绍梨视频上云的实践经验。

“Log Store是一站式日志收集服务系统，通过配置、过滤将所需的日志推送到目标区域，它提供了两种消费途径：一是通过阿里云EMR中的Spark Streaming消费Log Store中的日志，进行实时分析、统计；二是将日志推送到阿里云OSS上永久备份，以供后期使用。”

——杨智
梨视频大数据负责人

采用的阿里云产品

阿里云服务器ECS
阿里云对象存储 OSS
阿里云阿里云云数据库 RDS
阿里云云数据库Redis
阿里云 E-MapReduce
阿里云日志服务 LOG

关于梨视频

梨视频是中国领先的

微信关注我们

原文链接：https://yq.aliyun.com/articles/430087

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Scala 解析 XML

打开微信扫一扫，关注微信公众号【数据与算法联盟】转载请注明出处：https://yq.aliyun.com/u/thinkgamer博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 在使用Spark时，有时候主函数入口参数过多的时候，会特别复杂，这个时候我们可以将相应的参数写在xml文件中，然后只要将xml文件的路径传进去即可，这里的xml路径可以是本地的，也可以是hdfs上的。 scala提供了类似于Xpath的语法来解析xml文件，其中很重要的两个操作符是""和 "\" ：根据搜索条件得到下一个节点 \ :根据条件获取所有的节点 <configure> <input> <name>app_feature_goods</name> <hdfs>/user/path/to/goods</hdfs> </input> <input> <name>app_feature_user</nam...

2018-02-04

529

第一种方式，逐一启动第二种，分开启动 image.png 第三种，一起启动(不推荐使用) start-all.sh 因为在生产环境中namenode和datanode不可能在一台机器上。组件启动配置 image.png 在实际生产中namenode一台服务器，一个datanode一台服务器。因为是这样所以才引出ssh无秘钥登入。配置 SSH 无密钥登陆使用密码登录，每次都必须输入密码，非常麻烦。SSH还提供了公钥登录，可以省去输入密码的步骤。所谓"公钥登录"，就是用户将自己的公钥储存在远程主机上。登录的时候，远程主机会向用户发送一段随机字符串，用户用自己的私钥加密后，再发回来。远程主机用事先储存的公钥进行解密，如果成功，就证明用户是可信的，直接允许登录shell，不再要求密码。生成公钥/私钥对 1、执行$ ssh-keygen -t rsa 在$HOME/.ssh/目录下，会新生成两个文件：id_rsa.pub和id_rsa。前者是你的公钥，后者是你的私钥。 2、拷贝公钥至authorized_keys文件 $ ssh-copy-id hadoop-senior...

2018-02-04

573

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。