优酷背后的大数据秘密-低调大师

优酷背后的大数据秘密

2019-06-10 571

在本文中优酷数据中台的数据技术专家门德亮分享了优酷从Hadoop迁移到阿里云MaxCompute后对业务及平台的价值。

本文内容根据演讲视频以及PPT整理而成。

大家好，我是门德亮，现在在优酷数据中台做数据相关的事情。很荣幸，我正好见证了优酷从没有MaxCompute到有的这样一个历程，因为刚刚好我就是入职优酷差不多5年的时间，我们正好是在快到5年的时候，去做了从Hadoop到MaxCompute的这样一个升级。这个是2016年5月到2019年现在的5月优酷的发展历程，上面是计算资源，下面是储存资源。大家可以看到整个用户数，还有表的数据，实际上是在呈一个指数式增长的。但是在2017年5月，当优酷完成了整个Hadoop迁移MaxCompute后，优酷的计算消耗，还有储存的消耗实际上是呈下降趋势的，整个迁移得到了一个非常大的收益。

下面说一

微信关注我们

原文链接：https://yq.aliyun.com/articles/705113

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

BDS - HBase数据迁移同步方案的设计与实践

概览 BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台。有关于BDS的基本介绍，可以查看《BDS-HBase数据迁移同步的利器》。本文主要介绍目前在阿里云上，BDS是如何进行HBase集群之间的数据迁移和数据的实时同步的。架构 BDS采用分布式的架构，由BDSMaster节点生成、调度任务给各个BDSWorker节点 BDSWorker节点负责具体的任务执行，是无状态的，方便扩容、升级 Reader 和 Writer 插件化，支持跨版本，异构数据源的迁移和实时数据同步历史数据迁移方案对于历史存量数据的迁移，我们是通过拷贝文件的方式，将数据文件拷贝到目标集群，然后统一对文件进行Bulkload，将数据装载到目标表中迁移流程：客户提交历史数据迁移的任务 BDSMaster获取原表的Region分区情况，针对每一个Re

2019-06-10

651

英文原文：https://qbox.io/blog/elasticsearch-search-tuning-5-0-ultimate-guide 作者：Adam Vanderbush 译者：杨振涛目录文档建模全局序列号和延迟多代关系为文件系统缓存分配内存 Elasticsearch搜索调优权威指南，是QBOX在其博客上发布的系列文章之一，本文是该系列的第一篇，主要从文档建模、内存分配、文件系统缓存、GC和硬件等方面介绍了优化查询性能的一些经验。 Elasticsearch 5.0.0确实是在2.x之后的一个大版本，为大家带来了许多新东西。Elasticsearch现在作为Elastic Stack中的一员，与整个技术栈的其他产品的版本号已经对齐，现在Kibana、Logstash、Beats和Elasticsearch全都是5.0版本了。这个版本的Elasticsearch是目前为止最快、最安全、最弹性，也是最易用的，而且还带来了很多的改进和新特性。我们已经通过“Elasticsearch性能调优权威指南”系列，介绍了一些性能调优的基本经验和方法，解释了每一步最关键的系统...

2019-06-12

559

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。