分布式系统学习共性总结：-低调大师

分布式系统学习共性总结：

2018-08-02 461

1.归纳法:

        对标与参考
        适配与裁剪

2..术法道，深入源码体系

先分析该系统是数据存储还是计算系统。

如果是数据存储系统，从数据分布和副本策略开始入手
哈希：ElasticSearch
范围：HBase
数据量：HDFS
一致性：Cassan
副本读取
副本更新
副本切换
如果是数据处理问题，从数据投递策略入手。
离线
实时
微批
at most once
at least once
exactly once

2 .读对应系统架构图，对应着常用的架构模型，每个组件和已有的系统进行类比，想一下这个组件类似于hdfs的namenode等等，最后在脑海里梳理下数据流的整个流程。

3.在了解了系统的大概，着重看下文档中fault tolerence章节，看系统如何容错，或者自己可以预先问些问题，比如如果一个节点挂了、一个任务挂了系统是如何处理这些异常的，带着问题看文档。

4.文档详细读了一遍，就可以按照官方文档写些hello world的例子了，详细查看下系统配置项，随着工作的深入就可以看些系统的细节和关键源码了。

转自：https://blog.csdn.net/tg229dvt5i93mxaq5a6u/article/details/78266424

微信关注我们

原文链接：https://yq.aliyun.com/articles/624477

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

修改HBase的rowkey设计把应用的QPS从5W提升到50W

UTT是Aliexpress的营销消息运营平台，运营希望促销活动时APP消息推送的QPS达到34W。 UTT刚接入APP消息推送时，QPS只能达到5W，离运营的要求有很大的距离。通过改造，QPS达到了50W，其中最主要的改造是对Hbase的rowkey的改造。首先介绍一下UTT大致工作流程： 1、运营人员在UTT的小二控制台配置运营任务（job），在任务中设置商品选择参数、目标人群参数和消息发送渠道； 2、UTT调用算法平台计算出要发送的消息，数据生成在阿里云飞天系统的云梯表中； 3、UTT把云梯表中的数据导入到hbase，并生成N个可以并发执行的发送任务（segment），segment的信息存储在mysql表中； 4、UTT按计划发送时间捞取segment，把存储在Hbase中的segment对应的消息读取出来调用阿里巴巴移动消息推送网关发送出去。步骤1、2、3是提前执行的，我们要优化的是步骤4。改造中，我们主要做了如下几件事： 1、修改了Hbase的rowkey规则和数据读取方式； 2、优化了记录发送进度的逻辑； 3、优化了消息发送到阿里巴巴移动消息推送网关的流程。其中...

2018-08-03

707

资讯 Apache Kafka 2.0.0 正式发布，分布式消息发布订阅系统 Apache Kafka 2.0.0 已正式发布，这是一个主要版本，新增了许多重要的新功能。此外还包括许多重要的 bug 修复和改进，其中还包括一些严重的错误修复。如何解决AI的大数据困境？杨强提出联邦迁移学习 2018中国人工智能大会在深圳举行。会上，国际人工智能联合会（IJCAI）主席、AAAI/ACM/IEEE Fellow、香港科技大学教授杨强发表了题为《AI面临的挑战和迁移学习所带来的机遇》的演讲，谈到了AI发展遇到的大数据的困境以及解决办法。 Tableau发布2018.2版本可拖放第三方应用功能到仪表板 Tableau公司近日推出Tableau 2018.2版本更新，该更新的扩展API能够让用户直接拖放第三方应用功能到仪表板。此外，在新推出的Tab

2018-08-03

620

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。