分布式系统学习共性总结：-低调大师

分布式系统学习共性总结：

2018-08-02 501

1.归纳法:

        对标与参考
        适配与裁剪

2..术法道，深入源码体系

先分析该系统是数据存储还是计算系统。

如果是数据存储系统，从数据分布和副本策略开始入手
哈希：ElasticSearch
范围：HBase
数据量：HDFS
一致性：Cassan
副本读取
副本更新
副本切换
如果是数据处理问题，从数据投递策略入手。
离线
实时
微批
at most once
at least once
exactly once

2 .读对应系统架构图，对应着常用的架构模型，每个组件和已有的系统进行类比，想一下这个组件类似于hdfs的namenode等等，最后在脑海里梳理下数据流的整个流程。

3.在了解了系统的大概，着重看下文档中fault tolerence章节，看系统如何容错，或者自己可以预先问些问题，比如如果一个节点挂了、一个任务挂了系统是如何处理这些异常的，带着问题看文档。

4.文档详细读了一遍，就可以按照官方文档写些hello world的例子了，详细查看下系统配置项，随着工作的深入就可以看些系统的细节和关键源码了。

转自：https://blog.csdn.net/tg229dvt5i93mxaq5a6u/article/details/78266424

微信关注我们

原文链接：https://yq.aliyun.com/articles/624477

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

修改HBase的rowkey设计把应用的QPS从5W提升到50W

UTT是Aliexpress的营销消息运营平台，运营希望促销活动时APP消息推送的QPS达到34W。 UTT刚接入APP消息推送时，QPS只能达到5W，离运营的要求有很大的距离。通过改造，QPS达到了50W，其中最主要的改造是对Hbase的rowkey的改造。首先介绍一下UTT大致工作流程： 1、运营人员在UTT的小二控制台配置运营任务（job），在任务中设置商品选择参数、目标人群参数和消息发送渠道； 2、UTT调用算法平台计算出要发送的消息，数据生成在阿里云飞天系统的云梯表中； 3、UTT把云梯表中的数据导入到hbase，并生成N个可以并发执行的发送任务（segment），segment的信息存储在mysql表中； 4、UTT按计划发送时间捞取segment，把存储在Hbase中的segment对应的消息读取出来调用阿里巴巴移动消息推送网关发送出去。步骤1、2、3是提前执行的，我们要优化的是步骤4。改造中，我们主要做了如下几件事： 1、修改了Hbase的rowkey规则和数据读取方式； 2、优化了记录发送进度的逻辑； 3、优化了消息发送到阿里巴巴移动消息推送网关的流程。其中...

2018-08-02

769

资讯 Apache Kafka 2.0.0 正式发布，分布式消息发布订阅系统 Apache Kafka 2.0.0 已正式发布，这是一个主要版本，新增了许多重要的新功能。此外还包括许多重要的 bug 修复和改进，其中还包括一些严重的错误修复。如何解决AI的大数据困境？杨强提出联邦迁移学习 2018中国人工智能大会在深圳举行。会上，国际人工智能联合会（IJCAI）主席、AAAI/ACM/IEEE Fellow、香港科技大学教授杨强发表了题为《AI面临的挑战和迁移学习所带来的机遇》的演讲，谈到了AI发展遇到的大数据的困境以及解决办法。 Tableau发布2018.2版本可拖放第三方应用功能到仪表板 Tableau公司近日推出Tableau 2018.2版本更新，该更新的扩展API能够让用户直接拖放第三方应用功能到仪表板。此外，在新推出的Tab

2018-08-02

664

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。