分布式相关（基本概念/名词解释）-低调大师

分布式相关（基本概念/名词解释）

2017-11-18 573

1、什么是分布式计算？

　　所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。分布式网络存储技术是将数据分散的存储于多台独立的机器设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但解决了传统集中式存储系统中单存储服务器的瓶颈问题，还提高了系统的可靠性、可用性和扩展性。(百度百科)

2、GOOGLE三大论文中文版：GFS，BigTable，MapReduce。

3、GOOGLE三驾马车与Hadoop对应关系：

 
        GFS        ——  HDFS
       
        BigTable   ——  HBase
       
        MapReduce  ——  MapReduce

MapReduce是一种编程模型(/思想)，而不是一个软件或者系统。

3.1、MapReduce的Shuffle阶段。

4、MPI(Message Passing Interface)，信息传递接口。

　　MPI是一个跨语言的通讯协议，用于为并行计算机编写程序。(WIKI)

5、Hadoop [hdu:p]（百度百科）

　　一个分布式系统基础架构，由Apache基金会开发。Hadoop由Apache Software Foundation 公司于2005年秋天作为Lucene的子项目Nutch的一部分正式引入。Hadoop用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。

6、Lucene ['lusen]（百度百科）

　　Lucene是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构。

7、Solr(发音同"solar")

　　Solr是一个开源的企业级搜索平台，基于Apache的Lucene项目。

8、Spark是一个开源的集群计算系统，目标是是让数据分析更快——不管是读还是写。

*** walker ***

本文转自walker snapshot博客51CTO博客，原文链接http://blog.51cto.com/walkerqt/1308607如需转载请自行联系原作者

RQSLT

微信关注我们

原文链接：https://yq.aliyun.com/articles/511303

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

为什么说解耦的战术，决定了架构的高度？[转]

原创2017-11-13沈剑DBAplus社群本文根据沈剑老师在〖Gdevops 2017全球敏捷运维峰会北京站〗现场演讲内容整理而成。（点击底部“阅读原文”获取沈剑演讲完整PPT）讲师介绍沈剑，架构师之路公众号作者。曾任百度高级工程师、58同城高级架构师、58同城技术委员会主席、58同城C2C技术部负责人。现任58到家技术委员会主席，高级技术总监，负责58速运研发与管理工作。本质，技术人一枚。架构设计中，大家都不喜欢耦合，但有哪些典型的耦合是我们系统架构设计中经常出现的，又该如何优化？这里列举了6个点：IP、jar包、数据库、服务、消息、扩容。这些点，如果设计不慎，都会导致系统一些耦合，这些点基本都是大家实际遇到的痛点，今天我将跟大家分享如何用常见的方案去解除这些耦合。一、如何找到系统中的耦合什么是耦合？就是每每我们作为技术人，在心中骂上下游、骂兄弟部门，说这个东西跟我有什么关系？为什么我要配合来做这个事情？这里面就非常有可能是系统中存在耦合的地方。明明我们不应该联动，但兄弟部门要做一个事情，上下游要做一个事情，我却要被动地配合来做这个事情。还有...

2017-11-19

614

前言我们一般在做架构设计的时候，会经历过三个阶段：需求分析、概要设计和详细设计。需求分析阶段: 主要梳理所有用例（Use case）和场景，并抽象出面向系统的用户与角色，梳理出需求提供哪些功能与非功能的需求给这些用户。概要设计阶段：根据需求分析的产物：核心需求，对整个系统进行模块划分，并定义好模块之间的交互关系。详细设计阶段：通过多个视图来描述系统的架构，包括但不局限于：逻辑系统、物理视图、数据视图、物理视图非功能需求非功能的需求主要体现在高性能、高可用、可伸缩、可扩展、安全性等维度。非功能指标描述高性能运行效率高、响应速度快、吞吐量高可用性缩短宕机时间、出错恢复、SLA 在线可用时间可伸缩性垂直伸缩、水平伸缩可扩展性可插拔、组件重用安全性数据安全、加密、防攻击鲁棒性容错性、可恢复性非功能需求对应不同系统指标非功能需求对应不同系统指标主要分为 4 部分：应用服务器数据库缓存消息队列 1. 应用服务器应用服务器是请求的入口，所有流量都是通过应用服务器来转发的。主要关心 QPS 、RT 等指标。容量与性能相关指标如下所示 1. 每天的...

2017-11-19

569

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。