搜索[分布式锁]结果-低调大师优秀个人博客

精选列表

搜索[分布式锁]，共10000篇文章

ElasticSearch基本原理和分布式文件系统

目录阶段一：Elasticsearch概念与架构 Elasticsearch的功能 Elasticsearch-Linux安装 Elasticsearch核心概念 Elasticsearch基础分布式架构

2017-11-11

结合领域驱动设计的SOA分布式软件架构

SOA（面向服务架构）由Gartner 在1996年提出来，它是一种分布式的软件架构，它可以根据需求通过网络对松散耦合的粗粒度应用组件进行部署、组合和使用。

2017-11-11

学习dubbo（7）：基于dubbo的分布式系统架构介绍

基于Dubbo的分布式系统架构规划--以第三方支付系统为例一、应用架构结合业务场景，对系统的应用类型进行划分： (1)、服务子系统 ----- 账户、交易、对账、结算、打款、风控... (2)、内部管理应用

2017-11-09

分布式系统的那些事儿（七） - 微服务架构体系

分布式事务比单体应用难处理。生产环境部署复杂度提升，需要运维人员有一定的功底。

2017-10-16

本文介绍了Kafka Stream的背景，如Kafka Stream是什么，什么是流式计算，以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构，并行模型，状态存储，以及主要的两种数据集KStream和KTable。并且分析了Kafka Stream如何解决流式系统中的关键问题，如时间定义，窗口操作，Join操作，聚合操作，以及如何处理乱序和提供容错能力。最后结合示例讲解了如何使用Kafka Stream。 Kafka Stream背景 1. Kafka Stream是什么 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点如下： Kafka Stream提供了一个非常简单而

2017-10-09

IBM突破性分布式计算：搞定深度学习负载

本文讲的是 IBM突破性分布式计算：搞定深度学习负载，为什么深度学习会是计算机的“杀手级应用”？ IBM是怎么找到分布式计算来加快大数据人工智能工作负载处理速度的？

2017-09-03

现代化的分布式应用正成为主流

本文讲的是现代化的分布式应用正成为主流，【编者的话】本文作者是Docker市场营销副总裁 David Messina，他在本文中介绍了分布式应用的概念以及优势，正如David所说，我们正处在一个分布式应用的时代

2017-08-31

Apache Eagle：eBay开源分布式实时Hadoop数据安全引擎

日前，eBay公司隆重宣布正式向开源业界推出分布式实时安全监控方案：Apache Eagle，该项目已于2015年10月26日正式加入Apache基金会成为孵化器项目。

2017-08-14

TaoCloud与红帽发布XDFS-Pro分布式文件存储

大道云行科技与红帽在京正式签署战略合作协议，并发布内嵌红帽Gluster企业版的XDFS-Pro分布式文件存储系统。

2017-08-08

在CentOS 7上安装分布式存储系统Ceph

Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储(Block Storage)和分布式对象存储(Object

2017-08-07

为什么大部分NoSQL不提供分布式事务？

这些NoSQL数据库不提供事务机制原因在于其分布式特点，一系列写操作中访问的数据可能位于不同的分区服务器，这样的事务就变成分布式事务，在分布式事务中实现原子性需要彼此协调，而协调是耗费时间的，每台机器在一个大事务过程中必须依次确认

2017-08-01

Eagle - 来自eBay的分布式实时监控及预警框架

Eagle 是来自eBay的面向大型分布式系统比如Hadoop, Spark 以及Cloud等设计的通用实时监控与与预警框架。

2017-08-01

Storm、Spark和MapReduce 开源分布式计算系统框架比较

比较项 Storm Spark Streaming 分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm；

2017-07-31

5节点Hadoop分布式集群搭建经验分享

本文章我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。 1.1 写在前面的话 1.2 (一)HDFS概述 1.2.1 基础架构 1、NameNode(Master) 1)命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。 2)块存储管理。 1.2.2 HA架构从上面的架构图可以看出，使用Active NameNode，Standby NameNode 两个节点可以解决单点问题，两个节点通过JounalNode共享状态，通过ZKFC 选举Active ，监控状态，自动备份。 1、Active NameNode 接受client的RPC请求并处理，同时写自己的Editlog和共享存储上的Editlog，接收DataNode的Block report, block location updates和heartbeat。 2、Standby NameNode 同样会接到来自DataNode的Block report, block location updates和heartbeat，同时会从共享存储的Editlog上读取并执行这些log操作，保持自己NameNode中的元数据(Namespcae information + Block locations map)和Active NameNode中的元数据是同步的。所以说Standby模式的NameNode是一个热备(Hot Standby NameNode)，一旦切换成Active模式，马上就可以提供NameNode服务。 3、JounalNode 用于Active NameNode ， Standby NameNode 同步数据，本身由一组JounnalNode节点组成，该组节点奇数个。 4、ZKFC 监控NameNode进程，自动备份。 1.3 (二)YARN概述 1.3.1 基础架构 1、ResourceManager(RM) 接收客户端任务请求，接收和监控NodeManager(NM)的资源情况汇报，负责资源的分配与调度，启动和监控ApplicationMaster(AM)。 2、NodeManager 节点上的资源管理，启动Container运行task计算，上报资源、container情况汇报给RM和任务处理情况汇报给AM。 3、ApplicationMaster 单个Application(Job)的task管理和调度，向RM进行资源的申请，向NM发出launch Container指令，接收NM的task处理状态信息。 4、Web Application Proxy 用于防止Yarn遭受Web攻击，本身是ResourceManager的一部分，可通过配置独立进程。ResourceManager Web的访问基于守信用户，当Application Master运行于一个非受信用户，其提供给ResourceManager的可能是非受信连接，Web Application Proxy可以阻止这种连接提供给RM。 5、Job History Server NodeManager在启动的时候会初始化LogAggregationService服务, 该服务会在把本机执行的container log (在container结束的时候)收集并存放到hdfs指定的目录下. ApplicationMaster会把jobhistory信息写到hdfs的jobhistory临时目录下, 并在结束的时候把jobhisoty移动到最终目录, 这样就同时支持了job的recovery.History会启动web和RPC服务, 用户可以通过网页或RPC方式获取作业的信息。 1.3.2 HA架构 ResourceManager HA 由一对Active，Standby结点构成，通过RMStateStore存储内部数据和主要应用的数据及标记。目前支持的可替代的RMStateStore实现有：基于内存的MemoryRMStateStore，基于文件系统的FileSystemRMStateStore，及基于zookeeper的ZKRMStateStore。 ResourceManager HA的架构模式同NameNode HA的架构模式基本一致，数据共享由RMStateStore，而ZKFC成为 ResourceManager进程的一个服务，非独立存在。本文作者：佚名来源：51CTO

2017-07-31

打造支撑百万用户的分布式代码托管平台

在2017在线技术峰会——首届阿里巴巴研发效能嘉年华上，来自研发效能事业部的杨再新分享了《打造支撑百万用户的分布式代码托管平台》。

2017-07-05

你该了解Hadoop分布式文件系统

自大数据时代到来之后，分布式存储、大文件的读写都成为热点话题，如何应对越来越多的大文件存储、分析与检索，成为企业需要攻克的难题。而Hadoop的原型要从2002年开始说起。

2017-07-02

《Storm分布式实时计算模式》——3.5 Trident聚合器

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第3章，第3.5节,作者：（美）P.

2017-07-02

[Spark]Spark RDD 指南三弹性分布式数据集(RDD)

Spark2.3.0 版本:Spark2.3.0 创建RDD Spark的核心概念是弹性分布式数据集（RDD），RDD是一个可容错、可并行操作的分布式元素集合。

2017-06-11

从HDFS看分布式文件系统的设计需求

分布式文件系统的设计需求大概是这么几个：透明性、并发控制、可伸缩性、容错以及安全需求等。我想试试从这几个角度去观察HDFS的设计和实现，可以更清楚地看出HDFS的应用场景和设计理念。

2017-05-16

当下流行的分布式文件系统大阅兵

当下流行的分布式文件系统大阅兵本文对目前数种分布式文件系统进行简单的介绍。

2017-05-01

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

ElasticSearch基本原理和分布式文件系统

结合领域驱动设计的SOA分布式软件架构

学习dubbo（7）：基于dubbo的分布式系统架构介绍

分布式系统的那些事儿（七） - 微服务架构体系

介绍一位分布式流处理新贵：Kafka Stream

IBM突破性分布式计算：搞定深度学习负载

现代化的分布式应用正成为主流

Apache Eagle：eBay开源分布式实时Hadoop数据安全引擎

TaoCloud与红帽发布XDFS-Pro分布式文件存储

在CentOS 7上安装分布式存储系统Ceph

为什么大部分NoSQL不提供分布式事务？

Eagle - 来自eBay的分布式实时监控及预警框架

Storm、Spark和MapReduce 开源分布式计算系统框架比较

5节点Hadoop分布式集群搭建经验分享

打造支撑百万用户的分布式代码托管平台

你该了解Hadoop分布式文件系统

《Storm分布式实时计算模式》——3.5 Trident聚合器

[Spark]Spark RDD 指南三弹性分布式数据集(RDD)

从HDFS看分布式文件系统的设计需求

当下流行的分布式文件系统大阅兵

资源下载

腾讯云软件源

Rocky Linux

Sublime Text

WebStorm

欢迎您来访！

精选列表

ElasticSearch基本原理和分布式文件系统

结合领域驱动设计的SOA分布式软件架构

学习dubbo（7）：基于dubbo的分布式系统架构介绍

分布式系统的那些事儿（七） - 微服务架构体系

介绍一位分布式流处理新贵：Kafka Stream

IBM突破性分布式计算：搞定深度学习负载

现代化的分布式应用正成为主流

Apache Eagle：eBay开源分布式实时Hadoop数据安全引擎

TaoCloud与红帽发布XDFS-Pro分布式文件存储

在CentOS 7上安装分布式存储系统Ceph

为什么大部分NoSQL不提供分布式事务？

Eagle - 来自eBay的分布式实时监控及预警框架

Storm、Spark和MapReduce 开源分布式计算系统框架比较

5节点Hadoop分布式集群搭建经验分享

打造支撑百万用户的分布式代码托管平台

你该了解Hadoop分布式文件系统

《Storm分布式实时计算模式》——3.5 Trident聚合器

[Spark]Spark RDD 指南三 弹性分布式数据集(RDD)

从HDFS看分布式文件系统的设计需求

当下流行的分布式文件系统大阅兵

资源下载

腾讯云软件源

Rocky Linux

Sublime Text

WebStorm

欢迎您来访！

[Spark]Spark RDD 指南三弹性分布式数据集(RDD)