搜索[分布式锁]结果-低调大师优秀个人博客

精选列表

搜索[分布式锁]，共10000篇文章

首个由国内发起的分布式消息领域的国际标准OpenMessaging一周年回顾

OpenMessaging开源标准社区，并承诺将与OpenMessaging开源标准社区共同努力营造良好的开源环境，打造厂商中立，面向 Cloud Native ，同时对流计算以及大数据生态友好的下一代分布式消息标准

2018-11-18

（一）spring cloud互联网分布式微服务云平台规划分析--spring cloud平台整体规划

产品平台规划微服务注册中心（分布式集群部署）、微服务配置中心（分布式集群部署）、服务网关平台（分布式集群部署）、微服务监控平台、SSO单点登录平台（分布式集群部署）、微服务相关组件（分布式集群部署）

2018-11-18

蚂蚁金服十年自研分布式中间件，成就世界级新金融科技平台

创造了中国自己的数据库OceanBase》，这篇故事用两万多字的篇幅为大家讲述了蚂蚁金服完全自主可控的中国自研分布式关系型数据库OceanBase背后的研发故事，受到了大家的热切关注。

2018-07-25

腾讯资深架构师干货总结：一文读懂大型分布式系统设计的方方面面

所谓的负载均衡，就是分布式系统与生俱来需要完成的功课。由于分布式系统，几乎是解决互联网业务承载量问题，的最基本方法，所以作为一个服务器端程序员，掌握分布式系统技术就变得异常重要了。

2018-07-24

开源 | 蚂蚁金服分布式中间件开源第三弹: 下一代微服务SOFAMesh

小蚂蚁说： 4月，蚂蚁金服自主研发的分布式中间件（Scalable Open Financial Architecture，以下简称 SOFA ）启动开源计划，并开放多个组件，（相关背景请点击链接阅读《

2018-07-15

2个月精通Python爬虫——3大爬虫框架+6场实战+分布式爬虫，包教包会

阿里云大学在线工作坊上线，原理精讲+实操演练，让你真正掌握云计算、大数据技能。在第一批上线的课程中，有一个Python爬虫的课程，畅销书《精通Python网络爬虫》作者韦玮，带你两个月从入门到精通。爬虫有什么用呢？你要找工作，想知道哪个岗位当前最热门，爬取分析一下招聘网站的岗位信息便知一二；世界杯球迷分布情况，爬取分析一下淘宝各球队球衣销量，或者相关论坛或贴吧的一些数据即可；想知道知乎大神们关注领域情况，可以爬取分析一下大神们的回答； …… 有了数据才能做数据分析，互联网为你提供了海量的数据来源，就看你有没有水平获得这些数据。Python是实现爬虫最佳的选择，几行代码就能实现基本的爬虫，学习简单且很容易获得更大成就感。爬虫技术是入门Python最好的方式（没有之一），也是大数据分析、机器学习的基础，掌握基本的爬虫后，再去学习其他

2018-06-26

北京云栖大会Tech Insight Workshop：《使用微服务框架快速构建一个分布式交易系统》篇

背景介绍本篇是北京云栖大会Tech Insight Workshop金融云主体《使用SOFA来快速构建金融级分布式交易系统》中的一个组成部分，用来介绍如何通过SOFA Boot来快速构建一个分布式微服务系统

2017-12-15

ElasticSearch Shard——本质上是做分布式扩展，副本对于集群的稳定性有很强的影响

什么是一个Shard？ Shard就是一个Lucene Index，参照文章(深入理解Shard和Lucene Index)。 Index需要多少个Shard？回答这个问题，我们需要先谈谈节点，一个集群有多个节点，具体需要多少个节点合适，是另外一个问题，但是这个数字也会影响我们对Shard数的设置。 Shard数＝ Node数？总体上说，当我们节点数和Shard数相等时，ElasticSearch集群的性能可以达到最优。即，对于一个3节点集群，我们为每个集群节点分配一个Shard，总共3个Shard。但是由于ElasticSearch的不可变性（Immutable）的限制，系统无法对Shard进行重新拆分分配，除非重新索引这个文件集合。所以，当我们需要增加更多节点的时候，又希望Shard能利用到增加节点带来的系统性能提升时，我们就不得不进行重新索引，由于重索引开销巨大，这是我们不希望看到的。 StackExchange用ElasticSearch支持它的搜索，当前（2016-3-1日），它网站的ElasticSearch索引占用440GB。如果需要重新建立索引，将会是一个巨大的开销，为了支持未来可能的水平扩展，我们会为集群分配比node数更多的shard数，也就是说每个节点会有多个Shard。如果单个node分配多个shard，就会引入另外一系列的性能问题，我们知道对于任意一次完整的搜索，ElasticSearch会分别对每个shard进行查询，最后进行汇总。当节点数和shard数是一对一的时候，所有的查询可以并行运行。但是，对于具有多个shard的节点，如果磁盘是15000RPM或SSD，可能会相对较快，但是这也会存在等待响应的问题，所以通常不推荐一个节点超过2个shard。 3节点6shard，即每个节点2shard，这可以使我们在未来轻松的横向扩展到6个节点，应对许多极端的场景。 Replicas数呢？ Replica也是Shard，与shard不同的是，replica只会参与读操作，同时也能提高集群的可用性。对于Replica来说，它的主要作用就是提高集群错误恢复的能力，所以replica的数目与shard的数目以及node的数目相关，与shard不同的是，replica的数目可以在集群建立之后变更，切代价较小，所以相比shard的数目而言，没有那么重要。 Replica的故事（宕机） 3 node, 3 shard, 0 replica 一个节点宕机整个服务不可用 3 node, 3 shard, 1 replica (each) 一个节点宕机两个节点宕机服务仍然可用 3 node, 3 shard, 2 replica (each) 当存储费用较低时，可以考虑摘自：http://www.cnblogs.com/richaaaard/p/5231905.html 本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/bonelee/p/7454214.html，如需转载请自行联系原作者

2017-11-07

《Spark大数据处理：技术、应用与性能优化》——1.4 Spark分布式架构与单机多核架构的异同

1.4 Spark分布式架构与单机多核架构的异同我们通常所说的分布式系统主要指的是分布式软件系统，它是在通信网络互连的多处理机的架构上执行任务的软件系统，包括分布式操作系统、分布式程序设计语言、分布式文件系统和分布式数据库系统等

2017-07-02

5月18日云栖精选夜读：分布式大数据系统巧实现，全局数据调度管理不再难

本文从背景、分布式文件系统、容错机制、分布式节点距离计算法则、数据分布策略、分布式计算调度、跨IDC集群规划的两种方式、ODPS跨集群数据依赖等方面深度介绍了分布式大数据系统中全局数据调度和管理。

2017-05-17

基于hadoop2.7集群的Spark2.0，Sqoop1.4.6，Mahout0.12.2完全分布式安装

写在前边的话 hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客基本环境： CentOS 6.5，Hadoop 2.7，Java 1.7

2016-07-27

华为云GaussDB(for openGauss)：破解行业痛点，助力华为消费者云数据库分布式云化改造

华为云基于openGauss开源内核打造了GaussDB(for openGauss)分布式数据库，帮助华为消费者云完美解决了数据库在线弹性扩展、容灾备份、完备的关系型数据库特性、数据强一致等方面的难题

2022-01-05

SOFAStack 背后的实践和思考｜新一代分布式云 PaaS 平台，打造企业上云新体验

12 月 15 日，在以“引领分布式云变革，助力湾区数字经济”为主题的全球分布式云大会上，蚂蚁集团数字科技事业部产品总监马振雄分享了分布式云异构基础设施之上，蚂蚁集团在构建分布式云 PaaS 平台 SOFAStack

2021-12-23

SOFAStack背后的实践和思考：新一代分布式云PaaS平台，打造企业上云新体验

12月15日，在以“引领分布式云变革助力湾区数字经济”为主题的全球分布式云大会上，蚂蚁集团数字科技事业部产品总监马振雄分享了在分布式云异构基础设施之上，蚂蚁集团在构建分布式云PaaS平台SOFAStack

2021-12-20

安迈云出席Web3.0云响力峰会，与一线云厂商共话分布式计算未来

成立分布式智囊团，凝练各方共识（分布式智囊团成立）为推动分布式技术在各行各业中应用落地，由51CTO发起的分布式智囊团在会上成立，安迈云、浪潮信息、Datenlord等科技领军企业嘉宾代表，共同加入

2021-06-04

go-fastdfs 分布式文件系统 v1.4.2 发布，修复图片缩放过大服务出现退出问题

go-fastdfs 是一个基于 http 协议的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。

2021-05-14

一口气说出 9种分布式ID生成方式（架构师必修课）

一、为什么要用分布式ID？在说分布式ID的具体实现之前，我们来简单分析一下为什么用分布式ID？分布式ID应该满足哪些特征？ 1、什么是分布式ID？

2020-11-13

18、 Python快速开发分布式搜索引擎Scrapy精讲—Scrapy启动文件的配置—xpath表达式

【http://www.bdyss.cn】【http://www.swpan.cn】我们自定义一个main.py来作为启动文件 main.py #!/usr/bin/envpython #-*-coding:utf8-*- fromscrapy.cmdlineimportexecute#导入执行scrapy命令方法 importsys importos sys.path.append(os.path.join(os.getcwd()))#给Python解释器，添加模块新路径,将main.py文件所在目录添加到Python解释器 execute(['scrapy','crawl','pach','--nolog'])#执行scrapy命令爬虫文件 #-*-coding:utf-8-*- importscrapy fromscrapy.httpimportRequest importurllib.response fromlxmlimportetree importre classPachSpider(scrapy.Spider): name='pach' allowed_domains=['blog.jobbole.com'] start_urls=['http://blog.jobbole.com/all-posts/'] defparse(self,response): pass xpath表达式 1、 2、 3、基本使用 allowed_domains设置爬虫起始域名start_urls设置爬虫起始url地址parse(response)默认爬虫回调函数，response返回的是爬虫获取到的html信息对象，里面封装了一些关于htnl信息的方法和属性 responsehtml信息对象下的方法和属性response.url获取抓取的rulresponse.body获取网页内容response.body_as_unicode()获取网站内容unicode编码xpath()方法，用xpath表达式过滤节点extract()方法，获取过滤后的数据，返回列表 #-*-coding:utf-8-*- importscrapy classPachSpider(scrapy.Spider): name='pach' allowed_domains=['blog.jobbole.com'] start_urls=['http://blog.jobbole.com/all-posts/'] defparse(self,response): leir=response.xpath('//a[@class="archive-title"]/text()').extract()#获取指定标题 leir2=response.xpath('//a[@class="archive-title"]/@href').extract()#获取指定url print(response.url)#获取抓取的rul print(response.body)#获取网页内容 print(response.body_as_unicode())#获取网站内容unicode编码 foriinleir: print(i) foriinleir2: print(i) 【转载自：http://www.lqkweb.com】

2019-07-03

[python作业AI毕业设计博客]大数据Hadoop工具python教程１-HDFS Hadoop分布式文件系统

Hadoop分布式文件系统(HDFS:Hadoop Distributed File System)是基于Java的分布式文件系统分布式，可扩展和可移植的文件系统，旨在跨越大型商用服务器集群。

2019-01-27

SQLflow:基于python开发的分布式机器学习平台, 支持通过写sql的方式,运行spark, 机器学习算法, 爬虫

calculation, the Rest service development. 2019-01-22 更新界面,近期会规范一下代码,写一些注释并加入读写功能主页：结果页面：项目目标基于python开发的分布式机器学习平台

2019-01-03

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。