三分钟了解华为云存储分布式技术-低调大师

三分钟了解华为云存储分布式技术

2017-11-27 763

一、存储方式比较

传统网络存储系统采用集中式存储服务器存放数据，存储服务器很容易成为系统性能瓶颈。不能满足大规模存储应用的需求。

分布式存储系统将数据分散存储在多台独立的设备上，采用可扩展的系统结构。利用多台存储服务器分担存储负荷。满足大规模存储需求的同时提供更高的读取速度。

二、分布式系统存储的原理

分布式系统的核心理念是让多台服务器协同工作，完成单台服务器无法处理的任务。尤其是高并发或者大数据量的任务。

三、分布式系统部署

分布式系统部署时，系统会首先将物理硬盘上的空间切分成小块。再将不同硬盘上的这些小块组合起来成为不同的分区。系统中相同冗余配比分区的集合组成了一个DHT环。

四、分布式系统的应用

写入数据时，分布式系统会将一个数据切分成固定大小的数据分片，如果是副本方式存储，系统会为每个分片生成多个副本。并将分片写入DHT环的一个分区。如果是数据分布式存储，系统将分片切分为条带，并根据冗余配比生成校验数据。然后将条带和校验数据一起写入DHT环的一个分区。

数据读取时，被访问的存储节点寻址到相应的分区读取数据，并聚合这些数据为完整的文件。返回给应用服务器。

五、分布式系统的扩展性

分布式系统强调横向可扩展性，即Scale-out。通过增加服务器数量来提升集群整体性能。系统扩展了新硬件，新增节点上的硬盘增加到现有分区。原有服务器上的数据迁移到新扩容节点上，实现数据自动均衡。同时，系统增加了并发访问的节点，容量和性能线性扩展。

六、分布式系统的异常处理

由于每个硬盘同时归属于多个分区，当硬盘或者节点损坏时，受损的数据会选择不同的节点和硬盘作为重构目标并发地执行重构。系统会自动重构已写入的数据。

华为存储将分布式架构应用于OceanStor 9000和FusionStorage两款产品。OceanStor 9000在分布式架构基础上实现了文件和对象在一套系统内同时存储。数据采用数据分布方式存储，元数据采用副本方式存储。FusionStorage在支持文件个对象同时存储的基础上进一步融合了分布式块。实现了文件、对象、块的融合存储。文件和对象数据采用数据分布式存储，元数据和块数据采用副本方式存储，

本文转自 ping9527 51CTO博客，原文链接：http://blog.51cto.com/babyhanggege/1916595，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/514063

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

实现数据库，中间件的一键部署|睿云智合Wise2C的容器技术展现

利用睿云智合(Wise2C)产品的持续交付功能为开发和测试团队规划和设计了持续集成和持续交付流水线，解决软件的快速开发和快速交付，为团险核心系统等业务应用提供了容器运行环境，解决基于常用数据库，中间件系统的容器化和构建应用目录，实现数据库，中间件的一键部署。由于Docker轻量并且快速，因此相对于基于Hypervisor的虚拟机的部署方式，Docker提供了一种更可行和划算的替代方案，这对于高密度部署环境尤其有用，例如在构建私有云或PaaS。当然，当你想在有限的资源里部署更多的应用时，Docker对于中小型的部署也非常有用。Docker容器的运行不需要额外的hypervisor支持，它是内核级的虚拟化，因此可以实现更高的性能和效率。过去，很多测试是人工完成的，一旦需求比较多，就造成排队的现象，滞缓迭代速度，测试用例的保存也是靠人工完成，一旦需要测试用例回归测试，有可能测试用例已丢失，又需要花时间去整理用例，协调测试数据。现在，通过要求开发人员提高自动化测试覆盖率并在平台上建立自动化测试流水线阶段，平台能够做到保存测试用例和脚本，以便测试用例回放，每次迭代将自动进行测试，并将测试结...

2017-11-28

608

在Github上创建项目仓库和创建其他Github项目一样，在Github创建一个仓库，然后在仓库里面增加一个dockerfile，然后提交并推送到Github上。我已经创建的仓库地址：https://github.com/liminjun/simple-dockerfile Dockerfile内容如下： #FROM - Image to start building on. FROM ubuntu:14.04 #MAINTAINER - Identifies the maintainer of the dockerfile. MAINTAINER liminjun2007@gmail.com #RUN - Runs a command in the container RUN echo "Hello World" > /root/hello_world.txt #CMD - Identifies the command that should be used by default when running the image as a container. CMD ["c...

2017-11-28

609

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。