搜索[存储系统]结果-低调大师优秀个人博客

精选列表

搜索[存储系统]，共3052篇文章

Kudu，支持快速分析的新型Hadoop存储系统

Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一（incubating），专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。

2017-07-31

Alluxio 原名 tachyon。 Alluxio 是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，类似Spark和 MapReduce。通过利用lineage信息，积极地使用内存，Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在内存中处理缓存文件，并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件。特性：类 Java 的文件 API 兼容性：实现 Hadoop 文件系统接口可插入式的底层文件系统内建 Raw 原生表的支持基于 Web 的 UI 提供命令行接口 Alluxio 架构： https://yqfile.alicdn.com/b5b264f68bef39f3995683ccdb8a28f1a3a6a0e8.png " > 与 HDFS 的比较： Hadoop足够快吗？美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Alluxio。AMPLab从底层重建了Hadoop平台，“没有最快，只有更快”。 AMPLab在大数据领域最知名的产品是Spark，它是一个内存中并行处理的框架，Spark的创造者声称：使用Shark运行并行处理Job速度要比MapReduce快100倍。又因为Spark是在内存运行，所以Shark可与Druid或者SAP's HANA系统一较高下。Spark也为ClearStory下一代分析和可视化服务提供处理引擎。如果你喜欢用Hive作为Hadoop的数据仓库，那么你一定会喜欢Shark，因为它代表了“Hive on Spark”。 AMPLab的最新目标就是Hadoop分布式文件系统（HDFS），不过HDFS在可用性和速度方面一直受人诟病，所以AMPLab创建了Alluxio（在High Scalability上非常夺目，引起了Derrick Harris的注意）。当然，AMPLab并不是第一个对HDFS提出质疑的组织，同时也有很多商业版本可供选择，像Quantcast就自己开发了开源文件系统，声称其在运行大规模文件系统时速度更快、更高效。诚然，AMPLab所做的工作就是打破现有商业软件的瓶颈限制。如果碰巧破坏了现状，那么就顺其自然吧！不过，对于用户来说，AMPLab只是为那些寻找合适工具的人员提供了一种新的选择，AMPLab的合作伙伴和赞助商包括谷歌，Facebook，微软和亚马逊网络服务，它们当然非常乐意看到这些新技术，如果很有必要的话。 AMPLab的其他项目包括PIQL，类似于一种基于键/值存储的SQL查询语言；MLBase，基于分布式系统的机器学习系统；Akaros，一个多核和大型SMP系统的操作系统；Sparrow，一个低延迟计算集群调度系统。文章转载自开源中国社区 [http://www.oschina.net]

2017-06-04

WFS v1.0.7 发布，海量小文件存储系统

前言：wfs 是高性能海量小文件存储系统 ，支持Linux，Windows，Macos，FreeBSD，solaris 等系统，可以高效地进行文件存储和读取。

2024-09-29

wfs 海量小文件存储系统 v1.0.2 发布

前言：wfs 是高性能海量小文件存储系统 ，支持Linux，Windows，Macos，FreeBSD等系统，可以高效地进行文件存储和读取。

2024-03-14

百度搜索内容HTAP表格存储系统

原有架构底层存储系统普通采用百度自研表格存储（Table）来完成数据的读、写、存工作，此存储系统更偏向于OLTP业务场景。

2023-11-30

数据中台的存储系统和计算平台枚举

作者：向师富转自：阿里巴巴数据中台官网 https://dp.alibaba.com采集&传输层 SqoopHadoop、关系型数据库之间传输数据的工具。传输时，会启动多个MR作业并发的传输数据 DataX阿里巴巴开源的数据同步工具，用来在各种异构数据源之间同步数据。比如 RDBMS<->Hadoop/MaxCompute、RDBMS<->hbase/ftp等等。部署、运维非常简单，将DataX的jar包copy到linux系统中即可运行 Flume分布式的高可用的数据收集、聚集的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，结合Kafka的消息队列功能，实现实时日志处理、离线日志投递。典型的使用方案是：离线计算：应用系统日志 -> flume -> kafka ->

2019-10-22

Rook-Ceph 分布式存储系统快速部署

Rook-Ceph 分布式存储系统快速部署 This guide will walk you through the basic setup of a Ceph cluster and enable

2018-12-15

面向数据可靠性存储系统设计思想探讨

存储系统的设计门槛是比较高的，和计算系统存在的最大区别在于存储系统所承载的是数据，一旦系统出现故障，不仅业务的连续性得不到保障，更为重要的是用户数据将会造成丢失。

2017-11-12

CoreOS发起的友好兼容Kubernetes的存储系统：Torus

本文讲的是CoreOS发起的友好兼容Kubernetes的存储系统：Torus【编者的话】容器和微服务管理一直有一个最棘手的问题就是持久化存储，CoreOS最近发起了一个项目Torus，给Kubernetes

2017-10-10

大规模分布式存储系统原理与架构

概述分布式存储概念分布式存储系统是大量普通 PC 服务器通过 Internet 互联，对外作为一个整体提供存储服务。

2017-09-04

日立(HDS)发布中端存储系统AMS2000

此外，日立数据系统公司同时还宣布了针对其中端存储产品组合的其它更新，包括适用于 Hitachi USP VM 存储系统的安全与数据保护功能拓展。

2017-08-08

存储系统是时候该有个专用网络了

谈到IP网络和存储系统，想必大家首先想到的一定是博科和EMC，双方也一直保持着稳定的合作伙伴关系。

2017-08-08

tair 淘宝的分布式key/value存储系统

类redis，项目地址： http://tair.taobao.org/ 或 http://code.taobao.org/p/tair/wiki/index/ 。与redis类比，摘自互联网。 redis集群中，想借用缓存资源必须得指明redis服务器地址去要。这就增加了程序的维护复杂度。因为redis服务器很可能是需要频繁变动的。所以人家淘宝就想啊，为什么不能像操作分布式数据库或者hadoop那样。增加一个中央节点，让他去代理所有事情。所以人家就开发了这个tair。程序只要跟tair中心节点交互就OK了。

2016-09-03

纠删码技术在vivo存储系统的演进【上篇】

作者：vivo 互联网服务器团队- Gong Bing 本文将学术界和工业界的纠删码技术的核心研究成果进行了相应的梳理，然后针对公司线上存储系统的纠删码进行分析，结合互联网企业通用的IDC资源、服务器资源

2023-06-07

RocksDB 7.6.0 发布，Facebook 开发的 k-v 存储系统

RocksDB 7.6.0现已发布，RocksDB 是一个来自 Facebook 的可嵌入的支持持久化的 key-value 存储系统，也可作为 C/S 模式下的存储数据库，基于 LevelDB 构建。

2022-09-21

RocksDB 7.3.1 发布，Facebook 开发的 k-v 存储系统

RocksDB 7.3.1现已发布，RocksDB 是一个来自 Facebook 的可嵌入的支持持久化的 key-value 存储系统，也可作为 C/S 模式下的存储数据库，基于 LevelDB 构建。

2022-06-11

RocksDB 6.29.3 发布，Facebook 开发的 k-v 存储系统

RocksDB 6.29.3现已发布，RocksDB 是一个来自 Facebook 的可嵌入的支持持久化的 key-value 存储系统，也可作为 C/S 模式下的存储数据库，基于 LevelDB 构建

2022-02-20

分布式存储系统可靠性：系统量化估算

一、引言我们常常听到衡量分布式存储系统好坏的两个指标：可用性和可靠性指标。可用性指的是系统服务的可用性。

2021-08-02

DCache 分布式存储系统｜安装部署与应用创建

DCache DCache 是一个基于 TARS 框架开发的分布式 NoSQL 存储系统，数据采用内存存储，同时支持连接后端 DB 实现数据持久化，结合了 NoSQL 和 SQL 的优势，具备以下特点

2021-02-24

RocksDB 6.15.4 发布，Facebook 开发的 k-v 存储系统

RocksDB 是一个来自 Facebook 的可嵌入的支持持久化的 key-value 存储系统，也可作为 C/S 模式下的存储数据库。RocksDB 基于 LevelDB 构建。

2021-01-21

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。