推荐开源软件 —— Tachyon 分布式存储系统
Alluxio 原名 tachyon。 Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在内存中处理缓存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件。 特性: 类 Java 的文件 API 兼容性:实现 Hadoop 文件系统接口 可插入式的底层文件系统 内建 Raw 原生表的支持 基于 Web 的 UI 提供命令行接口 Alluxio 架构: https://yqfile.alicdn.com/b5b264f68bef39f3995683ccdb8a28f1a3a6a0e8.png " > 与 HDFS 的比较: Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Alluxio。AMPLab从底层重建了Hadoop平台,“没有最快,只有更快”。 AMPLab在大数据领域最知名的产品是Spark,它是...

