A16Z 750万美元投资分布式文件系统 Tachyon
据 WSJ消息,Tachyon日前获得了硅谷风投 A16Z 750 万美元 A 轮投资。A16Z 的普通合伙人 Peter Levine 加入 Tachyon 董事会。 根据该项目官网的介绍,Tachyon 是一个以内存为中心的分布式文件系统,能够为集群框架(如 Spark、MapReduce)提供可靠的内存级速度的文件共享服务,具有类 Java 的文件 API、兼容 Hadoop MapReduce 和 Spark、底层文件系统可插拔等特性。 Tachyon 最初出现是为了解决如下问题: 大数据分析流水线中数据共享通过基于磁盘文件系统(HDFS等)性能比较缓慢; 大数据计算引擎的处理进程(Spark的Executor,MapReduce的Child JVM等)崩溃出错后,缓存的数据也会全部丢失; 基于内存的系统存储数据冗余,对象太多会导致Java GC时间过长。 Tachyon 整体架构如下图所示(移步了解 Tachyon), https://yqfile.alicdn.com/95fcdb8c77648e3033299cb5f6f9cf39aed7a101.png" > 据悉...


