敢说 Apache Ignite 比 Tachyon 好？删帖！-低调大师

敢说 Apache Ignite 比 Tachyon 好？删帖！

2017-06-04 757

编者说：本文的原作者在网上发表了 Apache Ignite 与 Tachyon 优劣的言论后，竟然发现帖子被无情的删除了，于是他贴出了与 Google 团队成员交流的邮件，顺便写下了下面的文章以表达愤懑之情。关于被删帖一事可点击此处查看。

在我发布 Apache Ignite （孵化中）和 Tachyon 缓存项目之间差异说明之后，竟然发现文章被删除了。同时，我收到一份来自 Google 团队一名叫 tachyon-user 的私人邮件，上面解释了为什么文章“会被当做营销信息”而删除。

看来所有带有轻微批评 Tachyon 项目的信息都会被当做“营销信息”并且以真正“自由和开放“的名义删除掉！这个社区好像哪里搞错了。所以，我决定贴上曾经被他们退回的原始邮件。

你们自己判断：

From：kboudnik@gmail.com

Date：Fri，Apr 10，2015 at 11 : 46 PM

Subject：RE：Apache Ignite vs Tachyon

To：tachyon-user@googlegroups.com

实际上，你只是部分正确。

Apache Ignite 是一个发展成熟的内存计算（IMC）平台（又名数据结构）。 “支持 Hadoop 生态系统”只是结构的一个组成部分。它包括两个部分：-文件系统缓存：让 HDFS IO 性能显著提升的完全透明的缓存。从某种程度上说，这个和Tachyon 所要实现的功能相似。不像 Tacyon，Apache Ignite 缓存数据是更大的数据结构的一个组成部分，可以被任何 Ignite 服务使用。

MR 加速器可以在 Ignite 内存引擎上运行“经典”的 MR 任务。基本上，Ignite MR （大量 SQL 列表和其他计算组件）是一个将数据储存在集群内存的方式。我会说 Ignite MT 比 Hadoop MR 快30倍（也就是 3000%）吗？顺便说下，它还不需要改变代码。

当你说“Tachyon...支持本地大数据堆栈”的时候，你应该要明白，Ignite Hadoop 加速也是支持本地化的：你可以在 IgniteFS 顶层运行 MR，Hive，HBase，Spark 等等，而且不需要改变任何事情。

顺便截取一段给你看看：在 Ignite 系统文件缓存是“数据结构”范例的一部分，就像服务、高级集群、分布式消息、ACID 实时交易一样。加 HDFS 和 MR 加速层是很直接的，因为它们建立于高级的 Ignite 核心，而此核心已经实际运行了5年以上。不过，当你开始使用如 Tachyon 这样的内存文件系统，你会发现他很难实现相同企业级的计算。没有任何抨击，就像刚才说的。

我建议你去看看 ignite.incubator.apache.org：读下文档，试着使用1.0版本的 Ignite ，下载：https://dist.apache.org/repos/dist/release/incubator/ignite/1.0.0/（安装很容易），然后加入我们的 Apache 社区。如果你有兴趣通过 Ignite 使用 Hadoop， Apache Bigtop 会给你一整套软件，包括无缝的集群部署，它能让你在几分钟之内开启全功能集群。

再透露下：我是 Apache 孵化器 Ignite 项目的导师。

Best regards,

Konstantin Boudnik

On Thursday, April 9, 2015 at 7:39:00 PM UTC-7, Pengfei Xuan wrote:

我所理解的, Apache Ignite (GridGain) 从传统的成长

Posted by Cos at 18:51

Source：drcos.boudnik.org
文章转载自开源中国社区 [http://www.oschina.net]

微信关注我们

原文链接：https://yq.aliyun.com/articles/112003

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Fregata 机器学习算法库开源：快速，无需调参

一. 大规模机器学习的挑战随着互联网，移动互联网的兴起，可以获取的数据变得越来越多，也越来越丰富。数据资源的丰富，给机器学习带来了越来越多，越来越大创造价值的机会。机器学习在计算广告，推荐系统这些价值上千亿美元的应用中起到的作用越来越大，创造的价值也越来越大。但是越来越大的数据规模也给机器学习带来了很多挑战。最大的挑战就是庞大的数据量使得对计算资源的需求也急剧增长。首先经典的机器学习算法其计算量基本上都是与训练数据条数或者特征数量呈二次方甚至是三次方关系的[1]。即是说数据量或者特征数每翻一倍，则计算量就要增加到原来的四倍，甚至是八倍。这样的计算量增长是十分可怕的，即使是采用可扩展的计算机集群一难以满足这样的计算量增长。好在对于很多依赖于凸优化方法的算法，可以采用随机梯度下降方法，将计算量的增长降到基本与数据量和特征数呈线性关系。但是，大规模机器学习在计算上依然有三个比较大的困难。第一，因为几乎所有的机器学习算法都需要多次扫描数据，对于大规模数据无论在什么平台上，如果不能全部存储在内存中，就需要反复从磁盘存储系统中读取数据，带来巨大的IO开销。在很多情况下，IO开销占到整个训练...

2017-06-05

606

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。