Google 开源 C/C++ 版 MapReduce 框架-低调大师

Google 开源 C/C++ 版 MapReduce 框架

2017-06-05 779

据GigaOM消息，Google上周宣布，将自己用C++开发的MapReduce框架MapReduce for C（MR4C）开源，此举可给Hadoop社区带来福音，因为这样用户就可以在自己的Hadoop环境中运行原生的C及C++代码了。

Hadoop是许多大数据应用的基础，它是由Apache基金会所开发的分布式系统基础架构，主要由分布式文件系统HDFS和计算框架 MapReduce组成。由于原先的MapReduce是用Java编写的，与C++相比，在性能上要略逊一筹。因此，许多处理大规模数据集的软件公司都开发了自己的专有系统来在MapReduce框架之内执行其原生代码。Facebook的HipHop（将PHP转换为C++）以及MemSQL执行前将 SQL转为C++代码也都是出于同样的性能考虑。

MR4C原先由卫星影像公司Skybox Imaging开发，目的是为了优化其地理空间数据及计算机视觉代码库。MR4C围绕着几个简单概念开发而成，其目标是将MapReduce的重要细节抽象化，允许用户专注于开发有价值的算法。去年6月，Google收购了Skybox。半年之后的现在，又将MR4C开源出来。这对于没有能力开发专有系统或者对Java不感冒的开发者来说无疑是一个福音。

当然，MR4C的受欢迎程度仍有待观察。因为在数据处理方面，Apache Spark是一个速度比Mapreduce更快的框架，它支持Scala、Python和Java（但不支持C/C++），已经引起了开发社区极大的兴趣。

文章转载自开源中国社区 [http://www.oschina.net]

微信关注我们

原文链接：https://yq.aliyun.com/articles/114106

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

深入浅出 spring-data-elasticsearch 之 ElasticSearch 架构初探（一）

本文目录一、Elasticsearch 基本术语 1.1 文档（Document）、索引（Index）、类型（Type）文档三要素 1.2 集群（Cluster）、节点（Node）、分片（Shard）分布式三要素二、Elasticsearch 工作原理 2.1 文档存储的路由 2.2 如何健康检查 2.3 如何水平扩容三、小结推荐：Spring For All 社区 http://spring4all.com 一、Elasticsearch 基本术语 1.1 文档（Document）、索引（Index）、类型（Type）文档三要素文档（Document）文档，在面向对象观念就是一个对象。在 ES 里面，是一个大 JSON 对象，是指定了唯一 ID 的最底层或者根对象。文档的位置由 _index、_type 和 _id 唯一标识。索引（Index）索引，用于区分文档成组，即分到一组的文档集合。索引，用于存储文档和使文档可被搜索。比如项目存索引 project 里面，交易存索引sales 等。类型（Type）类型，用于区分索引中的文档，即在索引中对数据逻辑分区。比如索引...

2017-06-06

527

近日，Intel 开源了 BigDL，这是一个基于 Apache Spark 的分布式深度学习库。使用 BigDL ，用户可以将他们的深度学习应用程序作为标准的 Spark 程序，它可以直接运行在现有的 Spark 或 Hadoop 集群之上。特性：丰富的深度学习支持。BigDL 模仿 Torch，提供对深度学习的全方位支持，包括数值计算（通过Tensor）和高层次神经网络。此外，用户可以使用 BigDL 将预训练的 Caffe 或 Torch 模型加载到 Spark 程序中。极其高的性能。为了达到高性能，BigDL 在每个 Spark 任务中使用 Intel MKL和多线程编程。因此，它比单节点 Xeon 上的开箱即用的 Caffe、Torch 或 TensorFlow 快几个数量级。有效地横向扩展。 BigDL 可以通过利用 Apache Spark 以及高效实施同步 SGD，全面减少 Spark 上的通信，有效地向外扩展，以“大数据规模”执行数据分析。使用场景：你想要在在大数据云（Hadoop/Spark）分析（存储在如 HDFS、HBase、Hive上的）海量数据...

2017-06-06

533

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。