盘点九种引人瞩目的开源大数据技术-低调大师

盘点九种引人瞩目的开源大数据技术

2017-09-27 523

本文讲的是盘点九种引人瞩目的开源大数据技术,越来越多的公司开始聚焦于大数据技术领域，而开源恰恰是大数据技术的灵魂。以下将为您介绍九大引人注目的开源大数据技术，请拭目以待：

1.Apache Hadoop

Apache hadoop是一个开源的分布式计算框架，最初由Doug为支持其开源Web搜索引擎Nutch所创立。通过集成MapReduce技术，Hadoop将大数据分布到多个数据节点上进行处理。Hadoop遵循Apache 2.0许可证，可以轻松处理结构化、半结构化和非结构化数据，一举成为现在非常流行的大数据解决方案，

2.R语言

R语言是一种开源编程语言，专门为数据统计和数据可视化而设计。R语言最初由Ross Ihaka和Robert Gentleman在奥克兰大学设计出来，之后迅速成为大数据领域的重要工具。R语言遵循GPL许可证。

3.Cascading

Cascading是一个针对Java开发人员的应用框架，可以快速、轻松地基于Apache Hadoop开发数据分析和数据管理应用。Cascading是Hadoop的抽象层，可以屏蔽MapReduce的复杂性，支持任何基于JVM的编程语言在Hadoop集群上执行数据处理任务。Cascading最初由Chris Wensel开发，用于作为MapReduce的替代API。Cascading遵循GNU许可证，一般用于广告定位、日志分析、Web数据挖掘和ETL应用。

4.Scribe

Scribe于2008年发布，是一个由Facebook开发的日志聚合服务器软件，用于实时从大量服务器汇集日志数据。Scribe遵循Apache 2许可证，扩展性极佳，每天可应对数百亿日志记录的挑战。

5.ElasticSearch

ElasticSearch是一款由Shay Banon开发，遵循Apache许可证的开源搜索服务器。ElasticSearch基于分布式计算，对于实时搜索可以提供很好的可扩展性解决方案。许多公司已经对ElasticSearch表示认可，比如StumbleUpon和Mozilla。

6.Apache HBase

Apache HBase是一个使用Java语言编写的、以谷歌BigTable技术为基础的开源非关系型列式分布数据库，可运行在HDFS文件系统之上。HBase提供了很好的存储容错能力和快速访问大量稀疏文件的能力。HBase遵循Apache 2许可证。

7.Apache Cassandra

Cassandra是由Facebook开发的另一个开源NoSQL数据库，遵循Apache 2许可证。由于对HBase的喜爱，Facebook开始逐渐放弃使用Cassandra，但许多公司，如Netflix依然使用Cassandra数据库为其后端流媒体服务提供动力。

8.MongoDB

MongoDB是一个基于分布式文件存储的数据库，由C++语言编写。旨在为Web应用提供可扩展的高性能数据存储解决方案。MongoDB是非常流行的JSON文档式NoSQL数据库，许多公司都非常认同MongoDB。MTV Networks、craigslist和迪斯尼互动传媒集团，纽约时报以及Etsy都是MongoDB的客户。MongoDB遵循GNU Affero通用许可证，语言驱动遵循Apache许可证，10gen公司提供商业化的MongoDB许可证。

9.Apache CouchDB

CouchDB也是一个流行的开源NoSQL数据库，它以文档方式（JSON）存储数据。CouchDB使用JavaScript语言作为查询语言，集成MapReduce技术。IBM Lotus Notes的开发人员Damien Katz在2005年构建了CouchDB，用于大规模对象的数据存储系统。CouchDB遵循Apache 2许可证，英国广播公司（BBC）使用CouchDB存储动态内容，瑞士瑞信银行（Credit Suisse）的商品部也采用了它。

作者： Thor Olavsrud

来源： IT168

原文标题：盘点九种引人瞩目的开源大数据技术

微信关注我们

原文链接：https://yq.aliyun.com/articles/221797

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

主要厂商在大数据领域的布局状况

本文讲的是主要厂商在大数据领域的布局状况,大数据所带来的商业机会被越来越多具有技术前瞻性的厂商所重视。商业利润的分布也有了很大变化，据市调机构测算：今年预计总价值50亿美元的大数据市场目前有44%的份额来自服务类产品，31%源于硬件销售，而软件支持则占去了另外25%。这导致传统的IT企业凭借多年的技术积累和客户资源在向大数据领域转型，这个市场也为具有独特解决方案或服务的新兴公司带来了超越前者的机会。像IBM、惠普、戴尔这样的传统硬件厂商，依靠在软、硬件这样的优势，逐渐向客户提供端到端的解决方案。除了加强自身的研发力度，更在大数据的潜在科技突破点上攻城略地，广泛的合作、兼并动作频频。2010年EMC通过收购Greenplum正式进入了数据仓库市场。并在次年推出了支持大数据分析的下一代EMC Greenplum统一分析平台;同年IBM收购了数据分析公司Netezza，开始拓展商业价值方面的市场;惠普对 Vertica进行收购;去年10月，甲骨文发布了新版NoSQL数据库企业版，这是运行于Hadoop 之上的大数据软件之一;微软宣布与Hortonwork公司建立新的合作伙伴关系，后者致力于...

2017-09-28

435

本文讲的是大数据时代：0和1生活里的那些事,大数据所带来的商业机会被越来越多具有技术前瞻性的厂商所重视。商业利润的分布也有了很大变化，据市调机构测算：今年预计总价值50亿美元的大数据市场目前有44%的份额来自服务类产品，31%源于硬件销售，而软件支持则占去了另外25%。这导致传统的IT企业凭借多年的技术积累和客户资源在向大数据领域转型，这个市场也为具有独特解决方案或服务的新兴公司带来了超越前者的机会。像IBM、惠普、戴尔这样的传统硬件厂商，依靠在软、硬件这样的优势，逐渐向客户提供端到端的解决方案。除了加强自身的研发力度，更在大数据的潜在科技突破点上攻城略地，广泛的合作、兼并动作频频。2010年EMC通过收购Greenplum正式进入了数据仓库市场。并在次年推出了支持大数据分析的下一代EMC Greenplum统一分析平台;同年IBM收购了数据分析公司Netezza，开始拓展商业价值方面的市场;惠普对 Vertica进行收购;去年10月，甲骨文发布了新版NoSQL数据库企业版，这是运行于Hadoop 之上的大数据软件之一;微软宣布与Hortonwork公司建立新的合作伙伴关系，后者致力...

2017-09-28

574

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。