主流开源云系统PK-低调大师

主流开源云系统PK

2017-11-06 723

Eucalyptus云技术专题（专题二）

Amazon云计算开源实现之Eucalyptus —— 主流开源云系统PK

随着云计算的发展，开源云系统也层出不穷。其中，有对商业云计算系统的模仿实现，如Eucalyptus来源于Amazon的EC2和S3的模仿，Hadoop来源于Google商业云模仿，也有根据特定需要设计与开发的云计算系统，如Nimbus是面向科学计算的开源云，Sector and Sphere是面向密集型数据应用的开源云。还有面向存储的Cassandra、VoltDB、MongoDB等等，可谓是百花争艳，各领风骚。

Eucalyptus

Logo来自于官网

Eucalyptus来源于Amazon EC2的开源实现，并有类似Amazon S3存储系统的Walrus。Eucalyptus采用模块化设计，其组件可以替换和升级，允许云计算爱好者对云计算系统的安全性、扩展性、资源调度、接口实现等进行测试，为进行云计算研究提供了一个不错的平台，目前，Eucalyptus除有开源版本外，还拥有了功能更为完善的商业版。目前最新版本为 Eucalyptus 3.2.2 。

Hadoop

Logo来自于官网

Hadoop来源于Google的商业云开源实现，Hadoop主要组件都可以在Google云计算平台中找到对应的组件，如Hadoop的HDFS、MapReduce、HBase分别对应Google云的GFS、MapReduce、Bigtable。Hadoop是一个分布式基础架构，由Apache基金会开发，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统，简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。

Nimbus

Logo来自于官网

Nimbus这个开源系统主要用做科学实验，由网格中间件Globus开发和更新。结构相对复杂，但具有较强定制性，可以根据需要选择组件组合。

Sector and Sphere

Logo是作者自己设计

这个开源云系统是由几个中国人设计出来的，主要用做数据密集型的应用，Sector部署在广域网分布式储存上，Sphere是建立在Sector上的计算服务，相对于Hadoop等平台，Sector and Sphere 能够提供更高速与安全数据传输，适用于极高速与大型数据集。

主流开源云系统比较

	Hadoop	Eucalyptus	Nimbus	Sector and Sphere
参照商业云	Google	Amazon	无	无
服务类型	PaaS	IaaS	IaaS	PaaS
服务间关联度	服务捆绑在一起，耦合度高	可选服务组合，耦合度低	可选服务组合，耦合度低	服务捆绑在一起，耦合度高
支持编程语言	Java	多种	多种	C++
使用限制	较多	最少	较少	较多
支持功能	最多	较多	较多	较少
可定制性	较弱	较弱	较强	较弱
可扩展性	自动扩充所需资源并进行负载	需手动或通过编程自动增加所需VM数量	需手动或通过编程自动增加所需VM数量	自动扩充所需资源并进行负载
特色	实现了Google云计算关键功能，得到广泛应用	支持多种AWS客户端接口，可替换和升级的模块化设计	可选组件组合，适用于科学计算	更高速和安全数据传略，支持密集型应用

主流开源云系统核心服务比较

	Hadoop	Eucalyptus	Nimbus	Sector and Sphere
计算服务	基于MapReduce的计算任务	支持用户程序的计算环境	支持用户程序的计算环境	提供分布计算的Sphere
存储服务	提供分块存储HDFS	提供分布式存储的Walrus	提供分布式存储的Cumlus	提供分布式存储的Sector
数据库服务	提供分布式数据库HBase	用户运行的数据库软件	用户运行的数据库软件	无

本专题主要参考文献：

1. 云计算第二版［刘鹏主编］

2. http://www.eucalyptus.com/eucalyptus-cloud/iaas

3. http://hadoop.apache.org/

4. http://www.cnblogs.com/xia520pi/category/346943.html

5. http://www.nimbusproject.org/

6. http://blog.csdn.net/liwenjia1981/article/details/5662306

7. http://networking.ctocio.com.cn/tips/333/9378833_1.shtml

本文转自清风拂面 51CTO博客，原文链接:http://blog.51cto.com/crazy123/1174569

微信关注我们

原文链接：https://yq.aliyun.com/articles/449883

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

yarn划分队列示例

修改Yarn服务的配置，修改Capacity Scheduler配置项如下：修改部分： yarn.scheduler.capacity.root.default.capacity=60 yarn.scheduler.capacity.root.default.maximum-capacity=60 yarn.scheduler.capacity.root.queues=default,dev 新增部分： yarn.scheduler.capacity.root.dev.capacity=40 yarn.scheduler.capacity.root.dev.maximum-capacity=40 yarn.scheduler.capacity.root.dev.state=RUNNING yarn.scheduler.capacity.queue-mappings=u:etl:dev,u:ETL:dev,u:gotop:dev,u:hive:default,g:hadoop:dev,g:hdfs:dev yarn.scheduler.capacity.queue-mappings-o...

2017-11-07

631

Logstash之Logstash inputs（file和redis插件）、Logstash outputs（elasticsearch ...

Logstash啊，根据input来监控数据，根据output来使用数据！！！手把手带你看官方文档（Logstash inputs和Logstash outputs） https://www.elastic.co/guide/index.html https://www.elastic.co/guide/en/logstash/index.html https://www.elastic.co/guide/en/logstash/2.4/index.html 关于Logstash inputs、Logstash outputs和Filter plugins，很多很多，自行去官网看，我这里不多赘述。仅仅拿下面来示范： Logstash的input file input 最常用的input插件是file。 https://www.elastic.co/guide/en/logstash/2.4/plugins-inputs-file.html [hadoop@HadoopMaster logstash-2.4.1]$ pwd /hom...

2017-11-07

607

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。