大数据云计算等搜集的资料-低调大师

大数据云计算等搜集的资料

2015-09-10 766

云计算和大数据

http://www.cstor.cn/textdetail_6067.html

http://wenku.baidu.com/link?url=kscWHrJRhI2PdBscQvBmTJTcNcUQpNIk8xFXlkNKWnnTtRLmYPPLBAV4Gp5CmP-H1bQcrCIoxkdSP3XnC3xkDoGWDFyy1R9gJkD9EuyF47q

大数据和云计算两者的区别

http://www.csdn.net/article/2015-09-11/2825674 盘点大数据生态圈，那些繁花似锦的开源项目

云存储技术

开源的分布式文件存诸系统有GlusterFS、Hadoop 、FastDFS 等等非常多

Tachyon http://www.csdn.net/article/2015-06-25/2825056

Ceph与Swift
Ceph用C++编写而Swift用Python编写，性能上应当是Ceph占优。但是与Ceph不同，Swift专注于对象存储，作为OpenStack组件之一经过大量生产实践的验证，与OpenStack结合很好，目前不少人使用Ceph为OpenStack提供块存储，但仍旧使用Swift提供对象存储。
Swift的开发者曾写过文章对比Ceph和Swift: Ceph and Swift: Why we are not fighting.
Ceph与HDFS
Ceph对比HDFS优势在于易扩展，无单点。HDFS是专门为Hadoop这样的云计算而生，在离线批量处理大数据上有先天的优势，而Ceph是一个通用的实时存储系统。虽然Hadoop可以利用Ceph作为存储后端（根据Ceph官方的教程死活整合不了，自己写了个简洁的步骤Running-Hadoop-on-CEPH），但执行计算任务上性能还是略逊于HDFS（时间上慢30%左右 Haceph: Scalable Meta- data Management for Hadoop using Ceph）。

http://www.chinaz.com/program/2015/0504/403143.shtml 历经十年：关于Ceph现状与未来的一些思考

http://www.oschina.net/project/tag/104/storage 不同类别的存储系统开源项目

Hadoop生态系统

http://blog.csdn.net/woshiwanxin102213/article/details/19688393

Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。

Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。

下图为hadoop的生态系统：

Spark / Storm

http://www.zhihu.com/question/26568496

http://developer.51cto.com/art/201412/460116.htm

Spark基于这样的理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。所以这是把过程传递给数据。这和Hadoop map/reduce非常相似，除了积极使用内存来避免I/O操作，以使得迭代算法（前一步计算输出是下一步计算的输入）性能更高。Shark只是一个基于Spark的查询引擎（支持ad-hoc临时性的分析查询）

而Storm的架构和Spark截然相反。Storm是一个分布式流计算引擎。每个节点实现一个基本的计算过程，而数据项在互相连接的网络节点中流进流出。和Spark相反，这个是把数据传递给过程。

两个框架都用于处理大量数据的并行计算。

Storm在动态处理大量生成的“小数据块”上要更好（比如在Twitter数据流上实时计算一些汇聚功能或分析）。

Spark工作于现有的数据全集（如Hadoop数据）已经被导入Spark集群，Spark基于in-memory管理可以进行快讯扫描，并最小化迭代算法的全局I/O操作。

http://blog.csdn.net/hguisu/article/details/8454368 使用Storm实现实时大数据分析

大数据的生态系统

http://www.csdn.net/article/2012-12-21/2813066-database-road-map 一张图让你知道大数据的生态系统

http://www.aboutyun.com/thread-11944-1-1.html 开源大数据（hadoop生态系统、流式处理系统等）处理工具汇总

开源云

http://www.oschina.net/news/54700/most-popular-opensource-cloud-projects 2014 上半年最受欢迎的开源云项目集合

http://www.chinacloud.cn/show.aspx?id=19743&cid=22 盘点Linux下的开源云平台

OpenStack Docker KVM

实时数据流处理

http://www.csdn.net/article/2014-06-12/2820196-Storm 实时计算，流数据处理系统简介与简单分析

http://www.csdn.net/article/2014-12-09/2823038 在云上搭建大规模实时数据流处理系统

http://tech.it168.com/a2014/0730/1651/000001651470_all.shtml LinkedIn大数据专家深度解读日志的意义

Appendix

http://storm.apache.org/

http://spark.apache.org/

http://hadoop.apache.org/

https://en.wikipedia.org/wiki/NoSQL

http://docs.openstack.org/developer/swift/

http://wiki.apache.org/hadoop/HDFS

http://ceph.com/

微信关注我们

原文链接：https://yq.aliyun.com/articles/294645

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【docker】正式开始容器之旅

前言最近由于项目原因开始接触阿里的百川计划，服务内部的环境TAE采用的就是Docker为基础做的,正好有机会去学习下容器，把运维水平推向更高的境界。解决的问题 Docker解决的问题，实际上就是环境搭建虚拟化的问题。对于小的公司来讲，并不会去做saas和paas这种，同时又缺乏专门的运维人员，所以在运维层面比较薄弱。当大部分的运维工作都交给了云服务，比如阿里云提供的云服务器，那么，剩下的就是服务器的运行环境配置工作，当服务器的数量越来越多的时候，这项工作变得复杂，这时候，Docker这种把环境打包的工具就变得十分有效。 Docker Hub更是github一般的存在，给力。相关资料 -Docker官网https://www.docker.com/ - Docker中文资料 http://www.docker.org.cn/book/docker.html - Docker Hub https://hub.docker.com/ - Docker 从入门到实践http://dockerpool.com/static/books/docker_practice/introduct...

2015-09-08

691

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/48463397 （0）一些准备操作： Centos安装好之后（这里使用的是vm虚拟机）将当前用户添加到sudoers中： su root vim /etc/sudoers 找到 root ALL=(ALL) ALL 在之后添加一行 ${user} ALL=(ALL) ALL 保存切换用户即可本地ssh免密码登陆Centos虚拟机本地系统为Mac，使用自带的终端工具ssh连接虚拟机 ssh ${user}@${ip} 会要求输入密码使用scp复制本地的rsa公钥到虚拟机中 scp ~/.ssh/id_rsa.pub ${user}@${ip}:/home/${user}/.ssh 进入虚拟机中的.ssh目录 cat id_rsa.pub >> authorized_keys 修改authorized_keys文件的权限 chmod 600 authorized_keys 没有修改权限的话可能没办法成功之后即可直...

2015-09-14

642

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。