您现在的位置是：首页 > 文章详情

Hadoop 一二事(1) - 简单介绍与杂谈

日期：2016-04-22点击：417收藏

大数据大数据，身边很多朋友都在谈大数据，Big Data！！！

到底是什么，用来干嘛的，也很少有人说得出一二，那今天开始就简单说说这一二事吧

hadoop 的来源：是作者女儿的一个玩具 - 一只黄色的大象

发音 /hadu:p/

在Apache旗下作为一个开源项目

它不是云计算，却是云计算中的一部分，属于大数据这块

hadoop是一个开源的分布式计算系统

hadoop所解决的问题：

海量数据存储 - HDFS （分布式文件系统，分布在多台电脑上进行存储）可以理解为一个大型的网盘，例如百度网盘，115网盘，可以进行上传下载

海量数据分析 - MapReduce （分布式的计算模型）有多台机子进行数据的分析，例如原来工地有一个人搬砖，一次性搬100块砖头，后来分为100个人，每个人搬10块，同时会有老大工头监控这些小弟

hadoop擅长日志分析

现在的淘宝使用Stome来进行实时推荐

凌晨分析后的产生有用的数据，分为冷数据和热数据，冷数据存放在MyFox中（Mysql集群），热数据存放在Prom中（HBase集群）

实时流数据处理使用Storm，可以用于购买商品时实时推送推荐商品

Hive可以用于附近认识的人，朋友圈你可能认识的人，校内网（从网，或者说人人网）中的推荐认识的好友

现在hadoop已经出到了2，但是很多公司还是会基于1.0版本，因为稳定，也省去了迁移的风险

生态圈，各种掉渣天高大上（非常喜欢zookeeper）

hadoop的安装有2种

本地模式：使用eclipse进行调试，只有一个map，只有一个reduce

伪分布式：模拟多台机子，进行调试

集群模式：生产环境

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

Java分享