Hadoop 一二事(1) - 简单介绍与杂谈-低调大师

Hadoop 一二事(1) - 简单介绍与杂谈

2016-04-22 613

大数据大数据，身边很多朋友都在谈大数据，Big Data！！！

到底是什么，用来干嘛的，也很少有人说得出一二，那今天开始就简单说说这一二事吧

hadoop 的来源：是作者女儿的一个玩具 - 一只黄色的大象

发音 /hadu:p/

在Apache旗下作为一个开源项目

它不是云计算，却是云计算中的一部分，属于大数据这块

hadoop是一个开源的分布式计算系统

hadoop所解决的问题：

海量数据存储 - HDFS （分布式文件系统，分布在多台电脑上进行存储）可以理解为一个大型的网盘，例如百度网盘，115网盘，可以进行上传下载

海量数据分析 - MapReduce （分布式的计算模型）有多台机子进行数据的分析，例如原来工地有一个人搬砖，一次性搬100块砖头，后来分为100个人，每个人搬10块，同时会有老大工头监控这些小弟

hadoop擅长日志分析

现在的淘宝使用Stome来进行实时推荐

凌晨分析后的产生有用的数据，分为冷数据和热数据，冷数据存放在MyFox中（Mysql集群），热数据存放在Prom中（HBase集群）

实时流数据处理使用Storm，可以用于购买商品时实时推送推荐商品

Hive可以用于附近认识的人，朋友圈你可能认识的人，校内网（从网，或者说人人网）中的推荐认识的好友

现在hadoop已经出到了2，但是很多公司还是会基于1.0版本，因为稳定，也省去了迁移的风险

生态圈，各种掉渣天高大上（非常喜欢zookeeper）

hadoop的安装有2种

本地模式：使用eclipse进行调试，只有一个map，只有一个reduce

伪分布式：模拟多台机子，进行调试

集群模式：生产环境

微信关注我们

原文链接：https://yq.aliyun.com/articles/324917

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MapReduce编程实现学习

MapReduce主要包括两个阶段：一个是Map，一个是Reduce. 每一步都有key-value对作为输入和输出。 Map阶段的key-value对的格式是由输入的格式决定的，如果是默认的TextInputFormat,则每行作为一个记录进程处理，其中key为此行的开头相对文件的起始位置，value就是此行的字符文本。Map阶段的输出的key-value对的格式必须同reduce阶段的输入key-value对的格式相对应。下面开始尝试，假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/- Text文本样例： 0067011990999991950051507+0000+ 0043011990999991950051512+0022+ 0043011990999991950051518-0011+ 0043012650999991949032412+0111+ 0043012650999991949032418+0078+ 0067011990999...

2016-04-23

507

最近利用闲暇时间，又重新研读了一下Storm。认真对比了一下Hadoop，前者更擅长的是，实时流式数据处理，后者更擅长的是基于HDFS，通过MapReduce方式的离线数据分析计算。对于Hadoop，本身不擅长实时的数据分析处理。两者的共同点都是分布式的架构，而且，都类似有主/从关系的概念。本文中我就不具体阐述Strom集群和Zookeeper集群如何部署的问题，我想通过一个实际的案例切入，分析一下如何利用Storm，完成实时分析处理数据的。 Storm本身是Apache托管的开源的分布式实时计算系统，它的前身是Twitter Storm。在Storm问世以前，处理海量的实时数据信息，大部分是类似于使用消息队列，加上工作进程/线程的方式。这使得构建这类的应用程序，变得异常的复杂。很多的业务逻辑中，你不得不考虑消息的发送和接收，线程之间的并发控制等等问题。而其中的业务逻辑可能只是占据整个应用的一小部分，而且很难做到业务逻辑的解耦。但是Storm的出现改变了这种局面，它首先抽象出数据流Stream的抽象概念，一个Stream指的是tuples组成的无边界的序列。后面又继续提出Spouts、...

2016-04-23

536

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。