Hadoop专业解决方案之构建Hadoop企业级应用-低调大师

Hadoop专业解决方案之构建Hadoop企业级应用

2013-11-22 703

一、大数据的挑战

　　大数据面对挑战是你必须重新思考构建数据分析应用的方式。传统方式的应用构建是基于数据存储在不支持大数据处理的基础之上。这主要是因为一下原因：

　　1.传统应用的基础设施是基于传统数据库访问模式设计的，它不支持Hadoop；

　　2.数据存储在Hadoop之上，实时访问集群中部分数据是可行的；

　　3.Hadoop大数据存储能力使得你可以存储数据集的多个版本，来挑战传统覆写数据方式。

二、大数据应用系统架构

三、架构说明

1.数据源层：DataSource数据的收集可以基于Flume或者Sqoop进行；

2.数据仓库层：需要区分结构化数据和非结构化数据存储，同时需要考虑过程数据的存储问题；

3.业务层：针对数据处理层OOzie可以做为工作流调度的工具，Map/Reduce任务可以作为任务执行的单元；

4.实时查询：必须加访问限制和条件过滤；

。。。未完待续。。。

《Hadoop专业解决方案》同步更新中，请关注Hadoop高级培训交流群：293503507

作者：张子良
出处：http://www.cnblogs.com/hadoopdev
本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

微信关注我们

原文链接：https://yq.aliyun.com/articles/438587

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Wrox.Professional.Hadoop.Solutions》中文目录全稿

前言：最近有朋友给推荐一本书，英文原版《Wrox.Professional.Hadoop.Solutions》，感觉很好打算翻译成中文，共享给朋友，时间关系，不知能否成行，先干着吧。以下部分是本书的目录，算是一个开始，至于何时能够成稿，且干着吧，毕竟最近不是一般的忙。关于中文名称，英文直译《专业的Hadoop解决方案》，个人更倾向于使用《Hadoop专业解决方案》至于选择哪个最终还没有确定，也想听一听大家的意见。敬请留言。图书大纲：中文部分： chapter1：大数据和Hadoop生态圈 1.1当大数据遇到Hadoop 1.2Hadoop生态圈 1.3Hadoop核心组件 1.4Hadoop版本分发 1.5 基于Hadoop开发企业级应用 chapter2：数据存储之Hadoop 2.1 HDFS2.2 HBase2.3 HDFS和HBase相结合，进行实际数据存储2.4 使用Apache Avro2.5 使用HCatalog管理元数据2.6 Hadoop数据组织模式设计 chapter3：数据计算之MapReduce 3.1 认识MapReduce 3.2 第一个MapRedu...

2013-11-18

779

hbase HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop 项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 hadoop家族 hadoop家族成员： Hadoop Common Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。 Avro Avro是doug cutting主持的RPC项目，有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC，使hadoop的RPC模块通信速度更快、数据结构更紧凑。 Chukwa Chukwa是基于Hadoop的大集群监控系统，由yahoo贡献。 H...

2013-11-23

794

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。