《Hadoop实战第2版》——1.6节Hadoop数据管理-低调大师

《Hadoop实战第2版》——1.6节Hadoop数据管理

2017-07-31 524

1.6　Hadoop数据管理
前面重点介绍了Hadoop及其体系结构与计算模型MapReduce，现在开始介绍Hadoop的数据管理，主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive。

1.6.1　HDFS的数据管理
HDFS是分布式计算的存储基石，Hadoop分布式文件系统和其他分布式文件系统有很多类似的特性：
对于整个集群有单一的命名空间；
具有数据一致性，都适合一次写入多次读取的模型，客户端在文件没有被成功创建之前是无法看到文件存在的；
文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且会根据配置由复制文件块来保证数据的安全性。
通过前面的介绍和图1-3可以看出，HDFS通过三个重要的角色来进行文件系统的管理：NameNode、DataNode和Client。NameNode可

微信关注我们

原文链接：https://yq.aliyun.com/articles/173945

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop实战第2版》——1.5节Hadoop计算模型—MapReduce

1.5　Hadoop计算模型—MapReduceMapReduce是Google公司的核心计算模型，它将运行于大规模集群上的复杂的并行计算过程高度地抽象为两个函数：Map和Reduce。Hadoop是Doug Cutting受到Google发表的关于MapReduce的论文启发而开发出来的。Hadoop中的MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千台商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集，实现了Hadoop在集群上的数据和任务的并行计算与处理。一个Map/Reduce作业（Job）通常会把输入的数据集切分为若干独立的数据块，由Map任务（Task）以完全并行的方式处理它们。框架会先对Map的输出进行排序，然后把结果输入给Reduce任务。通常作业的输入和输出

2017-08-01

566

通过部署和使用大数据分析工具，分析流程可以帮助公司提高运营效率，产生新的利润，获得竞争优势。企业可选择的数据分析应用程序有很多。比如描述性分析善于描述已发生的事情，揭示因果关系。描述性分析主要输出查询、报表和历史数据可视化。另外，更复杂的预测模型和规范模型可以帮助企业获得商机，做出影响市场战略，提升客户体验，避免设备故障的决定。在预测分析中，历史数据集有了预测分析，历史数据集可用于分析未来的状况和行为，规范分析承接预测分析，建议决策者采取某种行为。在很多情况下，先进的分析程序由于处理和数据存储的需求过高，限制了它的发展，但这些缺点也不是不可克服的。大数据平台和大数据分析工具的流行，让预测分析和规范分析也能通过扩展，处理来自广泛数据源的大量数据集。大数据分析意味着什么？本质上，大数据分析工具是能够支持运行在大数据计算平台上的预测分析应用程序和规范分析应用程序的软件产品。一般我们所说的都是基于商业服务器集群，可扩展的分布式存储和技术的并行处理系统，比如Hadoop和NoSQL数据库。这些工具可以帮助用户快速分析大规模数据，有时能做到实时分析。另外，大数据分析工具提供了使用数...

2017-08-01

508

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。