《深入理解Hadoop（原书第2版）》——1.5我们能处理多大的数据量-低调大师

《深入理解Hadoop（原书第2版）》——1.5我们能处理多大的数据量

2017-05-01 570

本节书摘来自华章计算机《深入理解Hadoop（原书第2版）》一书中的第1章，第1.5节，作者 [美]萨米尔·瓦德卡（Sameer Wadkar），马杜·西德林埃（Madhu Siddalingaiah），杰森·文纳（Jason Venner），译于博，冯傲风，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.5我们能处理多大的数据量

本章前述例子中，我们作了若干假设。比如，我们忽略了CPU时间。对于大多数的商业程序来说，计算的复杂性并不大。但是，随着计算量的提高，从实现的角度来看，各种情况的资源消耗都要考虑。举个例子，在数据挖掘中，会用到复杂的贝叶斯统计算法。这样的情况是计算密集型的应用。针对这样的问题，我们可以增加集群节点数量来提高性能，或者选用其他算法替代。

类似MapReduce这样的大数据计算编程范型可以被扩展到其他

微信关注我们

原文链接：https://yq.aliyun.com/articles/109080

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

海量存储系列之十一

上一期我们主要在介绍hash相关的切分方式，那么这次我们来看一下有序结构的切分有序结构的拆分，目前主要就是使用树或类似树的结构进行拆分，这里主要就是指HBase和MongoDB. 使用树结构切分，带来的好处就如hbase和mongoDB的宣传标语一样，可以无缝的实现自由扩展。但反过来，带来的问题其实也不少，下面我们一起来看一看吧。首先复习B树知识 http://qing.weibo.com/1765738567/693f0847330008ii.html 在B树中，最关键的处理逻辑是如果单个节点数据满的时候，应该进行节点分裂和节点合并。那么，其实在HBase中也有类似这样的过程。对于巨大量的数据来说，整个树的Branch节点都有可能超过单机的内存大小上限，甚至超过单机的硬盘大小上限。这时候就需要把BTree进行拆分，这种拆分的最标准实现映射，就是HBase. (图片版权方在： http://blog.csdn.net/HEYUTAO007/article/details/5766951 ) 看这个图可能会比较晕，没关系，听我分析之。首先，整个Hbase就是为了解决一个B树...

2017-05-02

616

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第2章，第2.2节，作者：王晓华责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.2　数据操作 HBase实战HBase表的行有唯一标识符，叫做行键（rowkey）。其他部分用来存储HBase表里的数据，但是行键是第一重要的。就像关系型数据库的主键，HBase表中每行的行键值都是不同的。每次访问表中的数据都从行键开始。TwitBase中每个用户是唯一的，所以users表使用用户名字作为行键很方便，一会儿就这么用。和数据操作有关的HBase API称为命令（command）。有5个基本命令用来访问HBase，Get（读）、Put（写）、Delete（删除）、Scan（扫描）和Increment（递增）。用来存储数据的命令是Put。为了往表里存储数据，你需要创建一个Put实例。根据行键创建Put实例，如下所示：为什么不能直接存储用户名字呢？HBase中所有数据都是作为原始数据（raw data）使用字节数组的形式存储的，行键也是如此。Java客户端函数库提供了一个公用类Bytes，用来...

2017-05-02

574

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。