搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8432篇文章

一图解说Hadoop的发展历程

文章讲的是一图解说Hadoop的发展历程， ▲ 1. 这一切是如何开始的—Web上庞大的数据! 2. 使用Nutch抓取Web数据 3.

2017-09-05

Splunk Hunk 6.1：面向Hadoop和NoSQL

文章讲的是 Splunk Hunk 6.1：面向Hadoop和NoSQL，日前，领先的实时运维智能软件供应商Splunk Inc.

2017-09-01

用web查看hadoop运行状态

我们安装完hadoop，下面我们从视觉上看看hadoop怎么玩的。

2017-08-30

Hadoop之后：实时数据的未来

在实时数据世界里，为什么我们还这么执着于Hadoop?根据451 Research调查数据显示，围绕批处理架构的Hadoop仍然是大数据的代表技术，尽管其声誉仍然超过实际部署情况。

2017-08-11

如何在CentOS上安装Apache Hadoop

该项目包括以下模块： Hadoop Common：支持其他 Hadoop 模块的常用工具。 Hadoop 分布式文件系统 (HDFS™)：分布式文件系统，可提供对应用程序数据的高吞吐量访问支持。

2017-08-08

影响性能与数据分布的一个因素是HBase中表的数量以及每个表的Region的数量.如果分配的不合理,集群一个节点活多个节点的负载会出现显著的不均衡. 其中比较注意的几点: - 每个节点包含一个Region服务器 - 每个Region服务器包含多个Region - 任何时候,一个给定的Region存在一个特定的Region服务器上 - 表被分成多个Region,而且散步在Region服务器中.一个表至少要包含一个Region 对于一个给定的表,Region的数目可以参考一下两条经验法则进行选择.这两条法则权衡了put请求的性能与Region合并时间 Put操作性能 Region服务器中所有接收到的put请求的Region都会共享Region服务器的memstore.memstore是每个HBase Region服务器都有的一种缓存结构.memstore能缓存发送到Region服务器的写入.并对他们进行排序,知道打到特定的内存值,冲刷写入磁盘.因此,Region服务器中的Region越多,每个Region可用的memstore空间就越少.这可能会导致冲刷变小,较小的冲刷又可能带来更小.更多的HFile和更多较小的合并.由此导致性能降低.默认的配置将理想的冲刷大小设置为100MB,如果确定了memstore的大小并分区,使得每个去为100MB,那么Region服务器就会合理的得到最多数量的Region. 合并时间 Region越大,合并花费的时间就越多.从经验上来说,Region的大小最多为20GB,但是也有一些非常成功的集群,Region的大小可以打到120GB HBase表分配Region的方式有以下两种默认情况下,一个表只有一个Region,并随着数据的增加自动分片创建表是,指定一个Region数量,而且将Region的大小设置为一个足够大的值(比如每个Region 100GB)以避免自动分片在选择Region分配方式之前.应该确定选择了正确的分片策略.大多数情况下,应当选择ConstantSizeRegionSplitPolicy 或者DisabledRegionSplitPolicy. 建议局限分配Region的数量(即采用第二种方式),这种可以避免分片随机进行,避免自动分片导致范围不理想,影响性能. 还有一些情况应该采用自动分片.比如,一个不断增长的数据集只更新最新的数据,那么它就更适合采用自动分片.如果该表的行键有{Salt}{SeqId}组成,那么些操作可能受到控制,分发到一系列固定的Region上.既然Region自动分片,那么久的Region也就不需要合并了(除非是基于TTL的周期性合并)

2017-08-06

log4j2+flume+hadoop

我的选型是log4j2+flume+hadoop。整个架构如图所示：问题一：为什么是log4j2? 1.传统的log4j对性能的消耗很大。

2017-08-02

分析：“AI on Hadoop”有意义吗？

MapR是第一家在市场中推出所谓的“AI on Hadoop”产品的Hadoop厂商。但是AI on Hadoop从更大范围来说是有意义的吗？其他厂商在这方面都做了什么？

2017-08-02

Hadoop 添加删除数据节点（datanode）

创建目录和用户 mkdir -p /app/hadoop groupadd hadoop useradd licz -g hadoop -d /app/hadoop chown licz:hadoop

2017-08-02

不会这些，你成不了Hadoop高手！

第一堂课：大数据集群搭建葵花宝典由浅入深，四步成“狮” 1)快速搞定伪分布Hadoop集群搭建 2)高可用的5节点Hadoop分布式集群搭建(Hadoop 2.6.0) 3)生产环境：CDH5高可用集群环境搭建

2017-08-01

后Hadoop时代的大数据架构

背景篇 Hadoop:开源的数据分析平台，解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。

2017-08-01

Hadoop架构——云计算的具体实现

Hadoop是IT行业一个新的热点，是云计算的一个具体实现、Hadoop本身具有很高的技术含量，是IT工程师学习的首选！下面我们来详细讲讲什么是Hadoop。

2017-08-01

为什么说Storm比Hadoop 快？

storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多;当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间;因为storm是服务型的作业，也省去了作业调度的时延

2017-08-01

Hadoop HBase 单机环境简单配置教程

用户, $useradd hadoop 可以用 $passwd hadoop 修改hadoop用户的登录密码. 4.创建hadoop用户的home目录,如果打算在别处安装hadoop/hbase的话可以不这样做

2017-08-01

Hadoop常见错误和处理方式

查询办法mysqladmin version 在建立hive数据库的时候，最好是:create database hive; oozie的数据库，同样：create database oozie; hadoop

2017-08-01

大数据框架Hadoop主要模块介绍

核心模块： Hadoop Common: 包括Hadoop常用的工具类，由原来的Hadoop core部分更名而来。

2017-08-01

Hadoop 2.x 集群环境搭建

======================================hadoop 2.x 分布式部署方案 HOSTNAME IPADDR HDFS YARN MAPREDUCE hadoop-master

2017-07-13

Hadoop——大数据处理的宠儿

Hadoop—-大数据处理的宠儿在众多的大数据分析平台当中，最为人所知的是ApacheHadoop平台。这是一个用于分布式计算的开源软件框架。

2017-07-10

Hadoop 集群管理上的新“绝招”

Hadoop在一些企业部署时，往往会遇到多个用户各自创建的数据处理工作的情况。这些工作都运行在同一个Hadoop系统上时，他们之间可能会彼此冲突，争夺可用的处理器资源。

2017-07-06

Hadoop：用MRUnit做单元测试

引言借年底盛宴品鉴之风,继续抒我Hadoop之情，本篇文章介绍如何对Hadoop的MapReduce进行单元测试。

2017-07-03

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

一图解说Hadoop的发展历程

Splunk Hunk 6.1：面向Hadoop和NoSQL

用web查看hadoop运行状态

Hadoop之后：实时数据的未来

如何在CentOS上安装Apache Hadoop

Hadoop-No.9之表和Region

log4j2+flume+hadoop

分析：“AI on Hadoop”有意义吗？

Hadoop 添加删除数据节点（datanode）

不会这些，你成不了Hadoop高手！

后Hadoop时代的大数据架构

Hadoop架构——云计算的具体实现

为什么说Storm比Hadoop 快？

Hadoop HBase 单机环境简单配置教程

Hadoop常见错误和处理方式

大数据框架Hadoop主要模块介绍

Hadoop 2.x 集群环境搭建

Hadoop——大数据处理的宠儿

Hadoop 集群管理上的新“绝招”

Hadoop：用MRUnit做单元测试

资源下载

Mario

腾讯云软件源

Rocky Linux

Sublime Text

欢迎您来访！