搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8437篇文章

一图解说Hadoop的发展历程

文章讲的是一图解说Hadoop的发展历程， ▲ 1. 这一切是如何开始的—Web上庞大的数据! 2. 使用Nutch抓取Web数据 3.

2017-09-05

Splunk Hunk 6.1：面向Hadoop和NoSQL

文章讲的是 Splunk Hunk 6.1：面向Hadoop和NoSQL，日前，领先的实时运维智能软件供应商Splunk Inc.

2017-09-01

用web查看hadoop运行状态

我们安装完hadoop，下面我们从视觉上看看hadoop怎么玩的。

2017-08-30

Hadoop之后：实时数据的未来

在实时数据世界里，为什么我们还这么执着于Hadoop?根据451 Research调查数据显示，围绕批处理架构的Hadoop仍然是大数据的代表技术，尽管其声誉仍然超过实际部署情况。

2017-08-11

如何在CentOS上安装Apache Hadoop

该项目包括以下模块： Hadoop Common：支持其他 Hadoop 模块的常用工具。 Hadoop 分布式文件系统 (HDFS™)：分布式文件系统，可提供对应用程序数据的高吞吐量访问支持。

2017-08-08

影响性能与数据分布的一个因素是HBase中表的数量以及每个表的Region的数量.如果分配的不合理,集群一个节点活多个节点的负载会出现显著的不均衡. 其中比较注意的几点: - 每个节点包含一个Region服务器 - 每个Region服务器包含多个Region - 任何时候,一个给定的Region存在一个特定的Region服务器上 - 表被分成多个Region,而且散步在Region服务器中.一个表至少要包含一个Region 对于一个给定的表,Region的数目可以参考一下两条经验法则进行选择.这两条法则权衡了put请求的性能与Region合并时间 Put操作性能 Region服务器中所有接收到的put请求的Region都会共享Region服务器的memstore.memstore是每个HBase Region服务器都有的一种缓存结构.memstore能缓存发送到Region服务器的写入.并对他们进行排序,知道打到特定的内存值,冲刷写入磁盘.因此,Region服务器中的Region越多,每个Region可用的memstore空间就越少.这可能会导致冲刷变小,较小的冲刷又可能带来更小.更多的HFile和更多较小的合并.由此导致性能降低.默认的配置将理想的冲刷大小设置为100MB,如果确定了memstore的大小并分区,使得每个去为100MB,那么Region服务器就会合理的得到最多数量的Region. 合并时间 Region越大,合并花费的时间就越多.从经验上来说,Region的大小最多为20GB,但是也有一些非常成功的集群,Region的大小可以打到120GB HBase表分配Region的方式有以下两种默认情况下,一个表只有一个Region,并随着数据的增加自动分片创建表是,指定一个Region数量,而且将Region的大小设置为一个足够大的值(比如每个Region 100GB)以避免自动分片在选择Region分配方式之前.应该确定选择了正确的分片策略.大多数情况下,应当选择ConstantSizeRegionSplitPolicy 或者DisabledRegionSplitPolicy. 建议局限分配Region的数量(即采用第二种方式),这种可以避免分片随机进行,避免自动分片导致范围不理想,影响性能. 还有一些情况应该采用自动分片.比如,一个不断增长的数据集只更新最新的数据,那么它就更适合采用自动分片.如果该表的行键有{Salt}{SeqId}组成,那么些操作可能受到控制,分发到一系列固定的Region上.既然Region自动分片,那么久的Region也就不需要合并了(除非是基于TTL的周期性合并)

2017-08-06

log4j2+flume+hadoop

我的选型是log4j2+flume+hadoop。整个架构如图所示：问题一：为什么是log4j2? 1.传统的log4j对性能的消耗很大。

2017-08-02

分析：“AI on Hadoop”有意义吗？

MapR是第一家在市场中推出所谓的“AI on Hadoop”产品的Hadoop厂商。但是AI on Hadoop从更大范围来说是有意义的吗？其他厂商在这方面都做了什么？

2017-08-02

Hadoop 添加删除数据节点（datanode）

创建目录和用户 mkdir -p /app/hadoop groupadd hadoop useradd licz -g hadoop -d /app/hadoop chown licz:hadoop

2017-08-02

不会这些，你成不了Hadoop高手！

第一堂课：大数据集群搭建葵花宝典由浅入深，四步成“狮” 1)快速搞定伪分布Hadoop集群搭建 2)高可用的5节点Hadoop分布式集群搭建(Hadoop 2.6.0) 3)生产环境：CDH5高可用集群环境搭建

2017-08-01

后Hadoop时代的大数据架构

背景篇 Hadoop:开源的数据分析平台，解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。

2017-08-01

Hadoop架构——云计算的具体实现

Hadoop是IT行业一个新的热点，是云计算的一个具体实现、Hadoop本身具有很高的技术含量，是IT工程师学习的首选！下面我们来详细讲讲什么是Hadoop。

2017-08-01

大数据框架Hadoop主要模块介绍

核心模块： Hadoop Common: 包括Hadoop常用的工具类，由原来的Hadoop core部分更名而来。

2017-08-01

为什么说Storm比Hadoop 快？

storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多;当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间;因为storm是服务型的作业，也省去了作业调度的时延

2017-08-01

Hadoop HBase 单机环境简单配置教程

用户, $useradd hadoop 可以用 $passwd hadoop 修改hadoop用户的登录密码. 4.创建hadoop用户的home目录,如果打算在别处安装hadoop/hbase的话可以不这样做

2017-08-01

Hadoop常见错误和处理方式

查询办法mysqladmin version 在建立hive数据库的时候，最好是:create database hive; oozie的数据库，同样：create database oozie; hadoop

2017-08-01

Hadoop 2.x 集群环境搭建

======================================hadoop 2.x 分布式部署方案 HOSTNAME IPADDR HDFS YARN MAPREDUCE hadoop-master

2017-07-13

Hadoop——大数据处理的宠儿

Hadoop—-大数据处理的宠儿在众多的大数据分析平台当中，最为人所知的是ApacheHadoop平台。这是一个用于分布式计算的开源软件框架。

2017-07-10

Hadoop 集群管理上的新“绝招”

Hadoop在一些企业部署时，往往会遇到多个用户各自创建的数据处理工作的情况。这些工作都运行在同一个Hadoop系统上时，他们之间可能会彼此冲突，争夺可用的处理器资源。

2017-07-06

Hadoop：用MRUnit做单元测试

引言借年底盛宴品鉴之风,继续抒我Hadoop之情，本篇文章介绍如何对Hadoop的MapReduce进行单元测试。

2017-07-03

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

精选列表

一图解说Hadoop的发展历程

Splunk Hunk 6.1：面向Hadoop和NoSQL

用web查看hadoop运行状态

Hadoop之后：实时数据的未来

如何在CentOS上安装Apache Hadoop

Hadoop-No.9之表和Region

log4j2+flume+hadoop

分析：“AI on Hadoop”有意义吗？

Hadoop 添加删除数据节点（datanode）

不会这些，你成不了Hadoop高手！

后Hadoop时代的大数据架构

Hadoop架构——云计算的具体实现

大数据框架Hadoop主要模块介绍

为什么说Storm比Hadoop 快？

Hadoop HBase 单机环境简单配置教程

Hadoop常见错误和处理方式

Hadoop 2.x 集群环境搭建

Hadoop——大数据处理的宠儿

Hadoop 集群管理上的新“绝招”

Hadoop：用MRUnit做单元测试

资源下载

优质分享App

Mario

Nacos

Rocky Linux

欢迎您来访！