搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8437篇文章

cloudera 部署Hadoop 更方便

tasktracker //比如安装 namenode 为: yum install hadoop-0.20-datanode，不同角色安装不同服务 6 安装后 hadoop 目录 //hadoop配置文件目录

2017-11-14

利用 Cloudera 实现 Hadoop （二）

Hadoop，其它的版本应该差不多），然后就是安装Hadoop了（这样安装的是Hadoop-0.20，也可以安装Hadoop- 0.18的版本，反正安装步骤都差不多。

2017-11-14

hadoop初探--性能分析２

经过查阅，发现hadoop的官网有这么一句话， The short answer is dual processor/dual core machines with 4-8GB of RAM using

2017-11-14

Hadoop 常用端口说明

Hadoop的端口说明： 9000是namenode的端口 50030提供了GUI界面用于查看Map/Reduce http://192.168.129.35:50030/jobtracker.jsp

2017-11-14

Hadoop 数据库 - HBase

HBase，是Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。使用HBase技术可以在廉价的PC服务器上搭建起大规模结构化的存储集群。

2017-11-13

hadoop之参数调优

一、 hdfs-site.xml 配置文件 1、 dfs.blocksize 参数：hadoop文件块大小描述：新文件的默认块大小，以字节为单位，默认 134217728 字节。

2017-11-12

Hadoop 2.7.4 关闭与启动

/local/hadoop/hadoop-2.7.4/logs/hadoop-root-datanode-hadp-node2.out hadp-node1: starting datanode, logging

2017-11-12

使用Ambari搭建Hadoop集群

Hadoop 介绍 Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。

2017-11-12

hadoop插件sqoop使用案例

测试环境说明： hadoop版本：hadoop-0.20.2 sqoop版本：sqoop-1.2.0-CDH3B4 java版本：jdk1.7.0_67 mysql版本：5.1.65 特别说明：因为我安装的是

2017-11-12

hadoop分布式安装

分布式安装(至少三台主机)：环境所需软件： CentOS7 hadoop-2.7.3.tar.gz jdk-8u102-linux-x64.tar.gz 安装前准备工作：修改 /etc/hosts

2017-11-12

hadoop-env.sh配置

1.hadoop的hadoop-env.sh配置,主要配置内容如下,指定jdk目录 exportJAVA_HOME=/usr/java/jdk1.7.0_79 本文转自素颜猪 51CTO博客，原文链接

2017-11-12

squid 日志分析 - hadoop hive

/usr/bin/env python #-*-coding:UTF-8-*- """ @Item : Hadoop analysis squid log @Author : Villiam Sheng

2017-11-12

linux下安装hadoop步骤

下面的安装手册是我在hadoop第一版时做的，和现在的hadoop不太符合一、前期准备: 下载hadoop: http://hadoop.apache.org/core/releases.html

2017-11-11

Hadoop中文件读写(Java)

前言在本文档中，你将了解到如何用Java接口读写Hadoop分布式系统中的文件，以及编码的转换等问题。其中有些细节，在你不知道的时候，是非常容易出错的。这边读写文件分以下三种情况： 1.

2017-11-10

Hadoop MapReduce（WordCount） Java编程

; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text

2017-11-09

Hadoop集群(一) Zookeeper搭建

作为Hadoop初学者，自然要从安装入手。而hadoop的优势就是分布式，所以，也一定要安装分布式的系统。

2017-11-09

Hadoop 源码分析（二四）FSNamesystem

private UserGroupInformation fsOwner;本地文件的用户文件属主和文件组，能够通过hadoop.job.ugi 设置，假设没有设置，那么将使用启动HDFS 的用户（通过whoami

2017-10-18

Hadoop-2.0命令手册

示例： hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 hadoop fs -cp /user/hadoop/file1 /user/hadoop

2017-08-31

centos+hadoop+hive 安装

账号新增账号 useradd hadoop 修改密码 passwd hadoop 新增目录 mkdir /usr/local/hadoop 修改权限 chmod 777 –R /usr/local/hadoop

2017-08-28

HBase中包含列簇(column family)的概念.列簇本质上是列的存储容器.一张表可以有一个或多个列簇.每个列簇都有自己的HFile结婚,而且在执行合并操作时,同一个表的其他列簇不受影响在很多实用案例中,一张表不需要多个列簇.如果一张标中国的一部分列操作完成,或者变化频率与其他列存在显著不同,则可以使用一个以上的列簇. 比如,HBase 表包含两列:列1每行包含400字节,而列2每行包含20个字节.现在我们假设列1的值只设置一次,,不会改变,但是列2的值要经常改变.另外,从访问模式上看,对列2调用的get请求远多于针对列1 的get函数. 这种情况下,使用两个列簇更好,原因如下 : 降低合并成本如果有两个独立的列簇,那么包含列2的列簇会经常刷新memstore,所以会产生较小的合并.因为列2在其自身的列簇中,所以HBase只需要合并总记录数中的5%的数据,因此合并对性能的影响更小更好的使用数据块存储从HBase中检索数据时,附近(位于同一个HBase缓存中)的记录会拉入数据块缓存中.如果列1和列2在同一个列簇中,每次对列2调用get请求时都会把两列数据拉倒缓存中.缓存包含了列1 的数据,而列1中的数据接受的get请求非常少,使用的频率也非常低,这就导致了不理想的缓存分布.使用列1和列2位于不同列簇,会导致缓存中填充的数据仅来自于列2,因此增加了随后对列2调用get请求的高速缓存命中率

2017-08-06

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

cloudera 部署Hadoop 更方便

利用 Cloudera 实现 Hadoop （二）

hadoop初探--性能分析２

Hadoop 常用端口说明

Hadoop 数据库 - HBase

hadoop之参数调优

Hadoop 2.7.4 关闭与启动

使用Ambari搭建Hadoop集群

hadoop插件sqoop使用案例

hadoop分布式安装

hadoop-env.sh配置

squid 日志分析 - hadoop hive

linux下安装hadoop步骤

Hadoop中文件读写(Java)

Hadoop MapReduce（WordCount） Java编程

Hadoop集群(一) Zookeeper搭建

Hadoop 源码分析（二四）FSNamesystem

Hadoop-2.0命令手册

centos+hadoop+hive 安装

Hadoop-No.10之列簇

资源下载

优质分享App

Spring

Rocky Linux

Sublime Text

欢迎您来访！

精选列表

cloudera 部署Hadoop 更方便

利用 Cloudera 实现 Hadoop （二）

hadoop初探--性能分析２

Hadoop 常用端口说明

Hadoop 数据库 - HBase

hadoop之 参数调优

Hadoop 2.7.4 关闭与启动

使用Ambari搭建Hadoop集群

hadoop插件sqoop使用案例

hadoop分布式安装

hadoop-env.sh配置

squid 日志分析 - hadoop hive

linux下安装hadoop步骤

Hadoop中文件读写(Java)

Hadoop MapReduce（WordCount） Java编程

Hadoop集群(一) Zookeeper搭建

Hadoop 源码分析（二四）FSNamesystem

Hadoop-2.0命令手册

centos+hadoop+hive 安装

Hadoop-No.10之列簇

资源下载

优质分享App

Spring

Rocky Linux

Sublime Text

欢迎您来访！

hadoop之参数调优