搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8432篇文章

Hadoop学习笔记（一）：MapReduce的输入格式

; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text

2015-05-07

64位centos 下编译 hadoop 2.6.0 源码

下载必要的组件 a) 下载hadoop源码 (当前最新的稳定版是2.6.0)地址 http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop

2015-04-25

Hadoop学习之HBase的集群环境搭建

#vim regionservers 添加搭建hbase集群的从节点主机名，每个主机名一行 2.复制hadoop1中的hbase文件夹到hadoop2和hadoop3等其他从节点。

2015-04-04

使用hadoop平台进行小型网站日志分析

chmod +x daily.sh daily.sh: CURRENT=`date +%Y%m%d` #对数据进行清理，保存到cleaned文件夹，按照当前日期进行保存 /home/cloud/hadoop

2015-03-28

CentOS 64位上编译 Hadoop2.6.0

由于hadoop-2.6.0.tar.gz安装包是在32位机器上编译的，64位的机器加载本地库.so文件时会出错，比如： java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32

2015-03-26

hadoop2.2.0伪分布式安装

上传hadoop安装包到hadoop宿主目录下解压hadoop安装包到hadoop根目录 tar -zxvf hadoop-2.2.0-64bit.tar.gz 修改配置文件（5个）第一个：hadoop-env.sh

2015-03-12

HADOOP之HIVE+MYSQL,HBASE+ZOOKEEPER

这个搞得有劲哈哈继续。。。继续。。。。

2015-02-05

Hadoop，HBase，Storm，Spark到底是什么？

Hadoop，HBase，Storm，Spark到底是什么？ Hadoop=HDFS+Hive+Pig+...

2014-12-09

Hadoop大象之旅005-安装JDK环境

Hadoop大象之旅005-安装JDK环境老帅由于Hadoop 需要运行在JAVA平台，所以我们还需要在CentOS中安装java的环境，在这里，我们选择java的版本是jdk-6u45-linux-i586

2014-11-27

在Ubuntu上安装Hadoop（单机模式）步骤

安装hadoop：下载hadoop tar.gz包并解压：tar -zxvf hadoop-2.2.0.tar.gz 4.

2014-02-17

《Wrox.Professional.Hadoop.Solutions》中文目录全稿

关于中文名称，英文直译《专业的Hadoop解决方案》，个人更倾向于使用《Hadoop专业解决方案》至于选择哪个最终还没有确定，也想听一听大家的意见。敬请留言。

2013-11-19

CentOS 安装 hadoop hbase 使用 cloudera 版本。（一）

使用Virtualbox安装系统和 hadoop ，hbase 参考安装: cloudera 的hadoop 只支持 64bit的版本.而要用虚拟机安装 64bit 的要满足 4个条件. 1, 64bit

2013-03-04

需求场景:统计每日用户登陆总数每分钟的原始日志内容如下: http://www.blue.com/uid=xxxxxx&ip=xxxxxx 假设只有两个字段,uid和ip,其中uid是用户的uid，是用户的唯一标识，ip是用户的登陆ip，每日的记录行数是10亿，要统计出一天用户登陆的总数。处理流程建表那么我们首先要在hive里建表，建表语句如下: CREATE TABLE login ( uid STRING, ip STRING ) PARTITIONED BY (dt STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; 其实表名是login,字段之间以,隔开,存储是TEXT,其次还以dt这个字段作为分区。创建成功之后,会看到hdfs上创建了/user/hive/warehouse/login这个目录。格式化原始日志将每天的每分钟的原始日志，转换成以下文件格式 123,17.6.2.6 112,11.3.6.2 ……….. 根据文件大小，合并文件，例如合并为24个文件。入库格式完毕，就可以把数据入库到hive了，假设今天是执行命令 LOAD DATA INPATH '/data/login/20120713/*' OVERWRITE INTO TABLE login PARTITION (dt='20120713'); 执行成功会，转换过的文件会上传到hdfs的/user/hive/warehouse/login/dt=20120713这个目录里。分析在hive执行以下语句 select count(distinct uid) from login where dt=’ 20120713’; 使用dt这个分区条件查询，就可以避免hive去查询其他分区的文件，减少IO操作，这个是hive分区很重要的特性，也是以天为单位，作为login表分区的重要意义。执行完毕后，就可以在命令里出现结果，一般通过管道执行hive shell命令，读取管道的内容，把结果入库到mysql里就完成了分析了。来源：http://www.cnblogs.com/ggjucheng/archive/2012/07/25/2608757.html#2601110 微信公众号：猿人谷如果您认为阅读这篇博客让您有些收获，不妨点击一下右下角的【推荐】如果您希望与我交流互动，欢迎关注微信公众号本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。

2013-01-18

Splunk实现与Hadoop的集成与监控

Splunk Hadoop Connect可提供双向集成，轻松可靠地完成在Splunk与Hadoop之间迁移数据。

2012-12-31

云计算、Amazon EC2、Hadoop简介

Apache Hadoop 作为PaaS，它构建在虚拟主机上，提供云计算平台。

2012-10-24

Hadoop手把手逐级搭建(4) Hadoop高可用+联邦+视图文件系统(HA+Federation+ViewFs)

为高可用保存hadoop配置 1.1 进入$HADOOP_HOME/etc/目录 [root@hadoop1 ~]# cd /opt/test/hadoop-2.6.5/etc 1.2 备份hadoop

2018-01-05

Hadoop概念学习系列之2分钟读懂大数据框架Hadoop和Spark的异同（十七）

解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。

2017-11-14

Hadoop HDFS概念学习系列之两个和HDFS读写操作最为密切的Hadoop包（二十）

是org.apache.hadoop.fs和org.apache.hadoop.conf。

2017-11-14

Hadoop概念学习系列之Java调用Shell命令和脚本，致力于hadoop/spark集群（三十六）

/bin/sh /usr/local/spark/spark-1.5.2-bin-hadoop2.6/bin/spark-submit \ --class cn.spark.study.core.WordCount

2017-11-12

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。