搜索[hdfs]结果-低调大师优秀个人博客

精选列表

搜索[hdfs]，共4702篇文章

sqoop同步mysql到hdfs

hadoop/common/*.jar,/usr/local/hadoop/share/hadoop/common/lib/*.jar,/usr/local/hadoop/share/hadoop/hdfs

2017-11-11

部署HDFS HA的环境

hosts文件、关闭防火墙、免密码登录 ############################################################################### hdfs-site.xml

2017-11-11

写了一个从服务器上拉日志的脚本，从多台服务器上拉日志，日志名称是相同的，且每天有两个日志文件生成，如每台服务器上都有如下两个文件：ok_2011-04-24_24H.rar，ok_2011-04-24_12H.rar。显然不能把所有日志放到同一目录中进行处理，而且要同时解压两个文件后才能进行下一步处理，我想到了使用awk打印出相应命令，然后再执行。 #!/bin/bash #2011-04-25byqinshan.li #downloadthetracklog # DIR="2233454647135136137" DAY=$(/bin/date+%F) #DAY=$(echo$1) forPin$DIR;do [[-d"/lzo/jiaxing/track/$P"]]||/bin/mkdir-p/lzo/jiaxing/track/$P MULU=/lzo/jiaxing/track/$P #Downloadtherarfiles. /usr/bin/wget-nc-r--exclude-directories=tmplog -nd -np -A "ok_${DAY}_*.rar" -P $MULU http://10.10.17.66:8003/"$P"/track/ #Createdirectorytosavethedecompressedrarfiles. n=$(/bin/ls $MULU/*.rar 2>/dev/null|/usr/bin/wc-l) if[["$n"!="0"]] then [[ -d $MULU/$DAY ]] || /bin/mkdir -p $MULU/$DAY /usr/bin/find $MULU -name "*${DAY}*.rar" |/bin/awk '{printf "/usr/local/bin/rar e %s %s/%s\n",$1,"'$MULU'","'$DAY'"}' |/bin/sh >/dev/null if[["$?"="0"]] then if /bin/cat $MULU/$DAY/*.* >>$MULU/66_icast_"$P"_"$DAY".txt then if /usr/local/bin/lzop -U -9 $MULU/66_icast_"$P"_"$DAY".txt then if /usr/local/bin/lzop -t $MULU/66_icast_"$P"_"$DAY".txt.lzo then ~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -moveFromLocal $MULU/66_icast_"$P"_"$DAY".txt.lzo /log/source/iCast_iFocus_track if[["$?"="0"]] then rm -rf $MULU/* >/dev/null 2>&1 fi fi fi fi fi fi done 这个脚本没有再使用wget的-N参数，因为同事告诉我，这里的日志虽然是以HTTP方式提供，但时间戳标记是关闭的，所以-N参数是没有用的。添加了-nc参数，wget会忽略已经下载过的文件，当然，这可能会导致一个问题，就是该文件在上次下载后已经更新，但wget仍然会忽略它，不过这种情况非常少见。这次也没有再使用awk的substr函数来提取字段，是因为这次R 目录长度不同，不如直接使用$MULU和$DAY方便。要说明的是，$MULU这个变量，原来写的是$PATH，但是后来在执行hadoop的fs命令进行上传操作时，报了错误，它把$PATH变量解释成了环境变量的$PATH！看来，在设置自定义变量时要慎之又慎啊！本文转自 li_qinshan 51CTO博客，原文链接:http://blog.51cto.com/share/554160

2017-11-07

Sqoop导入到hdfs

2.导入到hdfs sqoop import --connect jdbc:mysql://122.206.79.212:3306/dating --username root --password 123456

2017-03-16

HDFS_API_Java编程

MyEclipse或Eclipse软件编程通过API操作hadoop上的HDFS文件系统 1.导入HDFS的jar包解压hadoop_2.6.0.tar.gz的安装包，选中所有放在lib中的jar包

2016-11-23

配置HDFS HttpFS和WebHDFS

HDFS支持两种RESTful接口：WebHDFS和HttpFS。 WebHDFS默认端口号为50070，HttpFS默认端口号为14000。

2016-10-27

Kafka+Storm+HDFS整合

这里，我们主要从安装配置Kafka、Storm，以及整合Kafka+Storm、整合Storm+HDFS、整合Kafka+Storm+HDFS这几点来配置实践，满足上面提出的一些需求。

2016-06-20

Java 封装 HDFS API 操作

= "hdfs://127.0.0.1:9000/"; public hdfsGYT(String hdfs, Configuration conf ){ this.hdfsPath = hdfs;

2016-03-25

Hadoop核心组件之HDFS

：HDFS中的数据一般都是一次写入，多次读取的模式廉价的商用硬件：可以将集群部署在大量的普通硬件上实现一个功能强大的集群不适用于HDFS的场景：要求低延迟的数据访问：HDFS是为了高吞吐量而设计的

2016-03-19

hdfs之快照的学习

HDFS快照是文件系统的只读的实时的拷贝，可以是文件系统的一部分或者整个文件系统。快照的一些通用场景是数据备份，对用户错误的保护和灾难恢复。

2015-11-13

Hadoop学习(二)——HDFS简介

HDFS是一个运行在普通的硬件之上的分布式文件系统，它和现有的分布式文件系统有着很多的相似性，然而和其他分布式文件系统的区别也很明显：HDFS是高容错性的，可以部署在低成本的硬件之上；HDFS提供高吞吐量以应对应用程序数据访问

2015-10-06

【HBase】图解 HDFS 工作原理

微博上看到的一张关于HDFS的图片，形象生动的解释的HDFS的工作原理，再确切一点是写操作的的基本过程： 1 一个集群中只有一个NameNode，可以有多个DataNodes 2 namenode 承担

2012-01-09

4 weekend110的hdfs&mapreduce测试 + hdfs的实现机制初始 + hdfs的shell操作 + 无密登陆配置

Hdfs是根/目录，windows是每一个盘符 1 从Linux里传一个到，hdfs里去 2 从hdfs里下一个到，linux里去想从hdfs里，下载到linux，涨知识，记住，hdfs

2017-11-13

Hadoop HDFS概念学习系列之熟练掌握HDFS的Shell访问（十五）

对于HDFS，HDFS的scheme是hdfs，如hdfs://localhost:9000/ ，对于本地，本地的scheme是file，如file:// 其中，scheme和authority

2017-11-20

Hadoop HDFS概念学习系列之HDFS的一致性（十八）

HDFS牺牲了一些POSIX的需求来补偿性能，所以有些操作可能会和传统的文件系统不同。

2017-11-13

Hadoop HDFS编程 API入门系列之路径过滤上传多个文件到HDFS（二）

代码版本1 1 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs6; 2 3 import java.io.IOException; 4 import java.net.URI

2017-11-13

Hadoop HDFS编程 API入门系列之从本地上传文件到HDFS（一）

代码版本1 1 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs5; 2 3 import java.io.IOException; 4 5 import java.net.URI

2017-11-12

Hadoop HDFS概念学习系列之初步掌握HDFS的架构及原理1（一）

HDFS 是做什么的？

2017-11-13

Hadoop HDFS概念学习系列之初步掌握HDFS的架构及原理3（三）

HDFS 如何写入文件？ HDFS的文件写入原理，主要包括以下几个步骤： 1.客户端通过调用DistributedFileSystem的create方法，创建一个新的文件。

2017-11-13

Hadoop HDFS概念学习系列之初步掌握HDFS的架构及原理4（四）

HDFS 副本存放策略 namenode 如何选择在哪个 datanode 存储副本（replication）？这里需要对可靠性、写入带宽和读取带宽进行权衡。

2017-11-12

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

sqoop同步mysql到hdfs

部署HDFS HA的环境

hdfs日志上传脚本（二）

Sqoop导入到hdfs

HDFS_API_Java编程

配置HDFS HttpFS和WebHDFS

Kafka+Storm+HDFS整合

Java 封装 HDFS API 操作

Hadoop核心组件之HDFS

hdfs之快照的学习

Hadoop学习(二)——HDFS简介

【HBase】图解 HDFS 工作原理

4 weekend110的hdfs&mapreduce测试 + hdfs的实现机制初始 + hdfs的shell操作 + 无密登陆配置

Hadoop HDFS概念学习系列之熟练掌握HDFS的Shell访问（十五）

Hadoop HDFS概念学习系列之HDFS的一致性（十八）

Hadoop HDFS编程 API入门系列之路径过滤上传多个文件到HDFS（二）

Hadoop HDFS编程 API入门系列之从本地上传文件到HDFS（一）

Hadoop HDFS概念学习系列之初步掌握HDFS的架构及原理1（一）

Hadoop HDFS概念学习系列之初步掌握HDFS的架构及原理3（三）

Hadoop HDFS概念学习系列之初步掌握HDFS的架构及原理4（四）

资源下载

Mario

腾讯云软件源

Spring

WebStorm

欢迎您来访！