首页 文章 精选 留言 我的

精选列表

搜索[hdfs],共4793篇文章
优秀的个人博客,低调大师

通过Nifi 导入csv文件到HDFS

1. 拖入一个GetHttp 的processor 右健选择 configure -》 properties , 设置 url 和 filename url :http://svc.ccc.red/Test.csv filename: text.csv 2. 拖入一个 PutHDFS 的processor Hadoop Configuration Resources:conf/core-site.xml Directory:/wdp/demo/data/nifi 注意,使用PutHDFS前,要把hortonworks 里的core-site.xml 这个文件 copy到NIFI机器里,比如/var/lib/nifi/conf。 本文转自疯吻IT博客园博客,原文链接:http://www.cnblogs.com/fengwenit/p/5546034.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

将HBase通过mr传到hdfs上

package com.zhiyou100.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellScanner; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.Scan; import org.apache.hadoop.hbase.io.ImmutableBytesWritable; import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil; import org.apache.hadoop.hbase.mapreduce.TableMapper; import org.apache.hadoop.hbase.util.Bytes; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MRFromHBase { public static class MrFromHBaseMap extends TableMapper<Text, Text> { private Text outputKey = new Text(); private Text outputValue = new Text(); private Cell cell; private String rowKey; private String columnFamily; private String columnQualify; private String columnValue; @Override protected void map(ImmutableBytesWritable key, Result value, Mapper<ImmutableBytesWritable, Result, Text, Text>.Context context) throws IOException, InterruptedException { // 从Result 中获取数据输出初速 CellScanner scanner = value.cellScanner(); while (scanner.advance()) { cell = scanner.current(); rowKey = Bytes.toString(CellUtil.cloneRow(cell)); columnFamily = Bytes.toString(CellUtil.cloneFamily(cell)); columnQualify = Bytes.toString(CellUtil.cloneQualifier(cell)); columnValue = Bytes.toString(CellUtil.cloneValue(cell)); outputKey.set(rowKey); outputValue.set("columnFamily:" + columnFamily + "columnQualify:" + columnQualify + "columnValue:" + columnValue); context.write(outputKey, outputValue); } } } public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { Configuration configuration =HBaseConfiguration.create(); Job job =Job.getInstance(configuration); job.setJarByClass(MRFromHBase.class); job.setJobName("mapreduce 从hbase中读取数据"); //不需要reducer job.setNumReduceTasks(0); Scan scan =new Scan(); TableMapReduceUtil.initTableMapperJob("bd17:fromjava", scan,MrFromHBaseMap.class, Text.class, Text.class, job); //设置输出路径 Path outputDir =new Path("/fromhbase"); outputDir.getFileSystem(configuration).delete(outputDir, true); FileOutputFormat.setOutputPath(job, outputDir); System.exit(job.waitForCompletion(true)?1:0); } }

优秀的个人博客,低调大师

Hadoop HDFS概念学习系列之两个和HDFS读写操作最为密切的Hadoop包(二十)

是org.apache.hadoop.fs和org.apache.hadoop.conf。 fs包主要是文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口; conf用于读conf包,就是读取系统配置,它依赖于fs包,主要是在读取配置文件的时候需要使用文件系统,而部分文件系统的功能在fs包中被抽象了。 本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5453259.html,如需转载请自行联系原作者

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册