搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8441篇文章

[Hadoop]Sqoop 1.4.2中文文档（一）之数据导入

The general command line syntax is bin/hadoop command [genericOptions] [commandOptions] 其中Generic option

2016-04-06

[Hadoop]Sqoop 1.4.2中文文档（二）之数据导出

connection parameters file --driver <class-name> Manually specify JDBC driver class to use --hadoop-home

2016-04-06

分析从管理员角度对Hadoop进行调优

总体上看，管理员需从硬件选择、操作系统参数调优、JVM参数调优和Hadoop参数调优等四个方面人手，为 Hadoop 用户提供一个高效的作业运行环境。

2016-03-23

使用process_monitor.sh监控hadoop进程的crontab配置

安装目录为/data/hadoop 4) hbase安装目录为/data/hbase 5) zookeeper安装目录为/data/zookeeper 可以通过jps查看到进程ID，然后使用kill命令杀死进程

2016-02-01

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5）

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5） 1.0 监控ResourceManager进程Java虚拟机中堆空间的特定部分。

2016-01-20

hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装

Hadoop的大规模数据分析平台，它提供的SQL-like语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。

2015-08-03

org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveB...

Hbase依赖的datanode日志中如果出现如下报错信息：DataXceiverjava.io.EOFException: INFO org.apache.hadoop.hdfs.server.datanode.DataNode

2015-06-08

Hadoop学习笔记（二）：MapReduce的特性-计数器、排序

; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; import org.apache.hadoop.io.LongWritable

2015-05-06

HADOOP再进阶：本地Yum软件源安装Cloudera Manager 5

参考URL： http://blog.csdn.net/yangzhaohui168/article/details/30118175 http://blog.csdn.net/yangzhaohui168/article/details/33403555

2015-02-11

Hadoop专业解决方案-第3章：MapReduce处理数据

; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.IntWritable; importorg.apache.hadoop.io.LongWritable

2014-05-21

Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表

端口作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup.address 50105 dfs.namenode.backup.http-address 50090 dfs.namenode.secondary.http-address，如：172.25.39.166:50090 50091 dfs.namenode.secondary.https-address，如：172.25.39.166:50091 50020 dfs.datanode.ipc.address 50075 dfs.datanode.http.address 50475 dfs.datanode.https.address 50010 dfs.datanode.address，DataNode的数据传输端口 8480 dfs.journalnode.rpc-address 8481 dfs.journalnode.https-address 8032 yarn.resourcemanager.address 8088 yarn.resourcemanager.webapp.address，YARN的http端口 8090 yarn.resourcemanager.webapp.https.address 8030 yarn.resourcemanager.scheduler.address 8031 yarn.resourcemanager.resource-tracker.address 8033 yarn.resourcemanager.admin.address 8042 yarn.nodemanager.webapp.address 8040 yarn.nodemanager.localizer.address 8188 yarn.timeline-service.webapp.address 10020 mapreduce.jobhistory.address 19888 mapreduce.jobhistory.webapp.address 2888 ZooKeeper，如果是Leader，用来监听Follower的连接 3888 ZooKeeper，用于Leader选举 2181 ZooKeeper，用来监听客户端的连接 60010 hbase.master.info.port，HMaster的http端口 60000 hbase.master.port，HMaster的RPC端口 60030 hbase.regionserver.info.port，HRegionServer的http端口 60020 hbase.regionserver.port，HRegionServer的RPC端口 8080 hbase.rest.port，HBaseRESTserver的端口 10000 hive.server2.thrift.port 9083 hive.metastore.uris

2014-04-28

ORACLE连接HADOOP(2) - HDFS专用SQL连接器ODCH

http://www.5ienet.com/note/html/hadoop/oracle_direct_connector_for_hdfs.shtml 2、HDFS专用SQL连接器使用ORACLE

2014-02-07

org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot creat...

FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException

2014-01-20

Hadoop文件系统支持释疑之S3

一、引言 Hadoop版本提供了对多种文件系统的支持，但是这些文件系统是以何种方式实现的，其实现原理是什么以前并没有深究过。今天正好有人咨询我这个问题：Hadoop对S3的支持原理是什么？

2014-01-02

Hadoop分布式文件系统：架构和设计要点

原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html一、前提和设计目标 1、硬件错误是常态，而非异常情况， HDFS可能是有成百上千的

2013-06-26

[白皮书翻译]Apache Hadoop的MapR发行版

白皮书业内最可靠的 Hadoop 平台 ApacheHadoop 的 MapR 发行版 ——简单、可靠、快速的 Hadoop 内容目录概述战略性的Hadoop 完整、先进、拥有强力支持的Hadoop

2013-04-21

localhost: Warning: $HADOOP_HOME is deprecated.问题解决

启动HADOOP或是停止时，都会输出这个WARNING。

2013-04-09

How Facebook uses Scribe, Hadoop, and Hive for Analytics, Ad hoc analy...

http://axonflux.com/how-facebook-uses-scribe-hadoop-and-hive-for http://architects.dzone.com/articles

2012-12-22

Facebook's Realtime Distributed FS based on Apache Hadoop 0.20-append

https://github.com/facebook/hadoop-20

2012-12-22

在windows下使用eclipes连接linux下的Hadoop集群

来源：http://suxain.iteye.com/blog/1748356 hadoop 是工作在linux下的分布式系统，做为一个开发者，对于手里资源有限，不得不使用只有终端的虚拟机来运行hadoop

2012-12-20

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。