搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8437篇文章

[Hadoop]Sqoop 1.4.2中文文档（一）之数据导入

The general command line syntax is bin/hadoop command [genericOptions] [commandOptions] 其中Generic option

2016-04-07

[Hadoop]Sqoop 1.4.2中文文档（二）之数据导出

connection parameters file --driver <class-name> Manually specify JDBC driver class to use --hadoop-home

2016-04-07

分析从管理员角度对Hadoop进行调优

总体上看，管理员需从硬件选择、操作系统参数调优、JVM参数调优和Hadoop参数调优等四个方面人手，为 Hadoop 用户提供一个高效的作业运行环境。

2016-03-24

使用process_monitor.sh监控hadoop进程的crontab配置

安装目录为/data/hadoop 4) hbase安装目录为/data/hbase 5) zookeeper安装目录为/data/zookeeper 可以通过jps查看到进程ID，然后使用kill命令杀死进程

2016-02-02

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5）

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5） 1.0 监控ResourceManager进程Java虚拟机中堆空间的特定部分。

2016-01-21

hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装

Hadoop的大规模数据分析平台，它提供的SQL-like语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。

2015-08-04

org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveB...

Hbase依赖的datanode日志中如果出现如下报错信息：DataXceiverjava.io.EOFException: INFO org.apache.hadoop.hdfs.server.datanode.DataNode

2015-06-09

Hadoop学习笔记（二）：MapReduce的特性-计数器、排序

; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; import org.apache.hadoop.io.LongWritable

2015-05-07

HADOOP再进阶：本地Yum软件源安装Cloudera Manager 5

参考URL： http://blog.csdn.net/yangzhaohui168/article/details/30118175 http://blog.csdn.net/yangzhaohui168/article/details/33403555

2015-02-12

Hadoop专业解决方案-第3章：MapReduce处理数据

; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.IntWritable; importorg.apache.hadoop.io.LongWritable

2014-05-22

Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表

端口作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup.address 50105 dfs.namenode.backup.http-address 50090 dfs.namenode.secondary.http-address，如：172.25.39.166:50090 50091 dfs.namenode.secondary.https-address，如：172.25.39.166:50091 50020 dfs.datanode.ipc.address 50075 dfs.datanode.http.address 50475 dfs.datanode.https.address 50010 dfs.datanode.address，DataNode的数据传输端口 8480 dfs.journalnode.rpc-address 8481 dfs.journalnode.https-address 8032 yarn.resourcemanager.address 8088 yarn.resourcemanager.webapp.address，YARN的http端口 8090 yarn.resourcemanager.webapp.https.address 8030 yarn.resourcemanager.scheduler.address 8031 yarn.resourcemanager.resource-tracker.address 8033 yarn.resourcemanager.admin.address 8042 yarn.nodemanager.webapp.address 8040 yarn.nodemanager.localizer.address 8188 yarn.timeline-service.webapp.address 10020 mapreduce.jobhistory.address 19888 mapreduce.jobhistory.webapp.address 2888 ZooKeeper，如果是Leader，用来监听Follower的连接 3888 ZooKeeper，用于Leader选举 2181 ZooKeeper，用来监听客户端的连接 60010 hbase.master.info.port，HMaster的http端口 60000 hbase.master.port，HMaster的RPC端口 60030 hbase.regionserver.info.port，HRegionServer的http端口 60020 hbase.regionserver.port，HRegionServer的RPC端口 8080 hbase.rest.port，HBaseRESTserver的端口 10000 hive.server2.thrift.port 9083 hive.metastore.uris

2014-04-29

ORACLE连接HADOOP(2) - HDFS专用SQL连接器ODCH

http://www.5ienet.com/note/html/hadoop/oracle_direct_connector_for_hdfs.shtml 2、HDFS专用SQL连接器使用ORACLE

2014-02-08

org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot creat...

FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException

2014-01-21

Hadoop文件系统支持释疑之S3

一、引言 Hadoop版本提供了对多种文件系统的支持，但是这些文件系统是以何种方式实现的，其实现原理是什么以前并没有深究过。今天正好有人咨询我这个问题：Hadoop对S3的支持原理是什么？

2014-01-03

Hadoop分布式文件系统：架构和设计要点

原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html一、前提和设计目标 1、硬件错误是常态，而非异常情况， HDFS可能是有成百上千的

2013-06-27

[白皮书翻译]Apache Hadoop的MapR发行版

白皮书业内最可靠的 Hadoop 平台 ApacheHadoop 的 MapR 发行版 ——简单、可靠、快速的 Hadoop 内容目录概述战略性的Hadoop 完整、先进、拥有强力支持的Hadoop

2013-04-22

localhost: Warning: $HADOOP_HOME is deprecated.问题解决

启动HADOOP或是停止时，都会输出这个WARNING。

2013-04-10

How Facebook uses Scribe, Hadoop, and Hive for Analytics, Ad hoc analy...

http://axonflux.com/how-facebook-uses-scribe-hadoop-and-hive-for http://architects.dzone.com/articles

2012-12-23

Facebook's Realtime Distributed FS based on Apache Hadoop 0.20-append

https://github.com/facebook/hadoop-20

2012-12-23

在windows下使用eclipes连接linux下的Hadoop集群

来源：http://suxain.iteye.com/blog/1748356 hadoop 是工作在linux下的分布式系统，做为一个开发者，对于手里资源有限，不得不使用只有终端的虚拟机来运行hadoop

2012-12-21

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。