搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8443篇文章

【Hadoop Summit Tokyo 2016】如何构建成功的数据湖泊

本讲义出自 Alex Gorelik在Hadoop Summit Tokyo 2016上的演讲，主要介绍了数据湖泊的相关概念，介绍了数据湖泊可以赋能数据驱动的决策制定以及最大化商业价值，以及如何通过正确的数据

2017-03-01

【Hadoop Summit Tokyo 2016】Apache Storm中的资源感知调度

本讲义出自Jerry Peng在Hadoop Summit Tokyo 2016上的演讲，主要介绍了Apache Storm的相关知识内容、目前遇到的挑战和问题并且对于资源感知调度器进行了详细介绍。

2017-03-01

【Hadoop Summit Tokyo 2016】使用Amaterasu项目进行数据操作

本讲义出自Yaniv Rodenski与Karel Alfonso在Hadoop Summit Tokyo 2016上的演讲，主要分享了数据管道的相关知识以及其主要作用，并且分享了数据管道建造者的原型、

2017-02-28

【Hadoop Summit Tokyo 2016】Spark上可扩展的深度学习

Zhen He在Hadoop Summit Tokyo 2016上的演讲，主要介绍了深度学习的基本概念和相关知识，分享了Spark与深度学习的关联，并介绍了La Trobe大学的深度学习系统。

2017-02-28

Hadoop-2.7.0 HDFS DataXceiverServer两个参数的疑问

1、TcpPeerServer的数据接收缓冲区大小 Hadoop-2.7.0的DataXceiverServer中，在DataNode中对其初始化时，会构造一个TcpPeerServer，并设置数据接收缓冲区大小如下

2016-12-06

【hadoop】 running beyond virtual memory错误原因及解决办法

/p/4331682.html 在hbase shell 里运行 count 'tablename' 统计表格行数太慢了改用$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter

2016-12-05

Hadoop 集群启动后，从节点的NodeManager没有启动解决

1.slaves节点报错，报的是启动nodemanager 所需内存不足解决： a: 修改 yarn-site.xml 中的yarn.scheduler.minimum-allocation-mb 内存大于1024， b.修改 yarn-env.sh 中 JAVA_HEAP_MAX=-Xmx3072m 改为3G 2.nodemanager节点报错Unexpected error starting NodeStatusUpdater(一台nodemanager节点，出现无法正常启动情况，jps查看，发现nodemanager可以出现一会，过几秒就消失了，) 解决： yarn.exclude的文件中存在这个节点的hostname，将这个主机从文件中删除，再启动就正常了。 yarn.exclude是yarn节点排除文件，一般在机器有问题下架的时候使用 3. Unexpected error starting NodeStatusUpdater java.net.NoRouteToHostException: No Route to Host from slave/IP to master: 这个解决就是关闭掉防火墙（service iptables stop）

2016-11-24

MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.

[hxsyl@CentOSMaster hadoop-2.6.4]$ mahout MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath

2016-11-07

Flume+Hadoop+Hive的离线分析系统基本架构

离线分析系统的结构图整个离线分析的总体架构就是使用 Flume 从 FTP 服务器上采集日志文件，并存储在 Hadoop HDFS 文件系统上，再接着用 Hadoop 的 mapreduce 清洗日志文件

2016-11-04

Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置

创建Hadoop文件系统目录 mkdir -pv hadoop/workspace cd hadoop/workspace mkdir tmp mkdir -pv hdfs/data mkdir -pv

2016-10-19

自定义Spark Partitioner提升es-hadoop Bulk效率

经过我的实际测试，做了该调整后，写入QPS有两倍以上的提升理论基础这里的理论基础自然是es-hadoop项目。

2016-09-08

Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

cluster) export HADOOP_HOME="/opt/hadoop" export CLASSPATH=".

2016-07-18

《hadoop进阶》PeopleRank从社交关系中挖掘价值用户

47451021 1：PageRank 与 PeopleRank 2：需求分析：挖掘CSDN博客的价值用户 3：算法模型：PeopleRank算法 4：架构设计：从数据准备到PR算法的MR化 5：程序开发：hadoop

2016-05-28

《hadoop进阶》web日志系统 KPI指标的分析与实现

; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text

2016-05-26

hadoop : hdfs的心跳时间设置及心跳检测算法

已经宕机，并标记为dead 注意:hdfs-site.xml中 heartbeat.recheck.interval的单位为毫秒 dfs.heartbeat.interval的单位为秒 http://hadoop.apache.org

2016-05-12

Linux下Hadoop2.6.0集群环境的搭建

Hadoop的安装与配置下载首先到Apache官网（http://www.apache.org/dyn/closer.cgi/hadoop/common/）下载Hadoop，从中选择推荐的下载镜像（

2016-04-24

hadoop2.6完全分布式安装HBase1.1

hbase-site.xml文档来配置本机的HBase特性，由于各个HBase之间通过zookeeper来进行通信，因此需要维护一组zookeeper系统，关于zookeeper的安装使用，参考《hadoop2.6

2016-04-20

Hadoop不适合处理实时数据的原因剖析

所以从时延的角度来看,Storm 要快于 Hadoop,因而 Storm 更适合做实时流水数据处理。下面用一个业务场景来描述这个时延问题。

2016-04-18

Hadoop2.6.0版本MapReudce示例之WordCount（二）

继《Hadoop2.6.0版本MapReudce示例之WordCount（一）》之后，我们继续看MapReduce的WordCount示例，看看如何监控作业运行或查看历史记录，以及作业运行时的文件目录及列表

2016-04-18

Hadoop2.6.0版本MapReudce示例之WordCount（一）

一、准备测试数据 1、在本地Linux系统/var/lib/hadoop-hdfs/file/路径下准备两个文件file1.txt和file2.txt，文件列表及各自内容如下图所示： 2

2016-04-17

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。