搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8432篇文章

hadoop Unexpected end of input stream 错误

: 79 ) atorg.apache.hadoop.hive.ql.io.HiveRecordReader.doNext(HiveRecordReader.java: 33 ) atorg.apache.hadoop.hive.ql.io.HiveContextAwareRecordReader.next

2017-11-07

hadoop环境初始化搭建

一、首先把hadoop二进制包和jdk的文件包download下来，并放置到合适目录的路径来解压(步骤省略) 二、在主机器上的hadoop解压出来的目录创建一个目录是专门放置hdfs的文件，把解压好的jdk

2017-11-07

hadoop shell命令字典详解

示例： hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 hadoop fs -cp /user/hadoop/file1 /user/hadoop

2017-11-06

shell命令使用Hadoop归档文件

Hadoop归档文件和HAR文件可以将文件高效地放入HDFS块中的文件存档设备，在减少NameNode内存使用的同时，仍然允许对文件进行透明访问。

2017-11-03

【总结】Hadoop中的MultipleOutputs实践

; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable

2017-11-02

【总结】Hadoop中的Combiner实践

是":"否" ) ); System.out.println( "输入行数：" + job.getCounters().findCounter("org.apache.hadoop.mapred.Task

2017-11-02

Hadoop常见错误及处理方法

1、Hadoop-root-datanode-master.log 中有如下错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException

2017-11-01

How can R and Hadoop be used together?

Referer:http://www.quora.com/How-can-R-and-Hadoop-be-used-together/answer/Jay-Kreps?

2017-10-17

Hadoop on Windows with Eclipse -02- Prerequisites

It is needed to run the scripts supplied with Hadoop because they are all written for the Unix platform

2017-10-09

Hadoop on Windows with Eclipse -01- Introduction

It is really hard to understand and debug Hadoop programs.

2017-10-09

Hadoop入门之WordCount运行详解

原文：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html 虾皮工作室：赠人玫瑰，手留余香。 http://www.xiapistudio.com/

2017-10-04

hadoop map-reduce系列文章

www.cnblogs.com/lz3018/p/4927667.html MapReduce数据流向分析 http://www.cnblogs.com/lz3018/p/4923052.html 学习Hadoop

2017-09-14

Hadoop MapReduce 官方教程 -- WordCount示例

Hadoop MapReduce 官方教程 -- WordCount示例： http://hadoop.apache.org/docs/r1.0.4/cn/mapred_tutorial.html#%E4%

2017-09-07

Cloudera与Hortonworks角逐Hadoop市场

Cloudera和Hortonworks作为竞争对手，提供类似的Hadoop软件和服务，在多个方面进行竞争，伴随着Hadoop市场的快速增长，双方也在加紧拓宽各自的渠道，扩大合作圈，征募了越来越多的解决方案提供商

2017-09-05

为什么Spark发展不如Hadoop？

文章讲的是为什么Spark发展不如Hadoop，一说大数据，人们往往想到 Hadoop 。

2017-09-01

结合使用Hadoop与Couchbase Server

文章讲的是结合使用Hadoop与Couchbase Server， Hadoop 将许多重要特性结合在一起，这使 Hadoop 对于将大量数据分解为更小、实用的数据块非常有用。

2017-09-01

两个概念： IO受限在从硬盘或者网络读取数据时遇到瓶颈 CPU受限处理数据时遇到瓶颈带宽受限写入数据网络带宽不够，导致无法实施传递数据常见业务划分硬盘容量敏感型业务这类业务对读写延迟以及吞吐量都没有很大的要求，唯一的需要就是硬盘容量。比如大多数离线读写分析业务，上层应用一般每隔一段时间批量写入大量数据，然后读取也是定期批量读取大量数据。特点：离线写、离线读，需求硬盘容量带宽敏感型业务这类业务大多数写入吞吐量很大，但对读取吞吐量没有什么要求。比如日志实时存储业务，上层应用通过kafka将海量日志实时传输过来，要求能够实时写入，而读取场景一般是离线分析或者在上次业务遇到异常的时候对日志进行检索。特点：在线写、离线读，需求带宽 IO敏感型业务相比前面两类业务来说，IO敏感型业务一般都是较为核心的业务。这类业务对读写延迟要求较高，尤其对于读取延迟通常在100ms以内，部分业务可能要求更高。比如在线消息存储系统、历史订单系统、实时推荐系统等。特点：在（离）线写、在线读，需求内存、高IOPS介质二：内存需要 1. 高峰值计算： 1）假设高峰期有10W个用户，每个用户每秒产生一条数据，一年的数据量是10W*3600*24*365=3 W亿条 2）假设每条数据200大小，总需内存为600万亿B=573T 二：各项硬件及意义 1.CPU 2.磁盘 3.

2017-08-07

Hadoop-No.11之元数据

元数据允许数据管理工具链接该元数据,而且允许用户执行数据查找(查找可用的数据,并查找如何使用该数据)与数据血缘分析(追踪一个给定数据集的来源或者起源) 元数据一般来说,元数据指的是关于数据的数据.在Hadoop

2017-08-06

Hadoop-No.8之时间戳

要获得良好的HBase的模式设计,要正确的理解和使用时间错.在HBase中,时间戳的作用如下所述. 时间戳决定了在put请求修改记录时那些记录更新时间戳决定了一条记录的多个版本在返回时的排序时间戳还用于大合并(Major Compaction)过程,决定是否移除与时间戳相比已经超过存活时间(Time-To-Live, TTL)的过期记录.”过期”意味着记录的值已经被其他的puyt操作重复写如果,或者该记录已被删除默认情况下,写入和更新记录要使用集群节点上那个时刻的时间戳,大多数情况下,这也是很正确的选择,但某些情况例外.比如,实际情况下交易发生的时间通常回合HBase的记录时间存在几个小时或者几天的延迟.这种情况下,通常以交易实际的发生时间设置时间戳.

2017-08-06

不要让Hadoop成为Had oops！

可悲的是，一些组织似乎认为，应对数据挑战非常简单：“Just add Hadoop!”，然而直到他们拥有太多的Hadoop或Hadoop装在了错误的位置时，才意识到了问题所在。

2017-08-02

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。