搜索[mapreduce]结果-低调大师优秀个人博客

精选列表

搜索[mapreduce]，共3589篇文章

使用Mapreduce案例编写用于统计文本中单词出现的次数的案例、mapreduce本地运行等，Combiner使用及其相关的知识，流量统计...

; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.input.TextInputFormat

2017-06-01

0019-Yarn的JobHistory目录权限问题导致MapReduce作业异常

1.问题描述 Hive的MapReduce作业无法正常运行，日志如下： 0: jdbc:hive2://localhost:10000_>_select count(*) from student

2018-11-18

E-MapReduce(Hadoop)10大类问题之集群规划

在云环境E-MapReduce中，各种搭配是比较自由的。当前，cpu跟memory的比例有1：2及1：4的。

2018-11-04

E-MapReduce支持计算与存储分离,成本下降1倍

Hadoop一出生就是存储与计算在一起的，前几年面试题中都问，Hadoop怎么保证高性能呢？其中一个原因是存储不动，计算(code)动，不同于传统的集中式的存储模式。那我们为什么还要谈存储计算分离呢？众观历史，分久必合、合久必分，在计算机历史中也很类似，如今，也许到了计算与存储分离的阶段。后面我们以实际的case说明，分离的好处与劣势。为什么呢？先说一个笔者的，也应该是大家的经历：笔者家里的带宽是100mpbs，现在从来不保存电影，要看直接下载，基本几分钟就好了。这在几年前不可想象。笔者也在《云上Hadoop之挑战》中分析了其中的挑战，其中有本地化的挑战：带宽的速度，特别是机房内带宽的速度，已经从1000mps、2000mps、10000mps，甚至100000mpbs。但是磁盘的速度基本没有太大的变化。因为硬件的变化，带来了

2018-11-04

如何在E-MapReduce上提交Storm作业处理Kafka数据

序言本文演示如何在E-MapReduce上部署Storm集群和Kafka集群，并运行Storm作业消费Kafka数据。 1.

2018-02-08

Alibaba Cloud E-MapReduce vs AWS EMR vs. Azure HDInsight

Big Data is among the biggest IT trends of the last five years. The idea behind this trend is that given a sufficiently large volume of data, it is possible to derive crucial business insights that could not be discovered through other methods. Of course, running Big Data analytics at scale requires a significant amount of processing power, and tools for parsing the da

2017-12-25

Hadoop MapReduce编程 API入门系列之倒排索引（二十四）

tokens for job: job_local1000661716_0001 2016-12-12 21:54:06,184 INFO [org.apache.hadoop.mapreduce.Job

2017-11-20

MapReduce按照两个字段对数据进行排序

org.apache.hadoop.io.Text; 10 import org.apache.hadoop.io.WritableComparable; 11 import org.apache.hadoop.mapreduce.Job

2017-11-20

Hadoop MapReduce编程 API入门系列之二次排序（十六）

] - Total input paths to process : 1 2016-12-12 17:04:33,161 INFO [org.apache.hadoop.mapreduce.JobSubmitter

2017-11-19

Hadoop MapReduce概念学习系列之mr程序组件全貌（二十）

其实啊,spilt是，控制Apache Hadoop Mapreduce的map并发任务数，详细见http://www.cnblogs.com/zlslch/p/5713652.html map，是mapper

2017-11-14

Hadoop MapReduce编程 API入门系列之网页排序（二十八）

] - Total input paths to process : 1 2016-12-13 19:07:45,245 INFO [org.apache.hadoop.mapreduce.JobSubmitter

2017-11-12

Spark Tachyon实战应用（配置启动环境、运行spark和运行mapreduce）

配置及启动环境修改spark-env.sh 启动HDFS 启动Tachyon Tachyon上运行Spark 添加core-site.xml 启动Spark集群读取文件并保存 Tachyon运行MapReduce

2017-11-04

【Coursera课程笔记】Web智能和大数据Week3_MapReduce

MapReduce编程方式 MR是一种编程模式。基于这种编程模式，可以有多种实现，鼎鼎大名的Hadoop就是其中之一。

2017-09-12

Storm、Spark和MapReduce 开源分布式计算系统框架比较

比较项 Storm Spark Streaming 分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm；

2017-07-31

《Hadoop与大数据挖掘》一2.3.5 动手实践：运行MapReduce任务

2.3.5 动手实践：运行MapReduce任务实验步骤如下：1）上传/root/anaconda-ks.cfg文件到HDFS文件系统/user/root目录；2）使用yarn jar的方式提交任务，

2017-06-25

MapReduce原理与设计思想（转载：http://blog.jobbole.com/80619/）

简单解释 MapReduce 算法一个有趣的例子你想数出一摞牌中有多少张黑桃。

2017-06-01

《MapReduce 2.0源码分析与编程实战》一1.1 大数据时代

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章，第1.1节，作者：王晓华责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。

2017-05-01

《MapReduce 2.0源码分析与编程实战》一第2章入门

本节书摘来异步社区c书中的第2章，第2.1节，作者：王晓华责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。第2章入门 HBase实战本章涵盖的内容连接到HBase和定义表与HBase交互的基本命令 HBase的物理数据模型和逻辑数据模型基于复合行键的查询下面几章的一个目标是教你如何使用HBase。作为一名应用开发人员，首先你要适应HBase的特性。你将学习HBase的逻辑数据模型（logical data model），访问HBase的各种方式，以及如何使用这些API的细节。另外一个目标是教你进行HBase模式（schema）设计。HBase有着和以往关系型数据库不同的物理数据模型（physical data model）。我们将介绍一些HBase物理模型的基本原理，以便设计数据模型时你能够利用它对自已的应用系统进行优化。为了完成这些目标，你将从头开始搭建一个应用系统。请允许我们给你介绍一下完全建立在HBase上的TwitBase，它是社交网络Twitter的简化克隆版。我们不会实现Twitter的所有功能，而且这也不是一个准备投入使用的系统。我们只是把TwitBase看做Twitter的初级原型产品。TwitBase和Twitter早期版本的主要区别是，TwitBase设计中考虑了可扩展性，因此需要依赖数据存储来实现这一点。本章从基本原理开始讲起。你会看到如何创建HBase表，如何导入数据和读取数据。我们将介绍HBase处理数据的基本操作，以及数据模型的基本组件。同时，你会学到一些HBase的内部工作机制。这些知识可以帮助你在模式设计时作出正确决定。本章是学习HBase和其余章节的起点。要获取本章及全书的代码，请访问 https://github.com/hbaseinaction/twitbase。

2017-05-01

《MapReduce 2.0源码分析与编程实战》一2.1 从头开始

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第2章，第2.1节，作者：王晓华责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。

2017-05-01

《Hadoop MapReduce实战手册》一2.9 使用HDFS的C API（libhdfs）

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.9节，作者：【美】Srinath Perera , Thilina Gunarathne 译者：杨卓荦责编：杨海玲

2017-05-01

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

使用Mapreduce案例编写用于统计文本中单词出现的次数的案例、mapreduce本地运行等，Combiner使用及其相关的知识，流量统计...

0019-Yarn的JobHistory目录权限问题导致MapReduce作业异常

E-MapReduce(Hadoop)10大类问题之集群规划

E-MapReduce支持计算与存储分离,成本下降1倍

如何在E-MapReduce上提交Storm作业处理Kafka数据

Alibaba Cloud E-MapReduce vs AWS EMR vs. Azure HDInsight

Hadoop MapReduce编程 API入门系列之倒排索引（二十四）

MapReduce按照两个字段对数据进行排序

Hadoop MapReduce编程 API入门系列之二次排序（十六）

Hadoop MapReduce概念学习系列之mr程序组件全貌（二十）

Hadoop MapReduce编程 API入门系列之网页排序（二十八）

Spark Tachyon实战应用（配置启动环境、运行spark和运行mapreduce）

【Coursera课程笔记】Web智能和大数据Week3_MapReduce

Storm、Spark和MapReduce 开源分布式计算系统框架比较

《Hadoop与大数据挖掘》一2.3.5 动手实践：运行MapReduce任务

MapReduce原理与设计思想（转载：http://blog.jobbole.com/80619/）

《MapReduce 2.0源码分析与编程实战》一1.1 大数据时代

《MapReduce 2.0源码分析与编程实战》一第2章 入门

《MapReduce 2.0源码分析与编程实战》一2.1 从头开始

《Hadoop MapReduce实战手册》一2.9 使用HDFS的C API（libhdfs）

资源下载

Nacos

Spring

Sublime Text

WebStorm

欢迎您来访！

《MapReduce 2.0源码分析与编程实战》一第2章入门