搜索[mapreduce]结果-低调大师优秀个人博客

精选列表

搜索[mapreduce]，共3589篇文章

Hadoop专业解决方案-第5章开发可靠的MapReduce应用

本章主要内容： 1、利用MRUnit创建MapReduce的单元测试。 2、MapReduce应用的本地实例。 3、理解MapReduce的调试。 4、利用MapReduce防御式程序设计。

2014-03-31

通过Job Committer保证Mapreduce/Spark任务数据一致性

Job Committer是MapReduce用来实现分布式写入一致性的保证，通过Job Committer的各种实现，保证MapReduce任务在各种异常场景中数据写出的一致性。

2020-03-20

自建Hive数据仓库跨版本迁移到阿里云E-MapReduce

深度整合 E-MapReduce与阿里云其它产品（例如，OSS、MNS、RDS 和 MaxCompute 等）进行了深度整合，支持以这些产品作为Hadoop/Spark计算引擎的输入源或者输出目的地。

2020-01-07

[MaxCompute MapReduce实践]通过简单瘦身，解决Dataworks 10M文件限制问题

用户在DataWorks上执行MapReduce作业的时候，文件大于10M的JAR和资源文件不能上传到Dataworks，导致无法使用调度去定期执行MapReduce作业。

2018-08-30

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

我们采用MapReduce来对数据进行预处理，预处理之后的结果，我们也是保存到HDFS中，即采用如下的架构： 4.3 数据清洗过程：MapReduce程序编写数据清洗的过程主要是编写MapReduce

2018-04-08

Hadoop MapReduce编程 API入门系列之查找相同字母组成的字谜（三）

; 17 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 18 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat

2017-11-13

Hadoop MapReduce编程 API入门系列之网页流量版本1（二十一）

package zhouls.bigdata.myMapReduce.areapartition; import java.util.HashMap; import org.apache.hadoop.mapreduce.Partitioner

2017-11-12

《R与Hadoop大数据分析实战》一1.6 HDFS和MapReduce架构

本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第1章，第1.6节，作者（印）Vignesh Prajapati，更多章节内容可以访问云栖社区“华章计算机”公众号查看 1.6 HDFS和MapReduce

2017-07-02

《R与Hadoop大数据分析实战》一2.2 Hadoop MapReduce技术简介

本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第2章，第2.2节，作者（印）Vignesh Prajapati，更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.2 Hadoop MapReduce

2017-07-02

《Hadoop与大数据挖掘》一2.3.3 MapReduce常用命令mapred job

2.3.3 MapReduce常用命令mapred job MapReduce常用命令就是job相关命令，该命令相关参数及描述如代码清单2-20所示。

2017-06-25

《MapReduce 2.0源码分析与编程实战》一1.2 大数据分析时代

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章，第1.2节，作者：王晓华责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。

2017-05-01

《MapReduce 2.0源码分析与编程实战》一1.5 看，大象也会跳舞

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章，第1.5节，作者：王晓华责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。

2017-05-01

《MapReduce 2.0源码分析与编程实战》一1.1 数据管理系统：速成

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章，第1.1节，作者：王晓华责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。

2017-05-01

《Hadoop MapReduce实战手册》一第1章搭建Hadoop并在集群中运行

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，作者：【美】Srinath Perera , Thilina Gunarathne 译者：杨卓荦责编：杨海玲，更多章节内容可以访问云栖社区

2017-05-01

《Flume日志收集与MapReduce模式》一1.4 源、通道与接收器

本节书摘来自华章出版社《Flume日志收集与MapReduce模式》一书中的第1章，第1.4节，作者［美］史蒂夫·霍夫曼（Steve Hoffman）斯里纳特·佩雷拉（Srinath Perera）

2017-05-01

hadoop权威指南学习(一) - 天气预报MapReduce程序的开发和部署

import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper

2017-04-10

开源深度学习库BigDL在阿里云E-MapReduce上的实践

近些年来机器学习中的子领域深度学习成为一个热门的话题，特别是在围棋领域，谷歌的AlphaGo也使用了深度学习的技术。在大数据领域，Spark MLlib是一个很流行的机器学习算法库，如果你想用Spark来做深度学习训练，MLlib还无法很好的支持。本文要介绍Intel开源的深度学习框架BigDL，他也是在Spark上的一个算法库，提供了全面的深度学习算法支持，包括数值计算（Tensor）和高阶神经网络等。因为BigDL是在Spark上运行的，借助Spark平台的分布式扩展性，可以方便的扩展到上百或上千个节点。同时BigDL利用了Intel MKL等先进的数学计算库，基于Intel CPU计算能力可能取得媲美GPU的性能。 BigDL的使用场景 BigDL可能使用在下列场景中：直接在Hadoop或Spark平台上使用深度学习进行大数据分

2017-04-04

【Hadoop Summit Tokyo 2016】Apache Hadoop 3.0 ：YARN和MapReduce有什么新特性？

本讲义出自Junping Du在Hadoop Summit Tokyo 2016上的演讲，主要分享了在Apache Hadoop 3.0中YARN和MapReduce已经拥有和正在演进的新特性，并且对于

2017-02-27

梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践

专注新闻资讯的梨视频近来表现亮眼。梨视频由前澎湃新闻掌门人邱兵创立。在上线之前，它就获得了黎瑞刚华人文化近1亿美元投资，旗下《微辣》栏目总播放量已经超过4亿，并在上线1个月后获得“年度视频新媒体”大奖。这样一款脱胎于传统媒体的创业型短视频软件，在视频领域异军突起，不仅让内人士在感叹梨视频内容生产力之强大的同时，也诧异于是谁在为梨视频的庞大用户体量提供技术支撑、保证视频流畅？今天就和大家分享梨视频如何基于阿里云快速搭建一个套推荐系统。以下案例分享全部基于实战——梨视频第一代推荐系统。梨视频在上线初期用户量增长很快，基于阿里云搭建的推荐系统扛住了流量的压力也很出色的完成了初期用户兴趣视频推荐功能。推荐系统脱离不开数据收集处理系统，数据既是推荐数据来源，也是验证推荐系统重要依据。选型对梨视频这样的创业公司来说，技术选型需要考虑的是：快速

2017-01-15

使用E-MapReduce服务处理阿里云文件存储（NAS）的数据

E-MapReduce服务是阿里云上的开源大数据解决方案，可以帮用户构建基于Hadoop等开源组件的大数据平台。

2016-12-11

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

Hadoop专业解决方案-第5章 开发可靠的MapReduce应用

通过Job Committer保证Mapreduce/Spark任务数据一致性

自建Hive数据仓库跨版本迁移到阿里云E-MapReduce

[MaxCompute MapReduce实践]通过简单瘦身，解决Dataworks 10M文件限制问题

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

Hadoop MapReduce编程 API入门系列之查找相同字母组成的字谜（三）

Hadoop MapReduce编程 API入门系列之网页流量版本1（二十一）

《R与Hadoop大数据分析实战》一1.6 HDFS和MapReduce架构

《R与Hadoop大数据分析实战》一2.2 Hadoop MapReduce技术简介

《Hadoop与大数据挖掘》一2.3.3 MapReduce常用命令mapred job

《MapReduce 2.0源码分析与编程实战》一1.2 大数据分析时代

《MapReduce 2.0源码分析与编程实战》一1.5 看，大象也会跳舞

《MapReduce 2.0源码分析与编程实战》一1.1 数据管理系统：速成

《Hadoop MapReduce实战手册》一第1章 搭建Hadoop并在集群中运行

《Flume日志收集与MapReduce模式》一1.4 源、通道与接收器

hadoop权威指南学习(一) - 天气预报MapReduce程序的开发和部署

开源深度学习库BigDL在阿里云E-MapReduce上的实践

【Hadoop Summit Tokyo 2016】Apache Hadoop 3.0 ：YARN和MapReduce有什么新特性？

梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践

使用E-MapReduce服务处理阿里云文件存储（NAS）的数据

资源下载

Nacos

Spring

Rocky Linux

Sublime Text

欢迎您来访！

Hadoop专业解决方案-第5章开发可靠的MapReduce应用

《Hadoop MapReduce实战手册》一第1章搭建Hadoop并在集群中运行