搜索[mapreduce]结果-低调大师优秀个人博客

精选列表

搜索[mapreduce]，共3589篇文章

使用 E-MapReduce 构建云上数据胡

相关阅读推荐：JindoFS - 分层存储关于云原生分布式计算和存储引擎JindoFS，看这一篇就够了相关活动： E- MapReduce 入门训练营火热报名中，点击文末阅读原文抢入营名额！

2020-08-20

E-MapReduce 4月产品新功能

E-MapReduce 4月份新功能：1.EMR Hadoop集群弹性伸缩支持优雅下线，用户可以在弹性伸缩缩容规则中设置等待时长，降低对缩容task节点任务的影响。

2020-05-11

手动搭建Gateway连接阿里云E-MapReduce

网络环境首先要保证 Gateway 节点在 E-MapReduce 对应集群的安全组中，Gateway 节点可以顺利的访问 E-MapReduce 集群。设置节点的安全组请参考创建安全组。

2020-01-06

MapReduce稍微高级编程之PageRank算法的实现

mapreduce是M->R单向过程，那么当需要这么做“M->R->M->R....”的时候,则需要设置累加器传参数。

2019-03-05

Hadoop|启动yarn及在yarn上运行mapreduce

mapred-site.xml文件中添加yarn值，表示在yarn上运行 image.png 运行yarn前删除输出目录，要不会报错 bin/hdfs dfs -rm -R /user/beifeng/mapreduce

2018-02-01

Hadoop MapReduce工作详细流程（Partitioner/SortComparator/GroupingComparator）

转自：http://blog.sina.com.cn/s/blog_7581a4c30102veem.html map阶段 1. 使用job.setInputFormatClass(TextInputFormat)做为输入格式。注意输出应该符合自定义Map中定义的输出。 2. 进入Mapper的map()方法，生成一个List。 3. 在map阶段的最后，会先调用job.setPartitionerClass()对这个List进行分区，每个分区映射到一个reducer。 4. 每个分区内又调用job.setSortComparatorClass()设置的key比较函数类排序(如果没有通过job.setSortComparatorClass()设置key比较函数类，则使用key的实现的compareTo方法)。可以看到，这是一个二次排序。 5. 如果设置了Combiner（job.setCombinerClass）对output进行一次合并，从而减少对reduce的输出流量和预处理reduce的input数据。但不一定会执行，对于Combiner执行时机参考Reference[4]。【说明】以上步骤省略了collect阶段、cache阶段等细节，更详细步骤参考Reference[3] reduce阶段 1. shuffle阶段 reducer开始fetch所有映射到这个reducer的map输出。 2.1 sort阶段再次调用job.setSortComparatorClass()设置的key比较函数类对所有数据对排序(因为一个reducer接受多个mappers，需要重新排序)。 2.2 secondary sort阶段然后开始构造一个key对应的value迭代器。这时就要用到分组，使用jobjob.setGroupingComparatorClass()设置的分组函数类。只要这个比较器比较的两个key相同，他们就属于同一个组，它们的value放在一个value迭代器，而这个迭代器的key使用属于同一个组的所有key的第一个key。 3.reduce阶段最后就是进入Reducer的reduce()方法，reduce()方法的输入是所有的（key和它的value迭代器）。同样注意输入与输出的类型必须与自定义的Reducer中声明的一致。【注意】reducers的输出是无序的。

2017-12-24

MongoDB分布式存储的MapReduce并行查询

今天要介绍的是如何使用MONGODB中提供的MapReduce功能进行查询。今天介绍如何基于sharding机制进行mapreduce查询。

2017-11-28

hadoop 测试第一个mapreduce程序

hadoop自带的实例 wordcount程序（此程序统计每个单词在文件中出现的次数） 2.6.0版本jar程序的路径是 /usr/local/hadoop-2.6.0/share/hadoop/mapreduce

2017-11-21

分布式计算 MapReduce与yarn工作机制

一、第一代hadoop组成与结构第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个

2017-11-15

E-MapReduce上如何升级EMR-Core

本文档将介绍如何将老集群的EMR-Core升级到最新版本什么是EMR-Core EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。

2017-11-15

python调用mrjob实现hadoop的mapreduce日志解析

咱们一般写mapreduce是通过java和streaming来写的，身为pythoner的我， java不会，没办法就用streaming来写mapreduce日志分析。

2017-11-13

MongoDB数据库的MapReduce简单操作（转）

MongoDB也简单的实现了MapReduce的功能来提供分布式的数据查询服务,MapReduce的分布是功能主要用在Shard上 db.runCommand( { mapreduce : <collection

2017-11-11

hadoop mapreduce开发实践之本地文件分发by streaming

: Running job: job_1516345010544_0008 18/01/26 13:30:40 INFO mapreduce.Job: Job job_1516345010544_0008

2017-11-11

hadoop mapreduce开发实践之HDFS文件分发by streaming

Instead, use mapreduce.job.name packageJobJar: [./mapper.py, .

2017-11-11

hadoop mapreduce开发实践之输出数据压缩

1、hadoop 输出数据压缩 1.1、为什么要压缩？输出数据较大时，使用hadoop提供的压缩机制对数据进行压缩，可以指定压缩的方式。减少网络传输带宽和存储的消耗；可以对map的输出进行压缩（map输出到reduce输入的过程，可以shuffle过程中网络传输的数据量）可以对reduce的输出结果进行压缩（最终保存到hdfs上的数据，主要是减少占用HDFS存储） mapper和reduce程序都不需要更改，只需要在streaming程序运行中指定参数即可； -jobconf "mapred.compress.map.output=true" \ -jobconf "mapred.map.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec" \ -jobconf "mapred.output.compress=true" \ -jobconf "mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec" \ 1.2、 run_streaming程序 #!/bin/bash HADOOP_CMD="/home/hadoop/app/hadoop/hadoop-2.6.0-cdh5.13.0/bin/hadoop" STREAM_JAR_PATH="/home/hadoop/app/hadoop/hadoop-2.6.0-cdh5.13.0/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.13.0.jar" INPUT_FILE_PATH="/input/The_Man_of_Property" OUTPUT_FILE_PATH="/output/wordcount/CacheArchiveCompressFile" $HADOOP_CMD fs -rmr -skipTrash $OUTPUT_FILE_PATH $HADOOP_CMD jar $STREAM_JAR_PATH \ -input $INPUT_FILE_PATH \ -output $OUTPUT_FILE_PATH \ -jobconf "mapred.job.name=wordcount_wordwhite_cacheArchivefile_demo" \ -jobconf "mapred.compress.map.output=true" \ -jobconf "mapred.map.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec" \ -jobconf "mapred.output.compress=true" \ -jobconf "mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec" \ -mapper "python mapper.py WHF.gz" \ -reducer "python reducer.py" \ -cacheArchive "hdfs://localhost:9000/input/cachefile/wordwhite.tar.gz#WHF.gz" \ -file "./mapper.py" \ -file "./reducer.py" 1.3、执行程序 $ chmod +x run_streaming_compress.sh $ ./run_streaming_compress.sh ... 中间输出省略 ... 18/02/02 10:51:50 INFO streaming.StreamJob: Output directory: /output/wordcount/CacheArchiveCompressFile 1.4、查看结果 $ hadoop fs -ls /output/wordcount/CacheArchiveCompressFile Found 2 items -rw-r--r-- 1 hadoop supergroup 0 2018-02-02 10:51 /output/wordcount/CacheArchiveCompressFile/_SUCCESS -rw-r--r-- 1 hadoop supergroup 81 2018-02-02 10:51 /output/wordcount/CacheArchiveCompressFile/part-00000.gz $ hadoop fs -get /output/wordcount/CacheArchiveCompressFile/part-00000.gz ./ $ gunzip part-00000.gz $ cat part-00000 and 2573 had 1526 have 350 in 1694 or 253 the 5144 this 412 to 2782 2、hadoop streaming 语法参考 http://blog.51cto.com/balich/2065419 本文转自巴利奇 51CTO博客，原文链接:http://blog.51cto.com/balich/2068046

2017-11-11

用python写MapReduce函数——以WordCount为例

Python MapReduce 代码 2. 在Hadoop上运行python代码 3. 利用python的迭代器和生成器优化Mapper 和 Reducer代码 4.

2017-10-17

阿里云E-MapReduce 创建执行计划

他可以在一个现有的 E-MapReduce 集群上运行，也可以动态的按需创建出一个临时集群来运行作业。它最大的优势就是跑多少就用多少资源，最大化的节省资源的浪费。

2017-08-31

阿里云E-MapReduce 管理执行计划

1.登录阿里云 E-MapReduce 控制台执行计划页面。 2.找到相应的执行计划条目，单击其操作栏中的管理按钮，进入执行计划管理页面。

2017-08-31

阿里云E-MapReduce 执行计划列表

如果是按需的，那么在集群的名字下面会显示（自动创建），表示这个集群是有 E-MapReduce 按需自动创建出来的，运行完成以后会自动释放。最近一次运行情况：最近一次执行计划的运行状态。

2017-08-31

阿里云E-MapReduce Spark SQL 作业配置

2.进入阿里云E-MapReduce控制台作业列表。 3.单击该页右上角的创建作业，进入创建作业页面。 4.填写作业名称。

2017-08-31

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

使用 E-MapReduce 构建云上数据胡

E-MapReduce 4月产品新功能

手动搭建Gateway连接阿里云E-MapReduce

MapReduce稍微高级编程之PageRank算法的实现

Hadoop|启动yarn及在yarn上运行mapreduce

Hadoop MapReduce工作详细流程（Partitioner/SortComparator/GroupingComparator）

MongoDB分布式存储的MapReduce并行查询

hadoop 测试第一个mapreduce程序

分布式计算 MapReduce与yarn工作机制

E-MapReduce上如何升级EMR-Core

python调用mrjob实现hadoop的mapreduce日志解析

MongoDB数据库的MapReduce简单操作（转）

hadoop mapreduce开发实践之本地文件分发by streaming

hadoop mapreduce开发实践之HDFS文件分发by streaming

hadoop mapreduce开发实践之输出数据压缩

用python写MapReduce函数——以WordCount为例

阿里云E-MapReduce 创建执行计划

阿里云E-MapReduce 管理执行计划

阿里云E-MapReduce 执行计划列表

阿里云E-MapReduce Spark SQL 作业配置

资源下载

Mario

Nacos

Sublime Text

WebStorm

欢迎您来访！