开源大数据周刊-第1期-低调大师

开源大数据周刊-第1期

2016-04-17 740 89

阿里云E-Mapreduce动态

阿里云E-Mapreduce 1.3版本发布

E-Mapreduce提供包年包月服务（比按需便宜约60%）
用户可通过引导操作自定义安装软件、自定义配置
同时还能创建使用Hbase集群
通过open-API进行创建集群、提交作业等各种操作

资讯播报

大数据领域投融资总金额超24亿元
```
   大数据行业已披露金额融资总额约24.2亿元人民币;大数据行业共计发生37起投融资事件;大数据各细分领域中，应用类获得融资占比81.1%
```
大数据创业此起彼伏，在去年9个月投融资总金额超24亿元，如最近同盾科技宣布完成3200万美元B+轮融资，健康大数据平台碳云智能完成A轮10亿元融资估值近10亿美金，目前大数据正处于黄金时期，对于未来潜力无限。
Google推出支持分布式计算的TensorFlow 0.8
谷歌开源人工智能深度学习系

微信关注我们

原文链接：https://yq.aliyun.com/articles/30795

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-04-18 00:00:00

MapReduce计算框架

MapReduce计算框架一、MapReduce实现原理图展示了MapReduce实现中的全部流程，处理步骤如下： 1、用户程序中的MapReduce函数库首先把输入文件分成M块(每块大小默认64M)，在集群上执行处理程序，见序号1 2、主控程序master分配Map任务和Reduce任务给工作执行机器worker。见序号2 3、一个分配了Map任务的worker读取并处理输入数据块。从数据片段中解析出key/value键值对，然后把其传递给Map函数，由Map函数生成并输出中间key/value键值对集合，暂缓内存中。见序号3 4、缓存中key/value键值对通过分区函数分成R个区域，之后周期性地写到本地磁盘上。同时将本地磁盘的存储位置传给master，由master负责把这些存储位置再传递给Reduce worker，见序号4 5、当Reduce worker收到master的存储位置信息后，使用RPC从Map worker所在的磁盘上读取数据。最后通过对key进行排序使得具有key值的数据聚合到一起。见序号5 6、Reduce worker程序遍历排序后的中间数据。Redu...

630

2016-04-18 00:00:00

MapReudce源码分析之Mapper

Mapper是MapReduce编程模型中一个将输入的key/value对映射成一组中间key/value对的组件。Map是将输入记录转换成中间记录的单个任务。被转换的中间记录不需要与输入记录一样的类型。一个给定的输入对可能被映射成0个货多个输出对。Hadoop的MapReduce框架为作业中输入格式InputFormat产生的每个输入分片InputSplit产生一个Map任务。通过JobContext的getConfiguration()方法，Mapper的实现者可以获得任务的配置信息。MapReduce框架中Map部分首先会调用setup()方法，然后接着为输入分片的每个KeyValue对调用map()方法进行处理，最见后再调用cleanup()方法。所有给定输出key相关的中间值随后会被框架进行分组，继而被传递给Reducer以确定最终的输出。通过指定两个关键的RawComparator类，用户可以控制排序和分组。Mapper输出被每个Reducer分区。通过实现一个定值分区器Partitioner，用户可以控制哪些key和相关记录进入哪个Reducer。 Mapper的执...

606

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。