How can R and Hadoop be used together?-低调大师

How can R and Hadoop be used together?

2017-10-16 584

Referer: http://www.quora.com/How-can-R-and-Hadoop-be-used-together/answer/Jay-Kreps?srid=OVd9&share=1

Another way to answer this question is that they don't really integrate very well.

The advantage of R is not its syntax but rather the incredible library of primitives for visualization and statistics. These libraries are fundamentally non-distributed, and almost always operate on data resident in memory. So, for example, if you are finding R's glm method slow (or completely infeasible) on a particular dataset, there is really no way to make it run faster with Hadoop.

The reason it is important to point this out is that
1. Transparently distributed R is every data geeks wet dream.
2. I have sat through numerous presentations from distributed database vendors claiming to provide this.

What hadoop and database vendors can provide is the ability to run R in parallel on lots of little data sets. Virtually none of the libraries will work on a data set larger than memory.

Referer: http://www.quora.com/How-can-R-and-Hadoop-be-used-together/answer/Jay-Kreps?srid=OVd9&share=1

声明：如有转载本博文章，请注明出处。您的支持是我的动力！文章部分内容来自互联网，本人不负任何法律责任。

本文转自bourneli博客园博客，原文链接：http://www.cnblogs.com/bourneli/p/3233398.html ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/389842

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

赋能数据处理能力阿里云MaxCompute助企业洞察市场

阿里云在上月中，就将MaxCompute大数据计算服务向香港市场开放上线，此前该服务已先后于中国大陆及新加坡推出。阿里巴巴集团旗下电子商务平台最大特点及优势，在于其平台上的人工智能及大数据处理能力，可以洞察消费者的需要，并因不同人的偏好而提供个性化设定，大大提升消费者体验，并可为商家反馈重要的市场数据，从而精准去计划市场策略。这样强大的人工智能技术，背后是由阿里云独立研发的大数据处理平台MaxCompute提供服务，而这亦不再是商家遥不可及的技术；阿里云在上月中，就将MaxCompute大数据计算服务向香港市场开放上线，此前该服务已先后于中国大陆及新加坡推出。由此，除了在阿里旗下电商平台的商家体验到MaxCompute背后发挥的作用之外，如今任何商家有兴趣，都可以通过在MaxCompute平台上构建的算法去洞察消费者的需要，而且M

2017-10-16

599

新特性概览 1.【重磅介绍】可视化作业自助分析 2.【新增】可视化表结构编辑器 3.【新增】表、函数等全局查找器 4.【新增】浏览内建函数及使用说明 5.【优化】作业排队信息新特性介绍 1. 【重磅介绍】可视化作业自助分析 MaxCompute Studio 2.8.1 版本提供了全新的可视化 MaxCompute 作业自助分析功能其中: 左侧窗格 1⃣ 为作业管理器（Job Explorer），显示作业列表，显示单个作业时可以收起，以节省空间，扩大作业详情显示面积。右侧区域 2⃣ 为作业详情显示部分，它进一步分为两个区域：左侧区域为作业基本信息显示区，层级列表。右侧区域为详情展示和分析区。上部的标签页 3⃣ 用于切换不同的功能区作业执行计划为缺省的功能首页，展示了其物理执行计划 4⃣，可以通过缩放控件和右下角的鹰眼控件调整大小和视区页面

2017-10-16

688

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。