MaxCompute上你从未体验过的数据分析和机器学习过程-低调大师

MaxCompute上你从未体验过的数据分析和机器学习过程

2016-09-08 716 89

在MaxCompute上，大家有很多种分析和机器学习的方式。大家可以用在数加的web界面编写SQL，提交SQL作业；可以用console直接执行SQL，等等等。那机器学习呢，大家需要通过PAI命令提交PAI任务，或者在xlab上操作xlib；画图呢？导出数据绘图或者使用xlab。而这一切工具，都是割裂的，你不得不在各个地方进行切换，而且，也没有传统的数据分析和机器学习的快感。

那传统的任务是怎么做的呢，使用RStudio或者jupyter notebook（前身是ipython notebook），R我不熟，但对于Pythoner，用pandas进行数据分析、绘图，再用scikit-learn执行机器学习算法，在一个notebook里，能做所有想做的事情，非常高效。

现在呢，整合这一切的就是PyODPS，我们包含有基础MaxCompu

微信关注我们

原文链接：https://yq.aliyun.com/articles/60282

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark会把数据都载入到内存么？

前言很多初学者其实对Spark的编程模式还是RDD这个概念理解不到位，就会产生一些误解。比如，很多时候我们常常以为一个文件是会被完整读入到内存，然后做各种变换，这很可能是受两个概念的误导： RDD的定义，RDD是一个分布式的不可变数据集合 Spark 是一个内存处理引擎如果你没有主动对RDDCache/Persist,它不过是一个概念上存在的虚拟数据集，你实际上是看不到这个RDD的数据的全集的(他不会真的都放到内存里)。 RDD的本质是什么一个RDD 本质上是一个函数，而RDD的变换不过是函数的嵌套。RDD我认为有两类：输入RDD,典型如KafkaRDD,JdbcRDD 转换RDD，如MapPartitionsRDD 我们以下面的代码为例做分析： sc.textFile("abc.log").map().saveAsTextFile("") textFile 会构建出一个NewHadoopRDD, map函数运行后会构建出一个MapPartitionsRDD saveAsTextFile触发了实际流程代码的执行所以RDD不过是对一个函数的封装，当一个函数对数据处理完成后，我...

628

通过ambari安装hadoop集群（二）

开始安装，输入主机名字，然后选择私钥。注意java_home那里需要改为/usr/jdk64/jdk1.6.0_31，然后点击确认，它会出一个警告提示，别管他就行。等待安装完毕之后，就会出现成功的提示，下面出现黄字的，查看一下warning，除了有mysql账户的问题之外，别的都要处理掉，否则安装过程会出问题的。搞定了，要再检查一遍！关闭它，然后进入下一步。全选吧，都要，然后进入下一步，哈哈！因为是小集群，所以我就随便弄了，实际上不能这么搞的，然后点下一步。在HDFS这一页的高级设置里面，找到这个参数，我设置为2，也可以设置成1，但是不能大于前面设置的datanode的数量，比如我只有两个datanode，我就不能设置为2分，否则会出错的。把这个安全认证也禁用了，否则用api访问的时候会说没权限的。在HIVE页签点击下一步，下一步，进入安装过程的等待界面，如下：成功安装的界面，之后在主界面查看如下，全是绿的，行情一片大好啊！注意：ambari-server和ambari-agent不会开机启动，ambari-server是通过ambari-agent来控制每一台机...

577

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。