搭建Gateway向E-MapReduce集群提交作业-低调大师

搭建Gateway向E-MapReduce集群提交作业

2017-06-13 619

Gateway

一些客户需要自主搭建Gateway向E-MapReduce集群提交作业，目前E-MapReduce在产品页面上不支持购买Gateway，后续可以在产品上直接购买Gateway，并把Hadoop环境准备好供用户使用。

购买ECS

在ECS控制台购买ECS，公共镜像系统选择CentOS 7.2

网络

首先要保证Gateway机器在EMR对应集群的安全组中，Gateway节点可以顺利的访问EMR集群。设置机器的安全组请参考ECS的安全组设置说明。

环境

EMR-3.1.1版本

将下面脚本拷贝到Gataway机器并执行.

示例: sh deploy.sh 10.27.227.223 /root/master_password_file
备注:

master_ip是master的内网ip

master_password_file里面保存登陆mas

微信关注我们

原文链接：https://yq.aliyun.com/articles/103249

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

用Java代码调用MaxCompute

MaxCompute的客户端的工具odpscmd是好东西，什么都能干。但是它不方便在自己的代码做很好的集成，毕竟它是个Shell脚本。那有什么办法把MaxCompute的作业、设置和自己的代码做无缝集成呢，MaxComput SDK就能干这个。本文就实际的工作中最常见的几个场景，做一些示例。详细的使用可以在Maven上下到SDK的文档说明。其实这里面的很多写法都是文档里有的，或者在帮助文档里有写过类似的例子。这里就做算是做个整理吧。对象操作其实官方的SDK文档里，对这方面的介绍是最多的了，可以参考这里。这里我再针对实际场景里的比较多的创建表和分区做个例子，相信看完这些后对这方面就没有疑惑了 String access_id = "your access id"; String access_key =

2017-06-14

677

Spark Package 要使用Spark库，你首先必须了解的东西是Spark package。它有点像Spark的包管理器。当你给Spark集群提交job时，你可以到存放Spark package的网站下载任何package。所有package都存放在这个站点。http://spark-packages.org/当你想用一个Spark package时，可以在spark-submit命令或者spark- shell命令中增加包选项： $ $Spark_HOME/bin/Spark-shell \ -packages com.databricks:Spark-avro_2.10:2.0.1 如果使用了--packages选项，Spark package就会自动把它的JAR包添加到你指定的路径下。你不仅能在Spark集群上使用社区的库，还能到公开发布自己的库。如果要把一个Spark package发布到这个托管服务下，必须遵守下列规则：源代码必须放在Github上。代码库的名字必须与包名相同。代码库的主分支必须有README.md文件，在根目录下必须有LICENSE文件。换句话...

2017-06-15

552

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。