YARN REST API-低调大师

YARN REST API

2016-08-14 791 89

先附官网地址

查看指定队列的所有任务：

GET http://<rm http address:port>/ws/v1/cluster/apps?queue=dev

查看指定任务的详细信息：

GET http://<rm http address:port>/ws/v1/cluster/apps/application_1326821518301_0005

监控任务：

curl 'http://<rm http address:port>/ws/v1/cluster/apps/application_1409421698529_0012/state'

GET http://<rm http address:port>/ws/v1/cluster/apps/application_1409421698529_0012/state

杀死任务：

curl -v -X PUT -d '{"state": "KILLED"}''http://<rm http address:port>/ws/v1/cluster/apps/application_1409421698529_0012'

PUT http://<rm http address:port>/ws/v1/cluster/apps/application_1399397633663_0003/state

查询集群调度器详情(包含队列详情)：

GET http://<rm http address:port>/ws/v1/cluster/scheduler

查询整个集群指标：

GET http://<rm http address:port>/ws/v1/cluster/metrics

微信关注我们

原文链接：https://yq.aliyun.com/articles/59117

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark的这些事<二>——几个概念

1、SparkContext [经常简称为 sc] spark app 的起点和入口，一般用来加载数据集，生成第一个 rdd。 2、定义一个 spark 应用程序所需要的三大步骤的逻辑：加载数据集，处理数据，结果展示。加载数据集加载数据集，这里的数据集大概分为两组: - 一种是不变的，静态数据集，大多数场景都是从数据库，文件系统上面加载进来 - 另一种是动态的数据集，一般做 streaming 应用的时候用到，大多数场景是通过 socket 来加载数据，复杂场景可以通过文件系统，akka actors，kafka，kinesis 和一些第三方提供的 streaming api [twitter 等] 来作为数据源加载数据处理数据处理数据，这是重点中的重点，不过不外乎都是从三个方面来完成这里的数据清理，逻辑运算等: - 自定义的一些复杂处理函数或者第三方包 [下面我们称为函数集] - 通过 RDD 的 transform，action 和函数集来完成整个处理，计算流程 - 通过 RDD 提供的 cache，persist，checkpoint 方法把一些处理流程中的重要处理节点...

584

开源大数据周刊-第18期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4.1版本（已经发布）完善失败报警完善定时任务，增加小时、分钟定时任务 1.5.0版本（正在研发）集群整体运行情况的仪表盘集群状态监控报警 1.6.0版本交互式查询（支持hive、spark）资讯 E-MapReduce(Hadoop)10大类问题之集群规划所有的使用Hadoop或者打算使用Hadoop的公司肯定会遇到集群规划的问题，我到底使用多大的集群规模呢?有没有一个标准呢? 本篇文章就为你介绍集群规划。大数据应用案例：身体数据开启汽车防盗新境界如今，生物识别技术到处可见，指纹识别成了最新款智能手机的标配，DNA鉴定技术也已普及，脸部识别结果也越来越受人们信赖，还有很多生物识别技术潜伏在边缘地带。对于汽车防盗来说，有了大数据，车主就真的可以高枕无忧了吗谁能引爆大数据?

731

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

YARN REST API

Spark的这些事<二>——几个概念

开源大数据周刊-第18期

相关文章

发表评论

资源下载

优质分享Android(本站安卓app)

Mario，低调大师唯一一个Java游戏作品

Eclipse（集成开发环境）

Java Development Kit(Java开发工具)

欢迎您！

YARN REST API

Spark的这些事&lt;二&gt;——几个概念

开源大数据周刊-第18期

相关文章

发表评论

资源下载

优质分享Android(本站安卓app)

Mario，低调大师唯一一个Java游戏作品

Eclipse（集成开发环境）

Java Development Kit(Java开发工具)

欢迎您！

Spark的这些事<二>——几个概念