Hortonworks(HDP)开发者认证-考试大纲-低调大师

Hortonworks(HDP)开发者认证-考试大纲

2017-05-18 685

本项目是 Hortonworks开发者认证官方文档的中文翻译版，Hortonworks致力于打造一个全新的大数据处理平台来满足大数据处理和分析的各个使用场景，它组合了大数据平台使用的各个组件, 比如Hadoop、Hbase、Hive、Spark等等一些列的组件, 它安装方便使用便捷, 而且已经在2000节点以上的节点上商用. 本次翻译主要针对对Hortonworks感兴趣和致力于从事大数据方法开发的人员提供有价值的中文资料，希望能够对大家的工作和学习有所帮助。

由于我公司鼓励大家考Hortonworks认证(呵呵,公司出费用)，于是今天简单的看了下官方考试大纲，感觉还不错，故翻译了下供大家参考学习，本次翻译并没有咬文嚼字, 而是根据我个人的理解进行翻译, 由于本人能力有限难免有些地方翻译不到位，还希望大家谅解，同时也鼓励大家去看官方文档。

基于真才实学的认证

认证概述

Hortonworks重新设计了它的开发者认证程序, 为了创建一个通过在Hortonworks(HDP)集群上亲自操作所获取的专业知识的认证体系, 而不是回答多项选择问题. HDP开发者认证考试(HDPCD)第一个比较新颖的地方是亲自实践的, 基于性能的考试, 它设计的目的面向那些工作中经常使用像 Pig, Hive, Sqoop and Flume的开发者.

认证(考试)目的

开发者认证的目的是为了给组织和公司提供一种辨别是否是一个合格的大数据应用开发者, 这种认证实在开源的HDP平台对Pig, Hive, Sqoop and Flume组件对数据的存储、运行和分析的应用.

考试描述

考试主要涉及到三个分类:

数据获取
数据转换
数据分析

考试是在HDP2.2版本上面进行, 通过 Ambari 1.7.0来进行管理, HDP2.2包括 Pig 0.14.0, Hive 0.14.0, Sqoop 1.4.5, 和Flume 1.5.0. 每位考生都可以访问HDP 2.2 集群并在集群上进行一些列任务操作.

考试目的

浏览完成下面任务, 它包括一些指向文档和资源的连接

怎么注册

在 www.examslocal.com 网站创建一个帐号. 注册之后登陆, 选择“Schedule an Exam”, 然后进入“Search Here”输入“Hortonworks”进行搜索,然后选择Hortonworks开发者认证考试.

考试卷购买之后一年之内有效.

时间
2小时

模拟考试

Hortonworks官方提供考生的模拟考试和认证考试的环境和任务是相似的 . 点击 [Practice Exam] 下载安装开始模拟考试.

考试及格情况说明
通过 (MQC)认证的考生需要通过开源的Hortonworks数据平台中的Pig、Hive、Sqoop和Flume对数据进行提取，转换和分析

Prerequisites

想获取HDPCD认证的考生需要完成考试大纲下面的所有任务.

语言

考试语言是英文

Hortonworks大学

Hortonworks 大学是你的专业指导对于Hadoop培训和认证. 考生可以通过公开课程和非公开课程是进行学习. 课程结合通过真实的Hadoop环境演示动手试验来进行.

HDP开发者考试的目的

HDPCD考试的考试需要完成下面每项操作:

类型	任务	源(s)
数据获取	通过Hadoop Shell把本地文件上传到HDFS	http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#put
	使用Hadoop Shell在HDFS上创建一个新的目录	http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#mkdir
	从一个关系型数据库中导入数据到HDFS	http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_literal_sqoop_import_literal
	导入关系型数据的查询结果到HDFS	http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_free_form_query_imports
	从一个关系型数据库中导入数据到一个新的或者已经存在的Hive表里	http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_importing_data_into_hive
	从 HDFS里面插入和更新数据到关系型数据库里面	http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_literal_sqoop_export_literal
	给你一个Flume配置文件，启动一个 Flume agent	https://flume.apache.org/FlumeUserGuide.html#starting-an-agent
	给你一个配置好的 sink 和source, 配置一个 Flume 固定容量的内存 channel	https://flume.apache.org/FlumeUserGuide.html#memory-channel

类别	任务	源(s)
数据转换	写出并执行一个pig脚本	https://pig.apache.org/docs/r0.14.0/start.html#run
	加载一个没有schema信息数据到Pig	https://pig.apache.org/docs/r0.14.0/basic.html#load
	加载数据到Pig里面并关联一个schema	https://pig.apache.org/docs/r0.14.0/basic.html#load
	从Hive表里面加载数据到Pig	https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore
	通过Pig把加载的数据格式化	https://pig.apache.org/docs/r0.14.0/basic.html#foreach
	转换数据匹配一个给定的Hive schema	https://pig.apache.org/docs/r0.14.0/basic.html#foreach
	对 Pig 中数据进行分组	https://pig.apache.org/docs/r0.14.0/basic.html#group
	使用Pig移除记录里面关联的空值	https://pig.apache.org/docs/r0.14.0/basic.html#filter
	把 Pig 中的数据保存到HDFS中指定目录里面	https://pig.apache.org/docs/r0.14.0/basic.html#store

	把 Pig中的数据保存到Hive表里	https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore
	对Pig数据进行排序输出	https://pig.apache.org/docs/r0.14.0/basic.html#order-by
	把Pig中关联重复数据移除	https://pig.apache.org/docs/r0.14.0/basic.html#distinct
	对Pig MapReduce指定reduce任务数量	https://pig.apache.org/docs/r0.14.0/perf.html#parallel
	使用Pig进行关联操作	https://pig.apache.org/docs/r0.14.0/basic.html#join-inner andhttps://pig.apache.org/docs/r0.14.0/basic.html#join-outer
	通过Pig join操作生成一个副本	https://pig.apache.org/docs/r0.14.0/perf.html#replicated-joins
	运行一个Pig 任务通过 Tez	https://pig.apache.org/docs/r0.14.0/perf.html#tez-mode
	在一个Pig 脚本内,通过注册一个Jar来使用定义的函数	https://pig.apache.org/docs/r0.14.0/basic.html#register andhttps://pig.apache.org/docs/r0.14.0/udf.html#piggybank
	在Pig 脚本内, 使用定义的函数定义一个别名	https://pig.apache.org/docs/r0.14.0/basic.html#define-udfs
	在一个Pig 脚本内, 执行一个用户定义函数	https://pig.apache.org/docs/r0.14.0/basic.html#register

类型	任务	源(s)
数据分析	写并执行一个HIve查询	https://cwiki.apache.org/confluence/display/Hive/Tutorial
	定义一个内部表	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create/Drop/TruncateTable
	定义一个扩展表	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-ExternalTables
	定义一个分区表	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-PartitionedTables
	定义一个桶表	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-BucketedSortedTables
	通过查询数据定义一个表	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTableAsSelect(CTAS)
	使用ORCFile 文件格式定义一个表	http://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/

	创建一个新的 ORCFile 表从一个非-ORCFile文件的 Hive 表	http://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/
	为Hive表指定一个存储格式	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-RowFormat,StorageFormat,andSerDe
	为Hive表指定一个分隔符	http://hortonworks.com/hadoop-tutorial/using-hive-data-analysis/
	加载一个目录数据到Hive表中	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables
	从HDFS目录中加载数据到Hive表中	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables
	把查询的结果加载数据到Hive表中	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-InsertingdataintoHiveTablesfromqueries
	加载一个压缩数据到Hive表中	https://cwiki.apache.org/confluence/display/Hive/CompressedStorage
	在Hive表中更新一行记录	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Update
	从 Hive表中删除一条数据	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Delete
	插入一条数据到 Hive 表中	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-InsertingvaluesintotablesfromSQL
	对Hive表进行Join操作	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins
	通过Tez来执行Hive查询	http://hortonworks.com/hadoop-tutorial/supercharging-interactive-queries-hive-tez/
	使用向量化来执行 Hive 查询	http://hortonworks.com/hadoop-tutorial/supercharging-interactive-queries-hive-tez/
	输出Hive执行计划操作结果	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain
	对Hive进行子查询操作	https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SubQueries
	输出Hive统计、排序、交叉、多重操作的查询结果	https://issues.apache.org/jira/browse/HIVE-1402
	设置Hadoop 或Hive 配置属性通过Hive的查询结果中	https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration#AdminManualConfiguration-ConfiguringHive

转载自并发编程网 - ifeve.com

微信关注我们

原文链接：https://yq.aliyun.com/articles/86558

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

5月19日云栖精选夜读：性能追求之路——MaxCompute2.0的前世今生

《大数据计算服务MaxCompute产品最新动态》，首先介绍了MaxCompute的发展历程和技术架构，然后对MaxCompute 2.0版本新特性和新技术进行了详细介绍。热点热议性能追求之路——MaxCompute2.0的前世今生作者：大数据史记 “奔三”了，程序员，你该怎么选择未来的路？作者：薯条酱资源消耗异常，竟是因为比特币挖矿木马作者：阿里云服务器发表在：阿里云服务知识整理 C语言中实现可变参数函数作者：bucky C语言的5种存储类以及关键字volatile、restrict 作者：bucky HBase Phoenix助力海量数据实时分析作者：封神发表在：阿里云E-MapReduce Spring Boot 整合 Elasticsearch，实现 function score query 权重分查询作者：bysocket 存储系统的分类作者：cadem 美文回顾什么样的云数据库架构选型才能做到安全，稳定又可靠？作者：【云行】日志服务(原SLS) 2.5发布：支持SQL进行日志实时分析作者：云雷发表在：阿里云存储服务如何在 Ubuntu ...

2017-05-19

683

1. 空搜索测试数据: https://gist.github.com/clintongormley/8579281 1.1 搜索最基本的搜索API是空搜索(empty search)，它没有指定任何的查询条件，只返回集群索引中的所有文档： curl -XGET 'localhost:9200/_search?pretty' Java版本: SearchRequestBuilder searchRequestBuilder = client.prepareSearch(); SearchResponse response = searchRequestBuilder.get(); 返回的结果如下： { "took": 4, "timed_out": false, "_shards": { "total": 10, "successful": 10, "failed": 0 }, "hits": { "total": 13, "max_score": 1.0, "hits": [ { "_index": "gb", "_type": "tweet", "_id": "5", "_sc...

2017-05-19

588

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。