E-MapReduce大数据安全实践-低调大师

E-MapReduce大数据安全实践

2017-12-03 543

E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群，即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。

企业级安全

一个大数据集群的企业级安全，从外到内可以分为几层:

边界安全

如网络的隔离，使用vpc/安全组/iptables等。

认证(Authentication)

只有可信的得到合法身份认证的用户才能够访问集群。
开源组件通用的认证方案是集成Kerberos(如HDFS/YARN/HBase等)，也有用户名/密码(如hue等)。

授权(Authorization)

将开源组件里面的具体资源的操作权限授予用户，未被授权的用户无法访问资源。

加密(Encryption)

通道/数据的加密，如HDFS存储

微信关注我们

原文链接：https://yq.aliyun.com/articles/277999

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

机器学习（三）--- scala学习笔记

Scala是一门多范式的编程语言，一种类似Java的编程语言，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。 Spark是UC Berkeley AMP lab所开源的类HadoopMapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。一、scala学习 2. scala函数式编程二、spark学习 1. spark API编程。 spark算子分为两种，transformation和action。transformation是根据先有的rdd经过运算得到新的rdd，而action则是在数据集上进行运算后，返回一个值。而且Spark中所有的transformation都是惰性的，只有在一个action要求返回结果时才会进行计算。 2. RDD的宽依赖和窄依赖： Spark Transformat...

2017-12-04

559

Elasticsearch【正则搜索】分析&实践

Regexp Query regexp允许使用正则表达式进行term查询.注意regexp如果使用不正确，会给服务器带来很严重的性能压力。比如.*开头的查询，将会匹配所有的倒排索引中的关键字，这几乎相当于全表扫描，会很慢。因此如果可以的话，最好在使用正则前，加上匹配的前缀。在正则中如果使用.*?或者+都会降低查询的性能。注意：是term查询,也就是说这个查询不能跨term。举个简单的例子: GET /_search { "query": { "regexp":{ "name.first": "s.*y" } } } 正则支持的一些标准的用法：搜索关键词的一部分如果给定的term是abcde ab.* 可以匹配 abcd 不可以匹配也支持使用^或者$来指定开头或者结尾。允许特殊字符一些特殊字符是需要转义的，比如: . ? + * | { } [ ] ( ) " \ # @ & < > ~ 如果想要搜索某个固定的词，也可以加上双引号。匹配任何字符 .可以匹配任意字符，比如 ab... a.c.e 这几个都可以匹配abcde 匹配一个或者多个使用+表示匹...

2017-12-05

610

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。