E-MapReduce大数据安全实践-低调大师

E-MapReduce大数据安全实践

2017-12-03 581

E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群，即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。

企业级安全

一个大数据集群的企业级安全，从外到内可以分为几层:

边界安全

如网络的隔离，使用vpc/安全组/iptables等。

认证(Authentication)

只有可信的得到合法身份认证的用户才能够访问集群。
开源组件通用的认证方案是集成Kerberos(如HDFS/YARN/HBase等)，也有用户名/密码(如hue等)。

授权(Authorization)

将开源组件里面的具体资源的操作权限授予用户，未被授权的用户无法访问资源。

加密(Encryption)

通道/数据的加密，如HDFS存储

微信关注我们

原文链接：https://yq.aliyun.com/articles/277999

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

机器学习（三）--- scala学习笔记

Scala是一门多范式的编程语言，一种类似Java的编程语言，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。 Spark是UC Berkeley AMP lab所开源的类HadoopMapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。一、scala学习 2. scala函数式编程二、spark学习 1. spark API编程。 spark算子分为两种，transformation和action。transformation是根据先有的rdd经过运算得到新的rdd，而action则是在数据集上进行运算后，返回一个值。而且Spark中所有的transformation都是惰性的，只有在一个action要求返回结果时才会进行计算。 2. RDD的宽依赖和窄依赖： Spark Transformat...

2017-12-04

618

Regexp Query regexp允许使用正则表达式进行term查询.注意regexp如果使用不正确，会给服务器带来很严重的性能压力。比如.*开头的查询，将会匹配所有的倒排索引中的关键字，这几乎相当于全表扫描，会很慢。因此如果可以的话，最好在使用正则前，加上匹配的前缀。在正则中如果使用.*?或者+都会降低查询的性能。注意：是term查询,也就是说这个查询不能跨term。举个简单的例子: GET /_search { "query": { "regexp":{ "name.first": "s.*y" } } } 正则支持的一些标准的用法：搜索关键词的一部分如果给定的term是abcde ab.* 可以匹配 abcd 不可以匹配也支持使用^或者$来指定开头或者结尾。允许特殊字符一些特殊字符是需要转义的，比如: . ? + * | { } [ ] ( ) " \ # @ & < > ~ 如果想要搜索某个固定的词，也可以加上双引号。匹配任何字符 .可以匹配任意字符，比如 ab... a.c.e 这几个都可以匹配abcde 匹配一个或者多个使用+表示匹...

2017-12-05

644

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。