《Spark大数据处理：技术、应用与性能优化》——1.2　Spark生态系统BDAS-低调大师

《Spark大数据处理：技术、应用与性能优化》——1.2　Spark生态系统BDAS

2017-07-02 574

本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第1章，第1.2节,作者:高彦杰更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2　Spark生态系统BDAS

目前，Spark已经发展成为包含众多子项目的大数据计算平台。伯克利将Spark的整个生态系统称为伯克利数据分析栈（BDAS）。其核心框架是Spark，同时BDAS涵盖支持结构化数据SQL查询与分析的查询引擎Spark SQL和Shark，提供机器学习功能的系统MLbase及底层的分布式机器学习库MLlib、并行图计算框架GraphX、流计算框架Spark Streaming、采样近似计算查询引擎BlinkDB、内存分布式文件系统Tachyon、资源管理框架Mesos等子项目。这些子项目在Spark上层提供了更高层、更丰富的计算范式。
图1

微信关注我们

原文链接：https://yq.aliyun.com/articles/120205

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

浅谈移动监控在安防行业的应用

一、概述移动监控在百度中的定义为：移动视频监控是移动视频图像在前端采集方式为动态形式;后端为传统安防行业紧密结合的专业级监控产品,可移动方式进行接收如：通过手机或电脑能实现监看远程实时动态画面的功能,为企业与家庭提供了更简单、更便利、更及时的监控解决方案。而近年来，世界电信技术获得了快速发展，公共移动通信持续增长，在移动通信网络向4G甚至5G演进的同时， WiFi、WiMAX、WBMA等新的宽带无线接入技术和短距离无线技术相继涌现，并不断走向成熟，无线通信产业发展呈现多样化、优势互补的新格局。随着通信技术的不断发展和网络的逐步演进，4G与各种宽带无线接入技术和短距离无线技术呈现融合发展的态势，这为移动视频监控技术的发展与应用创造了良好的条件，加之这几年来反恐需求不断增长，无线视频监控业务有了较大的发展。二、移动监控的传输形式无线视频监控系统目前可分为两大类：基于无线局域网(WiFi)和基于移动通信网络。此外对音视频质量要求不高的应用中也可以采用低端的无线数据传输网络。基于4G的产品的优点是移动性很好、功耗相对较低，但缺点是对移动网络依存性很大，而且会产生一定的通信费用。而基于W...

2017-07-03

505

关于全闪存的数据中心

Flash闪存技术高昂的成本是限制了闪存被广泛使用的重要原因。在本文中，我们将为广大读者诸君介绍关于阻碍了企业客户采购Flash闪存的其他因素，以及Flash闪存技术在当前数据中心业界的使用情况。随着媒介成本的不断下降和周边技术的不断改进，全闪存数据中心的概念已经被炒作了好多年了。其结果是几乎每家全闪存供应厂商都声称其产品与基于硬盘的系统价格持平。如果您企业能够证实全闪存供应商们所宣称的其产品与HDD的价格持平的声明，并且能够灵活自如地应用，那么企业组织没有任何理由不采用全闪存技术了。想象一下，无论是何种类型的数据，数据中心都会立即应答每个I / O请求。这将永久性的消除数据管理和性能这两者协调的头痛难题。全闪存存储系统的未来是光明的。每千兆闪存媒介的成本持续下降，而管理这些系统的软件技术可以提供更高的可靠性。存储系统软件也在不断发展，越来越多的多线程从CPU内核中提取出更多的性能，以便以更具成本效益的方式跟上闪存性能。全闪存数据中心的障碍实际上，与价格持平声明相关联的是：这使得一个单一闪存层难以实现。首先，这种价格比较是与高性能的硬盘系统进行的，而不是与更具成本效益的大容量系...

2017-07-03

529

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。