《Spark大数据处理：技术、应用与性能优化》——1.2　Spark生态系统BDAS-低调大师

《Spark大数据处理：技术、应用与性能优化》——1.2　Spark生态系统BDAS

2017-07-02 590

本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第1章，第1.2节,作者:高彦杰更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2　Spark生态系统BDAS

目前，Spark已经发展成为包含众多子项目的大数据计算平台。伯克利将Spark的整个生态系统称为伯克利数据分析栈（BDAS）。其核心框架是Spark，同时BDAS涵盖支持结构化数据SQL查询与分析的查询引擎Spark SQL和Shark，提供机器学习功能的系统MLbase及底层的分布式机器学习库MLlib、并行图计算框架GraphX、流计算框架Spark Streaming、采样近似计算查询引擎BlinkDB、内存分布式文件系统Tachyon、资源管理框架Mesos等子项目。这些子项目在Spark上层提供了更高层、更丰富的计算范式。
图1

微信关注我们

原文链接：https://yq.aliyun.com/articles/120205

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

浅谈移动监控在安防行业的应用

一、概述移动监控在百度中的定义为：移动视频监控是移动视频图像在前端采集方式为动态形式;后端为传统安防行业紧密结合的专业级监控产品,可移动方式进行接收如：通过手机或电脑能实现监看远程实时动态画面的功能,为企业与家庭提供了更简单、更便利、更及时的监控解决方案。而近年来，世界电信技术获得了快速发展，公共移动通信持续增长，在移动通信网络向4G甚至5G演进的同时， WiFi、WiMAX、WBMA等新的宽带无线接入技术和短距离无线技术相继涌现，并不断走向成熟，无线通信产业发展呈现多样化、优势互补的新格局。随着通信技术的不断发展和网络的逐步演进，4G与各种宽带无线接入技术和短距离无线技术呈现融合发展的态势，这为移动视频监控技术的发展与应用创造了良好的条件，加之这几年来反恐需求不断增长，无线视频监控业务有了较大的发展。二、移动监控的传输形式无线视频监控系统目前可分为两大类：基于无线局域网(WiFi)和基于移动通信网络。此外对音视频质量要求不高的应用中也可以采用低端的无线数据传输网络。基于4G的产品的优点是移动性很好、功耗相对较低，但缺点是对移动网络依存性很大，而且会产生一定的通信费用。而基于W...

2017-07-03

516

Flash闪存技术高昂的成本是限制了闪存被广泛使用的重要原因。在本文中，我们将为广大读者诸君介绍关于阻碍了企业客户采购Flash闪存的其他因素，以及Flash闪存技术在当前数据中心业界的使用情况。随着媒介成本的不断下降和周边技术的不断改进，全闪存数据中心的概念已经被炒作了好多年了。其结果是几乎每家全闪存供应厂商都声称其产品与基于硬盘的系统价格持平。如果您企业能够证实全闪存供应商们所宣称的其产品与HDD的价格持平的声明，并且能够灵活自如地应用，那么企业组织没有任何理由不采用全闪存技术了。想象一下，无论是何种类型的数据，数据中心都会立即应答每个I / O请求。这将永久性的消除数据管理和性能这两者协调的头痛难题。全闪存存储系统的未来是光明的。每千兆闪存媒介的成本持续下降，而管理这些系统的软件技术可以提供更高的可靠性。存储系统软件也在不断发展，越来越多的多线程从CPU内核中提取出更多的性能，以便以更具成本效益的方式跟上闪存性能。全闪存数据中心的障碍实际上，与价格持平声明相关联的是：这使得一个单一闪存层难以实现。首先，这种价格比较是与高性能的硬盘系统进行的，而不是与更具成本效益的大容量系...

2017-07-03

541

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。