《Spark大数据处理：技术、应用与性能优化》——1.2　Spark生态系统BDAS-低调大师

《Spark大数据处理：技术、应用与性能优化》——1.2　Spark生态系统BDAS

2017-07-02 648

本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第1章，第1.2节,作者:高彦杰更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2　Spark生态系统BDAS

目前，Spark已经发展成为包含众多子项目的大数据计算平台。伯克利将Spark的整个生态系统称为伯克利数据分析栈（BDAS）。其核心框架是Spark，同时BDAS涵盖支持结构化数据SQL查询与分析的查询引擎Spark SQL和Shark，提供机器学习功能的系统MLbase及底层的分布式机器学习库MLlib、并行图计算框架GraphX、流计算框架Spark Streaming、采样近似计算查询引擎BlinkDB、内存分布式文件系统Tachyon、资源管理框架Mesos等子项目。这些子项目在Spark上层提供了更高层、更丰富的计算范式。
图1

微信关注我们

原文链接：https://yq.aliyun.com/articles/120205

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

浅谈移动监控在安防行业的应用

一、概述移动监控在百度中的定义为：移动视频监控是移动视频图像在前端采集方式为动态形式;后端为传统安防行业紧密结合的专业级监控产品,可移动方式进行接收如：通过手机或电脑能实现监看远程实时动态画面的功能,为企业与家庭提供了更简单、更便利、更及时的监控解决方案。而近年来，世界电信技术获得了快速发展，公共移动通信持续增长，在移动通信网络向4G甚至5G演进的同时， WiFi、WiMAX、WBMA等新的宽带无线接入技术和短距离无线技术相继涌现，并不断走向成熟，无线通信产业发展呈现多样化、优势互补的新格局。随着通信技术的不断发展和网络的逐步演进，4G与各种宽带无线接入技术和短距离无线技术呈现融合发展的态势，这为移动视频监控技术的发展与应用创造了良好的条件，加之这几年来反恐需求不断增长，无线视频监控业务有了较大的发展。二、移动监控的传输形式无线视频监控系统目前可分为两大类：基于无线局域网(WiFi)和基于移动通信网络。此外对音视频质量要求不高的应用中也可以采用低端的无线数据传输网络。基于4G的产品的优点是移动性很好、功耗相对较低，但缺点是对移动网络依存性很大，而且会产生一定的通信费用。而基于W...

2017-07-02

585

Flash闪存技术高昂的成本是限制了闪存被广泛使用的重要原因。在本文中，我们将为广大读者诸君介绍关于阻碍了企业客户采购Flash闪存的其他因素，以及Flash闪存技术在当前数据中心业界的使用情况。随着媒介成本的不断下降和周边技术的不断改进，全闪存数据中心的概念已经被炒作了好多年了。其结果是几乎每家全闪存供应厂商都声称其产品与基于硬盘的系统价格持平。如果您企业能够证实全闪存供应商们所宣称的其产品与HDD的价格持平的声明，并且能够灵活自如地应用，那么企业组织没有任何理由不采用全闪存技术了。想象一下，无论是何种类型的数据，数据中心都会立即应答每个I / O请求。这将永久性的消除数据管理和性能这两者协调的头痛难题。全闪存存储系统的未来是光明的。每千兆闪存媒介的成本持续下降，而管理这些系统的软件技术可以提供更高的可靠性。存储系统软件也在不断发展，越来越多的多线程从CPU内核中提取出更多的性能，以便以更具成本效益的方式跟上闪存性能。全闪存数据中心的障碍实际上，与价格持平声明相关联的是：这使得一个单一闪存层难以实现。首先，这种价格比较是与高性能的硬盘系统进行的，而不是与更具成本效益的大容量系...

2017-07-02

615

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。