Spark的数据存储（十九）-低调大师

Spark的数据存储（十九）

2017-11-20 719

Spark本身是基于内存计算的架构，数据的存储也主要分为内存和磁盘两个路径。Spark本身则根据存储位置、是否可序列化和副本数目这几个要素将数据存储分为多种存储级别。此外还可选择使用Tachyon来管理内存数据。

　　为了适应迭代计算，Spark将经常被重要的数据缓存到内存中以提升数据读取速度，当内存容量有限时，则将数据存入磁盘中或根据最近最少使用页面置换算法将内存中使用频率较低的文件空间收回，从而让新的数据进来。

　　Tachyon的出现主要是为了解决3个问题而设计。一是多应用数据共享问题，二是JVM缓存数据丢失问题，三是GC开销问题。Tachyon将过去的Spark中的计算和内存管理两个部分分离，专门使用Tachyon在JVM堆外管理Spark计算所需要的数据，极大地减轻了Spark管理上的负担和JVM内存负担。这种设计思路能很好地解决以上3个问题并提升了程序运行的稳定性和速度。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6185659.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370497

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

参加2013中国大数据技术大会(BDTC2013)

2013年12月5日-6日参加了为期两天的2013中国大数据技术大会(Big Data Technology Conference, BDTC2013)，本期会议主题是：“应用驱动的架构与技术 ”。大数据概念最近真是火得不行，从大会多达7个的“大数据架构与系统”、“大数据技术”、“大数据应用”、“大数据研究与发展”、“大数据基准测试”“智能交通与大数据”以及“传统行业如何驾驭大数据”主题论坛，再到现场爆棚的人群，可见大家拥抱大数据的高涨热情。在9月份读完了一本《大数据时代》，后面又听大学老师介绍了一次Hadoop的HDFS以及MapReduce，就敢修改了一篇勘探大数据立项报告。当看了Hadoop生态系统的框架图后，直接被一堆代号搞得晕头转向，慢慢地只明白了其中几个简单意思，随便一个系统就能庞大得把你淹死，大数据，胆小者慎入！大数据白皮书与发展趋势 5号会议以主席致辞和院士讲话开始。马上就是程学旗发布《大数据白皮书》，据说这本书马上就会在CSDN免费发布，内容包括：大数据的发展背景、典型的业务大数据、大数据技术体系、大数据产业链与生态环境、大数据人才培养以及大数据发展趋势等。程...

2017-11-20

662

在前面的单实例数据库迁移至rac环境配置过程中，介绍了使用standby技术构建单实例主库对应rac物理备库的data guard模型，本节中将介绍rac主库对应单实例物理备库的data guard模型构建；在MAA架构中，ASM提供了存储方面的网格，RAC提供了数据库层面上的网格计算，data guard则着重强调在数据的备份和容灾方面，更多MAA方面的知识，参考下面的链接!http://www.oracle.com/technetwork/database/features/availability/maa-090890.html 一：主备库的环境介绍主库：数据库版本：10.2.0.5 OS版本：centos4.8 64位数据库名：rac（两个实例）实例名：rac1,rac2 IP地址:192.168.1.41/24,192.168.1.42/24 db_unique_name: rac 服务名：rac.yang.com 监听器端口：1521 存储类型：OMF+ASM磁盘组，+DATA,+FRA 备库：数据库版本：10.2.0.5 OS版本：rhel5.4 64位数据库...

2017-11-20

640

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。