《Spark大数据分析：核心概念、技术及实践》一1.2　数据序列化-低调大师

《Spark大数据分析：核心概念、技术及实践》一1.2　数据序列化

2017-05-01 771

本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第1章，第1.2节，作者[美]　穆罕默德·古勒（Mohammed Guller），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2　数据序列化

数据有自己的生命周期，独立于创建或使用它的程序。大多数情况下，数据比创建它的应用存活得更久。一般来说，数据保存在硬盘上。有时，也会通过网络把数据从一个应用发送给另一个应用。

在硬盘上存储或通过网络发送的数据格式与数据在内存中的格式是不一样的。把内存中的数据转换为可在硬盘上存储或通过网络发送的过程叫作序列化，而把硬盘或网络中的数据读取到内存的过程叫作反序列化。

数据可以用多种不同的格式进行序列化，比如CSV、XML、JSON和各种二进制格式。每种格式各有优缺点。比如，像CSV、XML和JSON这样的文本格式

微信关注我们

原文链接：https://yq.aliyun.com/articles/88668

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Spark大数据分析实战》——1.1节初识Spark

本节书摘来自华章社区《Spark大数据分析实战》一书中的第1章，第1.1节初识Spark，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看 1.1　初识SparkSpark是基于内存计算的大数据并行计算框架，因为它基于内存计算，所以提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。1.?Spark执行的特点Hadoop中包含计算框架MapReduce和分布式文件系统HDFS。Spark是MapReduce的替代方案，而且兼容HDFS、Hive等分布式存储层，融入Hadoop的生态系统，并弥补MapReduce的不足。（1）中间结果输出Spark将执行工作流抽象为通用的有向无环图执行计划（DAG），可以将多Stage的任务串联或者并行执行，

2017-05-01

797

本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.4节，作者：【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者：傅杰 , 赵磊 , 卢学裕责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.4 使用Sqoop从MySQL数据库导入数据到HDFS Sqoop是Apache基金下的一个项目，是庞大Hadoop生态圈中的一部分。在很多方面Sqoop和distcp很相似（见1.3节）。这两个工具都是构建在MapReduce之上的，利用了MapReduce的并行性和容错性。与集群间的数据复制不同，Sqoop设计通过JDBC驱动连接实现Hadoop集群与关系数据库之间的数据复制。它的功能非常广泛，本节将以网络日志条目为例展示如何使用Sqoop从MySQL数据库导入数据到HDFS。准备工作本例子使用Sqoop V1.3.0版本。如果你使用的是CDH3版本，Sqoop默认是已经安装了。如果不是CDH3，你可以通过https://ccp.cloudera.com/display/CDHDOC/Sqoop...

2017-05-01

626

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。