google云计算原理与应用

google云计算服务包括：google文件系统GFS，分布式计算编程模形MapReduce，分布式锁服务Chubby，分布式结构化数据表Bigtable，分布式存储系统Megastore以及分布式监控系统Dapper等。

GFS提供了海量数据的存储和访问能力。

GFS

系统架构：

分为三类角色，client(客户端),Master(主服务器)和Chunk Server(数据块服务器)

1，使用的是中心服务器模块，可以任意添加chunk server.

2，不实现缓存，这是从必要性和可行性两方面考虑。

必要性：客户端大部分是流式读写，不存在大量的重复读写。

可行性：如何维护缓存与实际数据之间一致性是一个极其复杂的问题。加之网络等不确定因素，一致性问题尤为复杂。而且数据量非常大，以当前的内存容量根本无法缓存。

而对于存储在GFS的Master中的数据实现了缓存。

3，在用户状态下实现，正常的文件系统是操作系统的重要组成部分，在内核态实现文件系统可以更好的和操作系统本身结合。

但GFS却选择在用户态下实现，主要基于以下考虑：

1）在用户态下直接利用操作系统提供的POSIX编程接口就可以扩展存取数据，无需了解内部的实现接口。

2）POSIX接口提供的功能更为丰富不受内核编程的限制

3）在用户态下有多种调试工具

4）用户态下，Master和Chunk Server都以进程的方式运行，单个进程不会影响整个操作系统

5）在用户态下，GFS和操作系统运行在不同的空间，两者的耦合性降低，方便GFS自身的扩展和升级

4，只提供专有的接口

容错机制：

1，Master容错

1）命名空间也就是整个文件系统的目录结构

2）Chunk与文件名的映射表

3）Chunk副本的位置信息，每一个Chunk默认有三个副本

2，Chunk Server容错

GFS采用副本的方式实现Chunk Server的容错，默认每个副本存储3个

GFS划分的每一个Chunk的默认大小是64MB

系统管理技术：

1）大规模的集群安装

2）故障检测

3）节点动态加入

4）节能

分存式数据处理MapReduce

MapReduce就是“映射”和“化简”的概念和主要思想。

比如查询一个大型文本中各个单词出现的次数，经过Map处理后，形成一批中间结果<单词，出现次数>，而Reduce函数处理中间结果，将相同单词出现的次数累加，得到每个单词出现的次数。

分存式锁服务

Chubby是Google设计的提供粗粒度服务的一个文件系统，它是基于松耦合的分布式系统。

通过使用Chubby的锁服务，用户可以确保数据操作过程中的一致性。

1，Paxos算法

paxos是一种基于消息传送的一致性算法，用于解决分布式中的一致性问题

如何解决分布式中的一致性问题呢，最简单的就是设置一个结点，所有操作都经过这个结点，这样就能保证唯一性的问题。

但是这样缺点也是显而易见的，就是如果结点失效就会出现混乱，所以需要在系统中设置多个这样的结点。

Paxos算法分成三个类型：proposers、acceptors和learners，其中Proposers提出决议，acceptors批准决议，learners获取并使用已经通过的决议。

2，Chubby系统设计

Chubby的设计目标主要有以下几个：

1）高可用性和高可靠性

2）高扩展性

3）支持粗粒度的建议性锁服务

4）服务信息的直接存储

5）支持通报机制

6）支持缓存机制

分存式结构化数据表Bigtable

Bigtable是Google基于GFS和Chubby的分布式存储系统。

Bigtable在很多方面跟数据库类似。

数据模型：

Bigtable是一个分布式的多维映射表，表中数据通过一个行关键字，一个列关键字以及一个时间戳进行索引。Bigtable对存储在其中的数据不做任何解析，一律看成是字符串。

1)行

可以是任意的字符串，但是大小不能超过64K，排序是根据行关键字进行排序的，推荐使用的是字典序

2)列

有列族的概念，族名：限定词（family:qualifier），族名必须有意义，限定词可以任意选定，同族被压缩存储在一起

族同时也是Bigtable中访问控制的基本单元，也就是说访问权限是在族这一级别上进行的

3)时间戳

默认是64位整数

目前提供两种设置，一种是保留最近N个不同的版本，另一种就是保留限定时间内的所有不同版本

系统架构：

Bigtable主要由三部分组成：客户端程序库（Client Library）、一个主服务器（Master Server）和多个子表服务器（Table Server）

客户端访问Bigtable服务时，首先利用函数库执行open操作打开一个锁，锁打开后客户端就可以跟子表服务器进行通信了。

主服务器的作用：

1）新子表分配

2）子表服务器状态监控

3）子服务器之间的负载均衡

子表服务器：

1）SSTable中的数据被划分成一个个的块（Block），每个块的大小是可以设置的，一般为64KB，在SSTable的结尾有一个索引（Index），在SSTable打开时这个索引会被加载进内存，所以查找的速度会非常快。

每个子表都是由多个SSTable和日志组成

2）子表地址，在Bigtable系统的内部采用的是一种类似B+树的三层查询体系

先查根子表，然后找到元数据子表，最后找到对应的用户表

3）子表的数据存储及读写操作

性能优化

1）局部性群组

2）压缩

3）布隆过滤器

分存式存储系统Megastore

Megastore：关系型数据库和NoSQL的完美结合

设计目标：

1）针对可用性：引入了Paxos算法

2）针对扩展性：采用数据分区将每个分区存放在NoSQL中

megastore的数据模型

通过类似SQL的方式进行查询，有一套对应的查询语言。

Megastore的核心技术-复制

1）复制的日志

2）数据读取 （1）本地查询 （2）发现位置 （3）追赶 （4）验证 （5）查询数据

3）数据写入 （1）接受leader （2）准备 （3）接受 （4）失效 （5）生效

分存式系统的监控基础框架Dapper

分布式监控系统

基本设计目标：

1）低开销

2）对应用层透明

3）可扩展性