缓存、异步、集群和分布式等架构模式的实践-低调大师

缓存、异步、集群和分布式等架构模式的实践

2020-12-24 628

缓存，极大提升数据读写能力，实现系统性能、可用性、并发能力提高，同时也节约了计算、网络资源。异步，解决同步处理带来一系列问题，实现并行方式处理、系统解耦、流量削峰填谷，实现高性能、高可用、可伸缩、最终一致性的架构。负载均衡(Load Balance)，将流量负载分布到多个服务器来提高服务、应用、数据库等的性能和可靠性，是实现服务器集群和分布式高可用架构的关键组件。

缓存架构模式(分布式缓存)

1. Cache 定义

存储在计算机上的一个原始数据复制集，以便于访问。-- Wikipedia

Cache：缓存，加快取用的速度，偏重于读。为了弥补高速设备和低速设备的鸿沟而引入的中间层，最终起到加快访问速度的作用。
Buffer：缓冲，缓和冲击，偏重于写。把突发打数量较小规模I/O整理成平稳的小数量较大规模I/O, 实现流量整形。

2. 缓存分类

硬件和基础系统
i) CPU缓存

ii) 操作系统缓存

iii) 数据库缓存

iv) JVM编译缓存
应用层

i) 客户端/浏览器缓存

ii) CDN缓存

iii) 代理与反向代理缓存

iv) 应用程序本地对象缓存

存储在共享内存，同一台机器的多个进程可访问，作为独立应用和应用程序部署在同一个服务器上。需考虑分布式集群中缓存的数据同步问题，因为每一个应用服务器有自己独立的缓存服务器。

v) 分布式对象缓存

可使用缓存客户端，通过协议访问缓存服务集群。集群中缓存映射服务节点，一般使用“带虚拟节点一致性哈希算法”来实现。

3. 缓存关键指标

缓存命中率：能多少次重用同一个缓存响应业务请求

影响因素：

缓存键集合大小：键数量越少，缓存的效率越高
缓存可使用内存空间：物理上能缓存的对象越多，缓存命中率就越高
缓存对象生存时间：TTL, 对象缓存的时间越长，缓存对象被重用的可能性就越高

4. 缓存策略

Read-through 通读缓存

客户端连接缓存，如果缓存存在就返回，没命中代理连接到实际数据。

比如：代理缓存，反向代理缓存，CDN缓存

Cache-aside 旁路缓存

客户端访问缓存，如存在就返回，如不存在或已过期客户端会连接数据源，缓存起来并返回。缓存通常是key-value存储。

5. 为什么能提升和优化性能

缓存数据来自内存，比磁盘上速度更快
缓存是最终结果，无需计算，减少CPU资源消耗
降低数据库、磁盘、网络的负载压力，减少I/O资源
技术简单、性能提升显著、应用场景多

6. 合理使用缓存

频繁修改数据：陡增系统负担
没有热点的访问：不遵循二八定律，大部分数据访问不是集中在小部分的数据上
不能容忍数据不一致与脏读
缓存雪崩：数据库不能承受较大的压力而宕机，导致整个网站不可用。发生故障，甚至不能简单的重启缓存服务器和数据库服务器来恢复服务
缓存预热：缓存预加载warm up, 对于一些元数据信息，可以启动时加载数据库中的数据到缓存进行预热
缓存穿透：如果不夸当的业务或恶意攻击持续高并发的请求某个不存在的缓存数据，所有请求会落在数据库上，造成很大压力，甚至崩溃。一般是将不存在的数据缓存起来value值为null，并设置一个较短的失效时间。

7. Redis

Redis支持复杂的数据结构，支付多路复用异步I/O高性能，支持主从复制高可用，原生集群与share nothing集群模式
Redis集群预分好16384个桶，放一个key-value时，根据CRC16(key) mod 16384, 决定key放到哪个桶中
redis-cluster把所有的物理节点映射到[0-16383]slot上，cluster负责维护slot与服务器的映射关系
客户端与redis节点直连，所有redis节点彼此互联

异步架构模式(消息队列)

1. 同步调用 VS 异步调用

2. 消息队列

两个模式

点对点模型：生产者生产一个消息只能被一个消费者消费
发布订阅模式：生产者生产一个消息可被多个消费者进行订阅消费

优点

实现异步处理，提升性能
有更好的伸缩性
流量的削峰填谷
失败隔离和自我修复
解耦
3. 事件驱动架构 EDA

4. MQ产品

RabbitMQ：Erlang语言开发，性能好，社区活跃
ActiveMQ：Java语言开发，跨平台
RocketMQ：阿里出品，Java开发，性能好，可靠性高
Kafka：LinkedIn出品，Scala开发，分布式伸缩性会比较好

集群和分布式架构模式(负载均衡)

负载均衡有两个重要的需关注点：如何选择哪个服务节点，就是路由算法；选择好的节点如何连接进行服务分发，就是服务分发。

1. 服务分发

HTTP重定向负载均衡：性能和安全性差，已淘汰
DNS负载均衡：7层负载，结合其他方式组合多层负载
反向代理负载均衡：7层负载，可使用软件实现。如Ngnix
IP负载均衡：4层负载，IP数据包进行修改源和目标IP，请求和响应的流量都需经过负载服务器
数据链路层负载均衡：4层负载，响应的流量无需经过负载服务器

2. 算法

轮询：依次分发
加权轮询：可配置权重
随机：随机分配
最少连接：记录连接数，分发到最少的连接服务器
源地址散列：源IP进行Hash，实现会话粘滞
3. session管理

服务器高可用架构设计基于无状态的特性，但业务总是有状态，比如用户登录状态。在分布式集群环境中，session管理有如下几种：

session复制：节点多时，复制成本过高，性能较差
session绑定：业务迭代快时，可用性不够
cookie记录session：通过前端的cookie与服务器认证系统
session服务器：通过共享的sesion服务器集群进行管理，把有状态的服务与无状态服务进行分离

微信关注我们

原文链接：https://my.oschina.net/u/4479011/blog/4836477

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

数据库交易回测系列三：多因子Alpha策略最佳因子权重

在本系列二（多因子Alpha策略回测）中，我们对美股市场的4个量化因子进行了回测。在这里，我们将使用 DolphinDB database 内置的quadprog函数，对各个因子的权重进行均值方差优化，以决定最佳因子权重。本系列二提供的脚本执行完毕后，数据表factorPnl会存有每个因子每天的收益。以下脚本基于数据表factorPnl。 retMatrix=matrix(select C0, C1, C2, C3 from factorPnl) H = cross(covar, retMatrix, retMatrix) f=-0.25*each(avg, retMatrix) A=-(1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 $4:4) b=-0.1*1 1 1 1 Aeq=matrix([1],[1],[1],[1]) beq=[1] result=quadprog(H, f, A, b, Aeq, beq) result[1] 这段代码解决了以下优化问题：这里我们的目标函数为最大化（1/4*期望收益 – 1/2*方差），同时保证四个...

2020-12-24

515

【前言：无论是大数据从业人员还是Java从业人员，掌握Java高并发和多线程是必备技能之一。本文主要阐述Java并发包下的阻塞队列和并发容器，其实研读过大数据相关技术如Spark、Storm等源码的，会发现它们底层大多用到了Java并发队列、同步类容器、ReentrantLock等。建议大家结合本篇文章，仔细分析一下相关源码】 BlockingQueue 阻塞队列，位于java.util.concurrent并发包下，它很好的解决了多线程中如何安全、高效的数据传输问题。所谓“阻塞”是指在某些情况下线程被挂起，当满足一定条件时会被自动唤醒，可以通过API进行控制。常见的阻塞队列主要分为两种FIFO（先进先出）和LIFO（后进先出），当然通过不同的实现方式，还可以引申出多种不同类型的队列。首先了解一下BlockingQueue的几个核心API：put、take一对阻塞存取；add、poll一对非阻塞存取。插入数据 put(anObj)：把anObj加到BlockingQueue里，如果BlockQueue没有空间，则调用此方法的线程被阻塞，直到BlockingQueue里面有空间再继续...

2019-12-18

617

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。