PCI Express 4.0规范全文下载，SSD和网卡何时能受益？-低调大师

PCI Express 4.0规范全文下载，SSD和网卡何时能受益？

2018-02-11 763

PCI Express® Base Specification Revision4.0 Version 1.0

下载链接 http://pan.baidu.com/s/1dFxqX9Z （也可以点击本文底部“阅读原文”）

大家可能看到新闻了，PCIe Express 4.0 v1.0规范终于正式发布，此时距离我撰写支持PCIe Gen4的《初探OpenPOWER9服务器设计：x86不再寂寞》已经过去一年的时间。不知这是否意味着POWER9将会尽快正式发布了呢？

有意思的是，在10年前PCIe 2.0发布的时候，我写过一篇工作站的评测，提到了对于显卡/GPU的意义，也就是全速x16插槽。

6年前，大约Intel发布第一代Xeon E5的半年之前，我也写过一篇评论，因为LSI已经提前推出了支持PCIe 3.0 x8的6Gb/s SAS控制器和HBA卡。

这次应该是9月底就完成的，整个规范共1293页

今天，在4.0草案标准期间“偷跑”的板卡同样不少，不过x16 lane宽度的显卡/GPU似乎不是当前最紧迫的，毕竟PCIe 3.0的8GT/s每个lane有效带宽接近1GB/s全双工。而对于SSD和网卡就不同了。

56/100Gb网卡、NVMe SSD渴望更大带宽

双端口56Gb InfiniBand HCA，用流行的PCIe 3.0 x8就存在瓶颈了；至于100Gb以太网等，如果不用PCIe x16单端口都发挥不出来，比如我在《4节点近160万IOPS：SDS/超融合测试不能只看数字》测试平台中使用的MellanoxConnentX-4网卡。

至于SSD，目前主流的NVMe用的是PCIe 3.0 x4，实际效率能跑到3.2GB/s就不错了，参见《Intel发布P4500、P4600 NVMeSSD：规格释疑》一文。除了少数高端企业级和发烧型号用x8接口之外，可以说单盘（卡）IOPS达到70-80万x4接口也开始出现瓶颈了。更何况未来会在存储阵列中应用的双端口U.2 SSD，x4 lane会拆分成2个x2来使用。

这样的M.2 SSD转接卡，是当前提高整体带宽的一种选择

如上图，4个M.2 PCIe x4直通转接PCIe x16，对于有些图形工作站等需要极高存储带宽的应用是一种解决方案。上面的卡我在《双Xeon SP只用一个风扇？Precision7920工作站散热设计解析》中曾经提到过，随着Dell新一代工作站机型发布，同样的Ultra-Speed Drive Duo/Quad也可以通过Intel RSTe vROC选项支持NVMe RAID0、1。

如果平台（主板）升级到PCIe 4.0，这种M.2转接方案的带宽理论上也可以翻倍，当然估计一时半会SSD还达不到那么快。

而PCIe 4.0的普及进程却不是太乐观，关于Intel发布不久的Xeon Scalable服务器/工作站平台我写过不少东西，这里随便列出一篇《IntelXeon SP服务器架构曝光：Apache Pass、QuickAssist》。据说Intel要等2019年发布的下一代Xeon平台才会支持PCIe 4.0，POWER由于指令集等方面原因难成主流，AMD又刚把PCIe控制器lane数量做上去（《超越Xeon？AMD Naples服务器的理想与现实》），估计短时间难以染指4.0。

GPU提升I/O的另一个路子——NVLink

除了CPU之外，GPU性能提升的速度似乎更快，不过NVIDIA自己搞出一套解决I/O互连的方式。

上面示意图是一款双CPU+ 4 GPU服务器，1U机箱支持4块300W GPU卡那种，我在《九条大道通GPU：HPC服务器PCIe之灵活应用》曾经介绍过它的PCIe直通和Switch有多种连接方式选择。

如今NVIDIA大力推广NVLINK，并且在一些应用中（比如GPU间显存频繁交换数据）性能提升明显，原有服务器机型也面临升级更新。上图所示Dell PowerEdge C4130就把GPU部分改造成一块NVLINK互连板，上面还是4个GPU模块，只在与CPU通信时才需要经过PCIe交换器，GPU间的带宽增大了。我还没仔细研究，估计是从PCIe卡换成下图这种SXM模块吧。

1U 4颗GPU、2U 8颗GPU是现在比较高的密度

具体来说最新的Tesla V100支持的NVLINK链路比P100还增加了2条（6 vs. 4），只是听说这东西有些贵：）

Gen-Z、CAPI等能撼动PCIe吗？

两个月前我还写过一点相关的：

《Gen-Z互连(上)：Intel缺席的内存中心架构》

《Gen-Z互连(下)：第一步25-100GB/s、PCI-SIG的反应》

还是更欣赏TangJie总说过的一个观点：“这些新的I/O标准，如果想活下来，就必须大家联合起来。”

毕竟这么多年过去，PCIe生态太成熟了。先写到这里吧。

微信关注我们

原文链接：https://yq.aliyun.com/articles/469039

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

SpringCloud微服务框架搭建

一、微服务架构 1.1什么是分布式不同模块部署在不同服务器上作用：分布式解决网站高并发带来问题 1.2什么是集群多台服务器部署相同应用构成一个集群作用：通过负载均衡设备共同对外提供服务 1.3什么是RPC RPC 的全称是 Remote Procedure Call 是一种进程间通信方式。它允许程序调用另一个地址空间（通常是共享网络的另一台机器上）的过程或函数，而不用程序员显式编码这个远程调用的细节。即无论是调用本地接口/服务的还是远程的接口/服务，本质上编写的调用代码基本相同。比如两台服务器A，B，一个应用部署在A服务器上，想要调用B服务器上应用提供的函数或者方法，由于不在一个内存空间，不能直接调用，这时候需要通过就可以应用RPC框架的实现来解决 1.3.1restful、soap、rpc （1）RESTful是一种架构设计风格，提供了设计原则和约束条件，而不是架构。而满足这些约束条件和原则的应用程序或设计就是 RESTful架构或服务。（2）SOAP，简单对象访问协议是一种数据交换协议规范，是一种轻量的、简单的、基于XML的协议的规范。SOAP协议和HTTP协议一样...

2018-02-12

599

有时，为了提升整个网站的性能，我们会将经常需要访问数据缓存起来，这样，在下次查询的时候，能快速的找到这些数据。缓存的使用与系统的时效性有着非常大的关系。当我们的系统时效性要求不高时，则选择使用缓存是极好的。当系统要求的时效性比较高时，则并不适合用缓存。本文，我们将演示如何通过集成 Redis 服务器来进行数据的缓存，以提高微服务的并发访问能力。为啥我们需要缓存在之前的文章中，我们已经介绍了如何使用 Spring Boot 来快速实现一个天气预报服务应用micro-weather-basic（见 https://waylau.com/spring-boot-weather-report/）。通过该应用，能实现简单的天气查询。天气数据接口，本身时效性不是很高，而且又因为是 Web 服务，在调用过程中，本身是存在延时的。所以，采用缓存，一方面可以有效减轻访问天气接口服务带来的延时问题，另一方面，也可以减轻天气接口的负担，提高并发访问量。特别地，我们是使用的第三方免费的天气 API，这些 API 往往对用户的调用次数及频率有一定的限制。所以为了减轻天气 API 提供方的负荷，我们并不需...

2018-02-12

731

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。