|
|
www.design-reuse-china.com |
下一代PCIe5.0/6.0技术热潮趋势与测试挑战
大模型时代已经到来,AI大模型技术快速成熟,进入万亿参数时代,对于AI算力性能要求越来越高,表现为计算系统的节点内卡间互联与节点间的网络互联,高速互联的底层是PCIe,对于PCIe的技术迭代和落地迫切。
mp.weixin.qq.com, Sept. 27, 2024 –
PCIe 5.0/6.0技术升级
- 信号速率方面
从PCIe 3.0、4.0、5.0到6.0,数据速率翻倍递增,6.0支持64GT/s,16路双向传输带宽可达256GB/s。
- 调制格式方面
PCIe 3.0~5.0都采用NRZ调制格式,在PCIe 6.0时首次采用高阶调制格式PAM4,在信号幅度相同的情况下信噪比天然会下降约9.5dB,因此对噪声更加敏感(比如电源噪声、串扰、反射等),为降低该影响,采用了格雷码映射(MSB,LSB),如下展示了格雷码映射的PAM4眼图,在噪声影响下,低比特LSB更易引起反转导致出错,若噪声幅度较高,也会引起2bit反转,但概率较低。
- 收发架构方面
为支持PAM4调制格式,通常采用DAC产生信号,ADC接收信号,发送侧为克服传输链路影响,通常会用多抽头的FIR实现,PCIe 6.0采用4抽头的FIR,接收侧为补偿高频损耗和多比特码间干扰会用到CTLE+DFE,当前架构会利用DSP技术根据ADC模数转换的数据点实现数字域处理,该技术也可以有效克服PVT的变化对信号带来的影响。
- 编码与数据流方面
PCIe 3.0~5.0均采用128b/130b编码方式,相比PCIe 1.0~2.0降低了开销提高了编码效率,默认支持Non-Flit流模式,PCIe 6.0采用1b/1b编码并且必须支持Flip流模式。Non-Flit模式支持可变大小TLP、4字节CRC用于TLP、2字节CRC用于DLLP。而Flit模式则支持256字节固定长度包括235字节TLP、6字节DLP、8字节CRC和6字节FEC,没有Sync Header/Framing Token,TLP和DLLP没有独立的CRC,通过这些开销的优化相对提高了带宽利用率。
- 互连通道及连接器方面
PCIe 5.0~6.0相比PCIe 1.0~4.0速率更高,SI、PI要求也有提高。电源方面,插卡最大功耗可提升至600W,将在6.0 CEM中更新;信号方面为保证信号完整性要求使用表贴连接器;互连通道方面,与PCIe 5.0类似,要求主板支持约12 inch,插卡支持约3-4 inch,可以想象下,如果PCIe 6.0仍旧采用NRZ调制格式,64GT/s速率奈奎斯特频点在32GHz,那么通道IL将小于-60dB(参考下图通道仿真结果),很难通过现有技术实现该信号的高频补偿,考虑实现成本和技术复杂度,采用高阶调制PAM4是种不错选择,相比PCIe 5.0奈奎斯特频率不变,当前可用板材下可传输相似距离。
- 误码率方面
PCIe 3.0~5.0均要满足1E-12,PCIe 6.0由于采用PAM4,对噪声和反射更敏感,结合格雷码映射特点(易发生单bit 错误), 接收侧会关注first bit error,规范会用FBER衡量。由于链路接收机会用到DFE均衡,若有单bit出错,它这会引起后续接连出错。如果造成误码的源是共有的,比如电源噪声,那么也会引起其他lane出错,系统BER依赖于FBER和lane间的错误相关性。规范定义了FBER是1E-6,那么为什么是1E-6呢?能否放宽至1E-4, 满足PCIe 5.0通常的传输距离或IL目标呢?答案是否定的。参考以太网标准放宽至1E-4,需要使用复杂RS-FEC 纠错,延时将增加到约100ns量级,这对负载和存储等对时延敏感的应用是一个很大的挑战。一旦确定FEC技术将应用至整个PCIe 6.0的生命周期,传输通道优化还有其他更多手段,比如更新板材,更复杂信号调理等。为满足FBER=1E-6目标,PCIe 6.0引入轻量级FEC和鲁棒性强的CRC算法实现修正和错误检测。相比100G/400G以太网标准中经常用到的RS(544,514),该FEC实现相对简单,在固定包长度Flit模式下,6字节的FEC"保护"242字节Payload和8字节CRC,2字节1组实现FEC Group通过交织方式抵抗突发错误。如果FEC解码完成,但CRC仍检测到错误,那么接收侧会发送NAK启动重传,为提高效率,该模式下不会重传NOP-only TLP包。通过上述FEC、CRC适配FBER=1E-6要求,同时保证出错情况下重传概率在5E-6、带宽额外消耗约0.05%、FIT接近0。
PCIe 6.0 测试测量挑战
- PCIe 6.0 规范状态
当前PCIe 6.0 Base spec v1.0已经发布,CEM Spec和Phy Test Spec还在讨论中。
- Tx 信号完整性方面
相比PCIe 5.0,PCIe 6.0新增了SNDR、RLM、JnU、Jrms和Preset测试。