单一堆栈带宽1.64TB！HBM4迎来首款内存控制器IP

搜索最新SoC解决方案
关于汽车电子...物联网...安全...音频...视频

Rambus HBM4的控制器IP提供了32个独立通道的接口，总数据宽度可达2048位。基于这一数据宽度，当数据速率为6.4Gbps时，HBM4的总内存吞吐量将比HBM3高出两倍以上，达到1.64TB/s。与Rambus HBM3E控制器一样，HBM4内存控制器IP也是一个模块化、高度可配置的解决方案。

www.eet-china.com, Nov. 19, 2024 – 

随着大语言模型(LLMs)的参数量已跨越万亿大关，并持续呈现增长态势，在此背景下，突破内存带宽与容量的固有瓶颈，对于满足AI在训练和推理过程中对实时性能的迫切需求，显得尤为关键。为了更好更快的帮助客户在其最先进的处理器与加速器中应用HBM4，Rambus日前率先推出业界首款HBM4控制器IP解决方案。

AI计算对高性能内存需求迫切

AI通常可以分为AI训练和AI推理这两个不同的过程。在AI训练阶段，不但需要给AI提供大量的数据，让它对这些数据进行分析，提取出其中的规律，形成一个AI模型。而且训练周期往往是数以周计，甚至数以月计，才可以实现完整的AI模型训练。

AI训练可以说是目前计算领域中最具挑战性和最难完成的任务之一，因为在这个阶段需要管理和处理的数据量极为庞大。如果训练过程能够越快完成，就意味着AI模型能够更早投入使用，从而帮助投资者尽早获得回报，并最大化投资回报率。

一旦模型完成了基于大量数据的训练，就可以将其应用于实际场景，并提供新的、模型未曾见过的案例进行推理，这就是AI推理阶段。在这一阶段，对性能也有较高要求，尤其是在推理速度和准确性上。毕竟，在通过大量真实案例对模型进行训练之后，我们期望它能够快速且准确地得出正确的结果。

这两个步骤对内存的高性能需求各自提出了独特的挑战，既需要确保其既足够快速，性能足够强大，尺寸足够小。在推理阶段，还需要更短的延迟和更高的带宽，因为推理结果必须几乎实时地快速给出。

Rambus研究员兼杰出发明家Steven Woo博士用下图直观展现了内存市场需求快速增长和变化的趋势。可以看到，自2012年以来，内存对速度、容量和尺寸的要求每年都在以超过10倍的速度增长，且没有减缓的迹象。以大语言模型GPT为例，2022年11月发布的GPT-3使用了1750亿个参数，而今年5月发布的最新版本GPT-4o则使用了超过1.5万亿个参数。

"过去几年里，这些大语言模型的规模增长了超过400倍，但在相同时间内硬件内存的规模仅增长了2倍。"Steven Woo博士指出，这就意味着，要完成这些AI模型的任务，就必须投入额外数量的GPU和AI加速器，才能满足对内存容量和带宽的需求。

点击阅读更多

 Back