AI革命时代的HPC系统及芯片发展五大趋势

搜索最新SoC解决方案
关于汽车电子...物联网...安全...音频...视频

当前，以ChatGPT为代表的生成式人工智能应用风头无两，正在全球科技巨头间掀起新一轮的技术竞赛。在很多人看来，ChatGPT的上线或可被视作一次新产业革命的引爆点，而这个引爆点之所以能出现，则离不开背后的高性能计算与大数据基础设施。

www.eefocus.com/, Mar. 05, 2023 – 

ChatGPT基于Open AI公司的GPT-3系列语言大模型来实现，GPT（Generative Pre-trained Transformer）即生成式预训练转换模型，是一种基于互联网可用数据训练的文本生成深度学习模型。

为了实现和人类可比拟的语言交互和语言组织能力，GPT-3的参数达到1750亿个，相比之下，2018年推出的GPT-1，参数为1.17亿个，而2019年推出的GPT-2参数则达到15亿个，量变最终将引发质变，参数规模的飞速膨胀，对支撑GPT运行的硬件系统提出了越来越高的要求，对于类似GPT这样的大模型，没有高性能硬件支撑，根本无法去实现与部署，更不要说随着新数据的涌入来迭代了。

所以，在众厂商纷纷宣布加码大模型AI投入时，有人断言，新一轮AI竞赛鹿死谁手还很难说，但高性能计算（HPC）系统中的高算力芯片、高带宽互连芯片和存储芯片一定是赢家。

HPC及其核心芯片发展趋势

那么，高性能计算要如何发展才能更好地支持新一波人工智能发展浪潮？而人工智能将如何影响到高性能计算本身呢？有如下几点，可供探讨。

第一，高性能计算与人工智能相得益彰。人工智能的每一次高速发展，都离不开背后硬件基础设施的支持，而高速发展的AI又对硬件基础设施提出了更高的要求，激励芯片或系统性能成倍上升。

在Open AI 2018年发布的报告中，对自2012至2018年人工智能训练对算力的需求超过30万倍，算力需求平均每3.5个月翻一番，这给芯片及硬件系统更新换代带来极大压力，因为按摩尔定律的性能升级速度，已经不能满足AI训练对芯片性能的需求增长速度了。

 Back