|
|
|
www.design-reuse-china.com |
|
 |
| D&R中国官方微信公众号， 关注获取最新IP SOC业界资讯 |
英伟达、英特尔、ARM 将他们的AI未来押在FP8上
据EDN电子技术设计报道，近日Arm、英特尔和NVIDIA携手发布了一份新的白皮书，描述了 8 位浮点规范和相应变体的概念，称为 FP8，具有变体 E5M2 和 E4M3，以提供可用于人工智能 (AI) 推理和训练的标准。期能通过8位元浮点运算的格式来改善运算性能，并将其作为AI通用的交换格式，提升深度学习训练推理速度；而该白皮书也已提交给电机电子工程师协会（Institute of Electrical and Electronics Engineers, IEEE）。
www.ednchina.com, Sept. 19, 2022 –
据EDN电子技术设计报道，近日Arm、英特尔和NVIDIA携手发布了一份新的白皮书，描述了 8 位浮点规范和相应变体的概念，称为 FP8，具有变体 E5M2 和 E4M3，以提供可用于人工智能 (AI) 推理和训练的标准。期能通过8位元浮点运算的格式来改善运算性能，并将其作为AI通用的交换格式，提升深度学习训练推理速度；而该白皮书也已提交给电机电子工程师协会（Institute of Electrical and Electronics Engineers, IEEE）。
英伟达、ARM 和英特尔将目光投向 FP8"8 位浮点"，为他们未来的 AI 努力
从理论上讲，这三个科技巨头之间的这种新的跨行业规范将允许人工智能模型在硬件平台上工作和运行，将加速人工智能软件的开发。
人工智能创新在软件和硬件方面已经愈加重要，在过去几年中，对 AI 计算的要求也持续增加，在解决计算差距方面，降低深度学习中对数值精度的要求，从而提高内存和计算效率，是目前AI 领域研究的重点之一。
英特尔打算在其涵盖处理器、显卡和众多 AI 加速器的路线图中支持 AI 格式的规范。该公司正在开发一种加速器，即 Habana Gaudi 深度学习加速器。降低精度方法的承诺允许在专注于提高计算效率的深度学习神经网络中挖掘固有的抗噪声特性。
新的 FP8 规范将减少与当前 IEEE 754 浮点格式的偏差，在软件和硬件之间保持舒适的水平，利用当前的 AI 实现，加速采用并提高开发人员的生产力。
NVIDIA认为，拥有一种公用的交换格式，将能推动软件与硬件平台的互动，进而加快AI运算发展。也因此，NVIDIA、Intel和Arm携手合作，共同撰写FP8 Formats for Deep Learning白皮书，通过描述8位元浮点运算规格，提供一个共同的交换格式加速AI训练、推理。
NVIDIA进一步解释，FP8规范有两个变体，分别是E5M2和E4M3，可最大限度减少与现有的IEEE 754浮点格式的偏差，能为AI训练、推理发展带来更大的自由度，得以在硬件与软件间取得良好平衡，以改善开发者的生产效率。
根据实验结果，在广泛的训练架构中，像是Transformer，FP8训练的准确性都类似16位元结果，但却有更好的性能。譬如NVIDIA Hopper便利用新的FP8格式，在BERT高精度模型上实现了4.5倍的加速。
NVIDIA强调，与Intel、Arm合作撰写FP8 Formats for Deep Learning白皮书，是希望通过开放、免费授权的方式，提供一个通用、可维持准确性的交换格式，以加速AI发展，并让AI模型在所有硬件平台上都能有一致、高效的表现。
Back
成为合作伙伴