AI算力变革时代，Arm如何为AI发展提供高效稳固的算力基座？

搜索最新SoC解决方案
关于汽车电子...物联网...安全...音频...视频

在全球科技产业向 AI 时代全速进发的浪潮中，一个关键命题日益凸显：当行业沉迷于 GPU 算力竞赛时，如何构建更可持续、更高效的 AI 计算基础设施？答案其实就在 AI 推理过程中作为核心控制单元的 CPU 中。

www.eeworld.com.cn, Apr. 08, 2025 – 

事实上，当前任何 AI 都要基于 CPU 建立自己的算力生态。同时，许多推理工作也需要在 CPU 上运行。作为领先的计算平台公司，Arm 将如何助力应对日益复杂的工作负载与推理需求？又是如何看待未来 AI 的发展趋势？为此，EEWorld 与 Arm 基础设施事业部产品解决方案副总裁 Dermot O'Driscoll 进行了一场深度对话。

AI 时代，CPU 仍然扮演着核心角色

在大语言模型推理领域，行业长期存在'GPU 万能论'的认知偏差。而在实际应用中，CPU 在 AI 工作负载中扮演着远比想象中更为核心的角色。

Dermot 解析道，在大语言模型 (LLM) 推理中，CPU 与 GPU 相互补充，共同实现最佳的性能与成本效益。本质上来讲，GPU 是在扮演加速器的角色，无法离开 CPU 独立工作，需要与 CPU 紧密耦合。更重要的是，CPU 不仅是 AI 推理过程中的核心控制单元，还能与 GPU、NPU、FPGA 和 ASIC 等异构单元协同工作，以管理和调度系统资源。事实上，新型加速器的不断涌现也带来了更多定制计算需求，一个很好的例子就是 NVIDIA 的 Grace (CPU) 与 Hopper (GPU) 的组合。具体而言，CPU 在推理领域所具备的独特优势包括：

第一，通用性与灵活性：长期以来，CPU 被广泛应用于传统的 AI 和机器学习任务，凭借其高度的通用性和灵活性，在 AI 推理部署方面具备显著优势。对于希望在产品或服务中集成 LLM 的企业和开发者而言，CPU 通常是首选。

第二，成本与能效优势：相比完全依赖 GPU 所带来的高成本与高功耗，CPU 在推理任务中展现出更优的能效比。其设计适用于处理多任务负载，并且无需额外的复杂冷却和电力配置，从而降低整体运营成本。尤其在资源受限的环境中，CPU 的低功耗特性更加突出，这使其成为需要长期稳定运行AI 应用的可持续、经济高效的解决方案。

作为高效处理 AI 工作负载的异构计算架构中的核心组件，Arm CPU 可以与 GPU 和 NPU 等 AI 加速器无缝融合与协同，成为应对各类 AI 推理任务的不二之选。

 Back