芯原查凯南：NPU如何推进嵌入式智能设备发展

搜索最新SoC解决方案
关于汽车电子...物联网...安全...音频...视频

6月13日，在芯原AI专题技术研讨会上，芯原NPU IP研发副总裁查凯南表示："大模型对于现在最大的颠覆性在于，端侧模型和云端模型可以通过自然语言进行交互，显著提升智能效果。"

www.eeworld.com.cn/, Jun. 13, 2024 – 

不过，云端和边端的分工有所不同。云端大多使用的是超级大模型，通常在70B以上，可能需要几百甚至几千张卡进行计算，同时云端能够同时胜任大模型的推理和训练任务。边端在算力、容量限制下，基本是在2B}13B的规模，除了语言模型，端侧还需要许多其它模型，比如视觉模型、语音模式、通用模型、图像生成、美图、PPT生成。

因此，为了满足端侧和云端的不同需求，NPU设计要求有所不同。端侧更关注低功耗、PPA（性能、功耗、面积）优化以及更好的隐私性，主要用于推理，同时需要具备浮点运算能力，重点在于低比特的量化及压缩能力。而云端则需要高性能、高TOPS（每秒万亿次运算）能力，进行分布式的推理和训练，要求较高的浮点和定点算力比例，以及高精度计算能力，同时，云端还需要与大型生态系统的兼容性。

端侧方面芯原拥有VIP9X00和GC9XX00AI AI-GPU IP，云侧则拥有CCTC-MP Tensor Core GPU IP。其中端侧的NPU IP能够高效地处理各类神经网络和计算任务，最小化数据传输，成为推动嵌入式智能设备发展的关键要素。

 Back