智能无处不在：安谋科技"周易"NPU开启端侧AI新时代c

搜索最新SoC解决方案
关于汽车电子...物联网...安全...音频...视频

当前，国际和国内实际部署的主流端侧大模型体量主要集中在100亿参数以下。这一限制主要是由于端侧设备的内存带宽范围通常在50-100GB/s之间。为了满足用户对应用实时性的需求，10-30亿参数的大模型最适合部署在现有的带宽条件下。这些模型能够在保持高效性能的同时，提供快速响应和高质量的服务。

www.eetrend.com/, Nov. 11, 2024 – 头部终端厂商如OPPO、vivo、小米、荣耀和华为等，都在积极推动端侧AI的发展。他们不仅自研了适合端侧部署的大模型，还将其与具体业务场景紧密结合。芯片厂商也达成了共识，认为AI NPU（神经网络处理单元）将是未来消费类电子产品发展的重点。NPU通过专门优化的硬件架构，能够大幅提升端侧设备的AI计算能力，同时降低功耗。 尽管端侧AI的发展势头强劲，但鲍敏祺强调，这并不意味着要彻底放弃云端AI。相反，他认为两者应该实现互补，才能产生最大的收益。端侧AI的优势在于其时效性和数据本地化带来的安全性。由于数据处理发生在设备本地，用户的隐私得到更好的保护，同时也能实现实时响应。而云端AI则具备更强的推理能力和大规模数据处理能力，可以进行更复杂的任务。因此，结合端侧和云端的优势，将为用户提供更加全面和高效的AI体验。 从人机交互界面的发展历史来看，从最初的物理按键到触摸屏和语音交互，再到当前的Agent智能体，每一次变革都极大地提升了用户体验。未来的趋势将是多模态场景，即结合图像、音频、视频等多种输入方式，使设备能够更全面地理解用户的需求。通过观察和学习，未来的AI系统将能够更好地预测和满足用户的期望，从而实现真正的智能化。 点击阅读更多

 Back