人工智能模型能有多大?

搜索最新SoC解决方案
关于汽车电子...物联网...安全...音频...视频

大型语言模型––可以进行类似人类聊天的人工智能系统––最近成为了新闻热点。毫无疑问，它们很强大，而且非常全面。

imgtec.eetrend.com/, Jul. 14, 2023 – 

两种测量方法

当专家们谈论人工智能的进步时，他们通常关注模型大小的两个方面：用于训练模型的数据量和模型包含的参数数量。

例如，备受讨论的ChatGPT的前身GPT-3是在近45 TB的文本数据上训练的，具有超过1750亿个参数。其他人工智能模型越来越大，据说大公司正在开发超过1.6万亿参数的模型。

但这意味着什么？让我们对它进行分解，首先看一看参数是什么。

参数是人工智能模型用于根据所看到的数据生成输出的值或变量。例如，在像GPT-3这样的语言模型的情况下，输出是文本。

IEEE会员Yale Fox表示："尽管它们看起来真的很神奇，但人们更容易将（自然语言模型）视为高度复杂的自动完成函数。你以问题的形式提供输入，通常称为提示。然后模型会'自动完成'你的答案。"

输出基于先前识别的模式。对于大型语言模型，自动完成函数要复杂得多，因为模型已经在更多的数据上进行了训练，并且具有更多的参数。

Fox说："参数的数量会影响输出的多样性；使用的参数越多，输出的重复性就越小。"

这就引出了第二个问题。45 TB的文本到底有多少信息？ –– 相当多。1TB相当于大约650万页以常见格式存储的文档，如文字处理文档或.pdfs。

IEEE高级会员Eleanor "Nell" Watson说："一般来说，在许多类型的模型中，有更多的数据可以进行训练，从而获得更好的性能。它使模型能够更多地了解数据中的基本模式和关系。"

最佳设计

但参数的数量并不总是与训练数据的大小直接相关。例如，开发人员可以在10本书上训练一个非常大的模型，或者在1000本书上培训一个较小的模型，他们可能具有类似的性能。

Watson说："更大的模型训练成本成倍增加，而且更难检查偏见等问题，也更难解释。将太多的参数应用于太少的数据会使模型更容易过度拟合（从一个过于突出的例子中进行不准确的概括）。"

简单地拥有大量数据来训练模型并不一定是一种好处。Fox说："来自世界各地的10TB推文可能甚至不如来自维基百科的1TB基于事实的知识有用。"

 Back