AI 模型的构建过程是怎样的？(上)

搜索最新SoC解决方案
关于汽车电子...物联网...安全...音频...视频

AI 模型构建的过程

imgtec.eetrend.com/, Nov. 17, 2023 – 

模型设计

在模型设计环节，产品经理要考虑的问题就是，在当前业务下，这个模型该不该做，我们有没有能力做这个模型，目标变量应该怎么设置、数据源应该有哪些、数据样本如何获取，是随机抽取还是分层抽样。

在模型设计阶段最重要的就是定义模型目标变量，以及抽取数据样本。

不同的目标变量，决定了这个模型应用的场景，以及能达到的业务预期。

接着，我们再来说说数据样本的抽取。模型是根据我们选择的样本来进行训练的，所以样本的选取决定了模型的最终效果。换句话说，样本是用来做模型的基础。在选取样本的时候，你需要根据模型的目标、业务的实际场景来选择合适的样本。

特征工程

我们可以把整个模型的构建理解为：从样本数据中提取可以很好描述数据的特征，再利用它们建立出对未知数据有优秀预测能力的模型。

在模型的构建过程中，特征工程是一个非常重要的部分。特征挑选得好，不仅可以直接提高模型的性能，还会降低模型的实现复杂度。

无论特征和数据过多或过少，都会影响模型的拟合效果，出现过拟合或欠拟合的情况。

当选择了优质的特征之后，即使你的模型参数不是最优的，也能得到不错的模型性能，你也就不需要花费大量时间去寻找最优参数了，从而降低了模型实现的复杂度。

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

算法工程师们花费在特征工程建立上面的时间，基本上占整个模型构建的 60%。

那什么是特征工程？对一个模型来说，因为它的输入一定是数量化的信息，也就是用向量、矩阵或者张量的形式表示的信息。所以，当我们想要利用一些字符串或者其他类型的数据时，我们也一定要把它们先转换成数量化的信息。像这种把物体表示成一个向量或矩阵的过程，就叫做特征工程（Feature Engineering）。

那什么是建立特征工程呢？比较常见的，我们可以通过一个人的年龄、学历、工资、信用卡个数等等一系列特征，来表示这个人的信用状况，这就是建立了这个人信用状况的特征工程。同时，我们可以通过这些特征来判断这个人的信用好坏。

更具体点来说，建立特征工程的流程是，先做数据清洗，再做特征提取，之后是特征筛选，最后是生成训练 / 测试集。

 Back