损失函数和激活函数

2024年9月21日发(作者：)

损失函数和激活函数

损失函数（Loss Function）:

损失函数是神经网络中用于度量模型预测值与实际值之间的差异的函

数。它可以衡量预测值与实际值之间的误差，从而对模型进行优化。常见

的损失函数包括均方误差（Mean Square Error，MSE）、交叉熵（Cross

Entropy）等。

1. 均方误差（Mean Square Error, MSE）: 均方误差是最简单常见

的损失函数之一，用于回归问题。它计算预测值与实际值之间的均方差，

即将每个预测值与实际值之差平方后求平均。均方误差越小表示模型的预

测能力越好。

3. 自定义损失函数: 在实际应用中，我们也可以根据具体问题的特

点定义自己的损失函数。比如在目标检测问题中，可以采用目标边界框的

IoU（Intersection over Union）作为损失函数，来度量预测框与实际框

之间的重叠程度。

激活函数（Activation Function）:

激活函数是神经网络中的非线性函数，它作用于每个神经元的输出，

将其转换为非线性的激活状态。激活函数的引入使得神经网络能够学习和

表示更加复杂的函数关系，提高模型的非线性表示能力。

1. Sigmoid 函数: Sigmoid 函数是一个非常经典的激活函数，它将

输入值映射到一个 [0, 1] 的范围内，用于二分类问题。它的主要特点是

能够将任何输入值都映射到一个有限的范围内，平滑地输出概率值。

函数:ReLU函数是目前最常用的激活函数之一，它将负数直接

置零，而正数保持不变。ReLU函数的主要特点是简单、计算高效，而且

能够有效缓解梯度消失问题。

3. Leaky ReLU 函数: Leaky ReLU 函数是对 ReLU 函数的改进，它

在负数部分不是直接置零，而是乘上一个较小的正斜率。这样可以保证负

数部分也有梯度，从而避免了 ReLU 函数中可能出现的神经元“死亡”的

问题。

4. Softmax 函数: Softmax 函数是用于多分类问题的激活函数，它

能够将多个输出神经元的值转化为概率分布。Softmax 函数将每个神经元

的输出转化为一个 [0, 1] 之间的概率值，同时保证所有概率之和为1

总结起来，损失函数用于度量模型预测值与实际值之间的差异，从而

对模型进行优化；而激活函数则用于引入非线性特性，使得神经网络能够

学习和表示更加复杂的函数关系。通过合理选择损失函数和激活函数，可

以提高神经网络模型的性能和表达能力。