1. 请描述Softmax函数的数学定义。

1.1 定义

Softmax函数是一种在机器学习和深度学习中常用的激活函数，特别是在处理多分类问题时。
它将一个向量或一组实数转换成概率分布，使得每个元素的值都在0到1之间，并且所有元素的和为1。

1.2 函数定义(公式)

给定一个样本的特征向量 $z$，Softmax函数定义如下：
$ \text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}} $
其中：

• $z_i$ 是输入向量中第 $i$ 个元素的值。
• $K$ 是类别的总数。
• $e^{z_i}$ 是 $z_i$ 的指数（自然对数的底数）。
• 分母是对所有类别指数的和。

1.3 数学特性

• 非负性：由于指数函数 $e^{x}$ 总是正的，Softmax函数的输出也总是非负的。
• 归一化：输出值的总和为1，因此可以解释为概率分布。
• 可微性：Softmax函数是连续可微的，这使得它在梯度下降算法中易于优化。

1.4 用途

• 多分类问题
  在多分类问题中，Softmax函数通常用于神经网络的输出层，将模型的输出（即每个类别的原始分数或对数几率）转换为每个类别的概率估计。这样，具有最高概率的类别将被选择作为模型的预测结果。

• 在计算损失函数的梯度
  Softmax函数的导数在计算损失函数（如交叉熵损失）的梯度时非常重要，因为它涉及到概率的对数，这在多分类问题中是常见的损失函数。

1.5 (扩展)为什么是指数函数

• 归一化：Softmax函数的目标是将一个向量转换为概率分布，即所有输出值都是非负的，并且总和为1，
  $e^{x}$ 能够确保即使输入值$x$很大或很小，函数的输出也能持在合理的范围内
• 区分度：指数函数能够放大输入值之间的差异。这有助于在多个类别中区分出最可能的类别。
• 数学性质：数函数具有许多有用的数学性质，如可微性、连续性等，这些性质使得Softmax函数在优化算法（如梯度下降）中易于处理。

2. Softmax函数如何应用于多分类问题？

Softmax函数通常用于多分类问题中，其作用是将模型的原始输出转换为表示概率分布的向量，以便对多个类别进行分类。在多分类问题中，Softmax函数通常作为神经网络输出层的激活函数之一。

2.1 模型输出

神经网络的输出层会输出一个原始的分数向量，该向量的每个元素对应于一个类别。这些分数可以是线性变换的结果，如全连接层的输出。

2.2 Softmax转换

将这个原始的分数向量作为Softmax函数的输入。
Softmax函数会对这些分数进行指数化并归一化，得到一个概率分布，其中每个元素表示对应类别的预测概率。

2.3 概率解释

这些预测概率可以被解释为模型对每个类别的置信度。

2.4 损失计算

在训练过程中，模型的预测结果会与真实标签进行比较，通常使用交叉熵损失函数来计算预测结果与真实标签之间的差异。