Softmax 交叉熵适合多标签分类吗？
is Cross Entropy With Softmax proper for Multi-label Classification?
如文档中所述here, cross entropy is not a proper loss function for multi-label classification. My question is "is this fact true for cross entropy with softmax too?". If it is, how it can be matched with this part。
我应该提一下，我的问题范围是在 cntk 中。
多标签分类通常表示 "many binary labels"。考虑到该定义，使用 softmax 的交叉熵不适用于多标签分类。您提供的第二个 link 中的文档讨论的是多类问题，而不是多标签问题。带有 softmax 的交叉熵适用于多类分类。对于多标签分类，一个常见的选择是使用每个标签的二元交叉熵之和。二元交叉熵可以用 Brainscript 中的 Logistic 或 Python 中的 binary_cross_entropy 计算。
另一方面，如果您遇到许多多类标签的问题，那么您可以对它们中的每一个使用 cross_entropy_with_softmax，CNTK 将自动对所有这些损失值求和。
如文档中所述here, cross entropy is not a proper loss function for multi-label classification. My question is "is this fact true for cross entropy with softmax too?". If it is, how it can be matched with this part。
我应该提一下，我的问题范围是在 cntk 中。
多标签分类通常表示 "many binary labels"。考虑到该定义，使用 softmax 的交叉熵不适用于多标签分类。您提供的第二个 link 中的文档讨论的是多类问题，而不是多标签问题。带有 softmax 的交叉熵适用于多类分类。对于多标签分类，一个常见的选择是使用每个标签的二元交叉熵之和。二元交叉熵可以用 Brainscript 中的 Logistic 或 Python 中的 binary_cross_entropy 计算。
另一方面，如果您遇到许多多类标签的问题，那么您可以对它们中的每一个使用 cross_entropy_with_softmax，CNTK 将自动对所有这些损失值求和。