pytorch交叉熵损失函数的weight参数的使用

首先

必须将权重也转为tensor的cuda格式；

然后

将该class_weight作为交叉熵函数对应参数的输入值。

补充：关于pytorch的crossentropyloss的weight参数

首先这个weight参数比想象中的要考虑的多

你可以试试下面代码

这里的手动计算是：

loss1 = 0 + ln(e0 + e0 + e0) = 1.098

loss2 = 0 + ln(e1 + e0 + e1) = 1.86

求平均 = (loss1 *1 + loss2 *1)/ 2 = 1.4803

加权呢？

手算发现，并不是单纯的那权重相乘：

loss1 = 0 + ln(e0 + e0 + e0) = 1.098

loss2 = 0 + ln(e1 + e0 + e1) = 1.86

求平均 = (loss1 * 1 + loss2 * 2)/ 2 = 2.4113

而是

loss1 = 0 + ln(e0 + e0 + e0) = 1.098

loss2 = 0 + ln(e1 + e0 + e1) = 1.86

求平均 = (loss1 *1 + loss2 *2) / 3 = 1.6075

发现了么，加权后，除以的是权重的和，不是数目的和。

我们再验证一遍：

手算：

loss1 = 0 + ln(e0 + e0 + e0) = 1.098

loss2 = 0 + ln(e1 + e0 + e1) = 1.86

loss3 = 0 + ln(e2 + e0 + e0) = 2.2395

loss4 = -0.5 + ln(e0.5 + e0 + e0) = 0.7943

求平均 = (loss1 * 1 + loss2 * 2+loss3 * 3+loss4 * 3) / 9 = 1.5472

可能有人对loss的ce计算过程有疑问，我这里细致写写交叉熵的计算过程，就拿最后一个例子的loss4的计算说明

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。