当前位置：网站首页>NLLLoss+log_SoftMax=CE_Loss

NLLLoss+log_SoftMax=CE_Loss

2022-04-23 06:34:00 【365JHWZGo】

文章目录

题目

前言

差不多好几天没有更新了，唉，最近有点忙，请见谅！今天终于忙里偷闲看了B站视频发现NLLLoss+log_SoftMax=CE_Loss，哈哈，又长见识了，那么今天来深入了解一下吧！

NLLLoss

中文

负对数似然损失

函数

torch.nn.NLLLoss(
	weight=None, 
	size_average=None, 
	ignore_index=- 100, 
	reduce=None, 
	reduction='mean'
)

参数详解

参数	类型	含义
weight	tensor(optional)	手动给每一个类重新调整权重比例
size_average	bool(optional)已弃用	损失是一个batch中每一个损失元素的平均值
ignore_index	int(optional)	忽略一个目标值后它不会对输入的梯度产生影响
reduce	bool(optional)已弃用	根据每个mini-batch的平均尺寸对损失进行均分或汇总
reduction	string(optional)	reuduction将会被应用于输出

reduction参数	解释
none	全部展开
mean	累加/个数
sum	把none结果累加

函数输入输出

	输入	目标	输出
类型	tensor	tensor	tensor
维度	（ $N, C$ ）/（ $C$ ）	（ $N$ ）/（）	（ $N$ ）/ $N, d_1, d_2, ..., d_K)$

代码

import torch 
# 模仿经过模型之后的输出结果
preds = torch.tensor([[1.5,2.5,3.0]])
# 真实标签
target = torch.tensor([1])

nllloss = torch.nn.NLLLoss()
print('nllloss:',nllloss(preds,target))

与CE_Loss的区别和联系

区别：

CE_Loss是先经过log_softmax再经过NLLLoss步骤的损失
NLLLoss仅仅是将对应index的target值变为相反数

联系：

存在着一定的相关性，经过softmax之后的值大都在[0,1]之间，在进行log取对数之后值分布在( $-\infty$ ,0]之间，而loss又不能为负，所以需要NLLLoss来将其变为正数

import torch 
# 模仿经过模型之后的输出结果
preds = torch.tensor([[1.5,2.5,3.0]])
# 真实标签
target = torch.tensor([1])

cross_entropy_loss = torch.nn.CrossEntropyLoss()
log_softmax = torch.nn.LogSoftmax(dim=1)
nllloss = torch.nn.NLLLoss()

cs_loss = cross_entropy_loss(preds,target)
nls_loss = nllloss(log_softmax(preds),target)
print(f'交叉熵损失函数为:{
      cs_loss}\n先经过log_softmax再经过nll损失函数为:{
      nls_loss}')