focal loss原理及简单代码实现

论文：Focal Loss for Dense Object Detection
参考：https://zhuanlan.zhihu.com/p/49981234/

目标检测算法可以分为两大类：Two-stage detector 和 One-stage detector。由于像RCNN系列的二阶段检测器拥有region proposal的操作，这类算法可以达到很高的准确率，但是速度较慢。而像YOLO，SSD这样直接回归的检测算法，这类算法速度很快，但是准确率不如前者。作者提出focal loss的出发点也是希望one-stage detector可以达到two-stage detector的准确率，同时不影响原有的速度。

这篇论文发现，one-stage detector精度不如two-stage detector的根本原因是样本类别不均匀导致的。因为一张图片中，真实目标（正样本）的数量远远大于负样本数量，负样本占总的loss的大部分，而且多是容易分类的，因此使得模型的优化方向并不是我们所希望的那样。
$$\text{CE}(p,y)=\{\begin{array}{ll}-\text{log}(p)& \text{ if }y=1\\ -\text{log}(1-p)& otherwise.\end{array}$$

为了方便，用$p_t$代替p，如下公式2。这里的pt就是前面Figure1中的横坐标。

为了表示简便，我们用$p_t$表示样本属于true class的概率。所以(1)式可以写成

从交叉熵的公式可以看出无论是正样本还是负样本，权重都是一样的。当负样本的数量远多于正样本时，网络的优化方向会倾向于负样本。因此作者考虑增加一个权重系数控制正负样本的权重。这样对于正样本权重$a_t$可以设置大一点，而负样本则小一点。这样对于正负样本的优化就均衡了不少。

但是仍然存在一个问题，即数据中存在着多数容易分类的样本（例如置信度接近于1的样本），而难分类的样本占少数（例如置信度在0.5左右的样本，即网络很难确定分类的对不对）。因此还希望网络的优化更倾向于难分类的样本。于是就有了focal loss：
$$\text{Focal}(p_t)=-(1-p_t{)}^{\gamma }\text{log}(p_t)$$

$(1-p_t{)}^{\gamma }$称为调制系数（modulating factor），为什么要加上这个调制系数呢？目的是通过减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。

简单的代码实现：https://zhuanlan.zhihu.com/p/85832201

class FocalLoss(nn.Module):

    def __init__(self, weight=None, reduction='mean', gamma=0, eps=1e-7):
        super(FocalLoss, self).__init__()
        self.gamma = gamma
        self.eps = eps
        self.ce = torch.nn.CrossEntropyLoss(weight=weight, reduction=reduction)

    def forward(self, input, target):
        logp = self.ce(input, target)
        p = torch.exp(-logp)
        loss = (1 - p) ** self.gamma * logp
        return loss.mean()