focal loss理解

1.分类损失：

1.focal loss 损失
论文连接：https://arxiv.org/abs/1708.02002
1）背景

         1）focal loss 损失
         目标检测中分为one-stage和two-stage体系，one-stage 检测速度快，而检测效率低，two-stage检
      测速度慢，而检测效率高。纠其原因是由于two-stage在RPN（region proposal network ）候选区域网
      络中进行二分类，划分出foreground和background，极大程度上降低了类别不平衡，最后在进行分类，
      致使检测效率高。而one-stage是一趟子进行分类，由于类别不平衡，检测效率低。
         focal loss 提出的背景是为了解决目标检测中类别不均衡问题。为什么会产生类别不均衡，因为一张图
      片在检测器上会生成大量的检测框（有检测宽就会有类别）。一张分辨率为512*512的图片会在9个anchors
      相对于基准框上生成49104个检测框，对应就有49104个类别,只 有一少部分属于foreground，因此类别
      极大不平衡。

2）focal loss

     focal loss 是在交叉熵损失函数的基础改进的，作者为focal loss设计了一个 one-stage网络RetinaNET
     来验证focal loss 消除类别不均衡。

Cross Entropy

focal loss

He Kaiming大神通过实验验证γ=2，a=0.25的效果最好。

3.总结
alpha平衡正负样本的重要性，但是无法解决简单与困难样本的问题。
gamma调节简单样本权重降低的速率，当gamma为0时即为交叉熵损失函数，当gamma增加时，调整因子的影响也在增加。
乘上了该权重，量大的类别所贡献的loss被大幅砍削，量少的类别所贡献的loss几乎没有多少降低。虽然整体的loss总量减少了，但是训练过程中量少的类别拥有了更大的话语权，因此相对增加了难样本的权重。

2.回归损失：

ing…