深度学习入门小菜鸟              ，希望像做笔记记录自己学的东西  
 
  
 
  
 
  
 
  
 
  
 
  
 
 ，也希望能帮助到同样入门的人














，更希望大佬们帮忙纠错啦~侵权立删
  
  
  
  
  
  
  
。

一              、FPN提出原因

卷积网络中
  
  
  
  
  
  
  ，深层网络容易响应语义特征  
  
  
  
  
  
  
 ，浅层网络容易响应图像特征 
  
  
  
  
  
  
 。然而
 


 


 


 


 


 


 


，在目标检测中往往因为卷积网络的这个特征带来了不少麻烦：

高层网络虽然能响应语义特征
 
 
 
 
 
 
 ，但是由于Feature Map的尺寸太小   
   
   
   
   
   
   
 ，拥有的几何信息并不多
 

 

 

 

 

 

 

，不利于目标的检测；浅层网络虽然包含比较多的几何信息

 

 

 

 

 

 

 ，但是图像的语义特征并不多               ，不利于图像的分类 


 


 


 


 


 


 


 。这个问题在小目标检测中更为突出
 
 
 
 
 
 
 
。

因此
 
 

 
 

 
 

 
 

 
 

 
 

 
 

，如果我们能够合并深层和浅层特征的话













，同时满足目标检测和图像分类的需要                      ，那我们的问题可能就迎刃而解啦~

二  
 
  
 
  
 
  
 
  
 
  
 
  
 
 、FPN的参考思想

既然我们的FPN是特征金字塔 
 
 
 
 
 
 
 
 
 
 
 
 
 
，当然参考的也与金字塔有关啦  
   
   
   
   
   
   
 。

FPN使用的是图像金字塔的思想 

 

 

 

 

 

 

 。

传统的图像金字塔采用输入多尺度图像的方式构建多尺度的特征

 

 

 

 

 

 

 
。简单来说





















，就是我们输入一张图像后              ，我们可以通过一些手段获得多张不同尺度的图像  
 
  
 
  
 
  
 
  
 
  
 
  
 
 ，我们将这些不同尺度的图像的4个顶点连接起来














，就可以构造出一个类似真实金字塔的一个图像金字塔              。整个过程有点像是我们看一个物品由远及近的过程（近大远小原理） 
 

 
 

 
 

 
 

 
 

 
 

 
 

 。

其中
  
  
  
  
  
  
  ，中间的图像是原始图像  
  
  
  
  
  
  
 ，尺寸越来越小的图片是经过下采样处理后的结果
 


 


 


 


 


 


 


，而尺寸越来越大的图片是经过上采样处理后的结果














。这样我们可以提取到更多的有用的信息                     。

三














、特征金字塔

运用这种金字塔的思想可以提高算法的性能
 
 
 
 
 
 
 ，但是他需要大量的运算和内存 
 
 
 
 
 
 
 
 
 
 
 
 
 
 。

因此特征金字塔要在速度和准确率之间进行权衡   
   
   
   
   
   
   
 ，通过它获得更加鲁棒的语义信息





















。

图像中存在不同大小的目标
 

 

 

 

 

 

 

，而不同的目标具有不同的特征

 

 

 

 

 

 

 ，所以我们需要特征金字塔来利用浅层的特征将简单的目标区分开               ，利用深层的特征将复杂的目标区分开              。即利用大的特征图区分简单目标
 
 

 
 

 
 

 
 

 
 

 
 

 
 

，利用小的特征图区分复杂目标 
 
  
 
  
 
  
 
  
 
  
 
  
 
  。

 四
  
  
  
  
  
  
  、FPN具体思路

提出的思路如下图所示：

图（a）：

先对原始图像构造图像金字塔













，然后在图像金字塔的每一层提出不同的特征                      ，然后进行相应的预测













。优点：精度不错；缺点：计算量大得恐怖 
 
 
 
 
 
 
 
 
 
 
 
 
 
，占用内存大
  
  
  
  
  
  
  
。直接pass！

图（b）：

通过对原始图像进行卷积和池化操作来获得不同尺寸的feature map





















，在图像的特征空间中构造出金字塔 
  
  
  
  
  
  
 。

因为浅层的网络更关注于细节信息              ，高层的网络更关注于语义信息  
 
  
 
  
 
  
 
  
 
  
 
  
 
 ，更有利于准确检测出目标














，因此利用最后一个卷积层上的feature map来进行预测分类 


 


 


 


 


 


 


 。

优点：速度快  
  
  
  
  
  
  
 、内存少
 
 
 
 
 
 
 
。缺点：仅关注深层网络中最后一层的特征
  
  
  
  
  
  
  ，却忽略了其它层的特征  
   
   
   
   
   
   
 。

图（c）：

同时利用低层特征和高层特征 

 

 

 

 

 

 

 。就是首先在原始图像上面进行深度卷积  
  
  
  
  
  
  
 ，然后分别在不同的特征层上面进行预测

 

 

 

 

 

 

 
。

优点：在不同的层上面输出对应的目标
 


 


 


 


 


 


 


，不需要经过所有的层才输出对应的目标（即对于有些目标来说
 
 
 
 
 
 
 ，不用进行多余的前向操作）   
   
   
   
   
   
   
 ，速度更快
 

 

 

 

 

 

 

，又提高了算法的检测性能              。

缺点：获得的特征不鲁棒

 

 

 

 

 

 

 ，都是一些弱特征（因为很多的特征都是从较浅的层获得的） 
 

 
 

 
 

 
 

 
 

 
 

 
 

 。

图（d）这才是我们真正的FPN

 简单概括来说就是：自下而上               ，自上而下
 
 

 
 

 
 

 
 

 
 

 
 

 
 

，横向连接和卷积融合














。

整体过程：

（1）自下而上：先把预处理好的图片送进预训练的网络













，比如像ResNet这些                      ，这一步就是构建自下而上的网络 
 
 
 
 
 
 
 
 
 
 
 
 
 
，就是对应下图中的（1





















，2              ，3）这一组金字塔                     。

（2）自上而下：将层3进行一个复制变成层4  
 
  
 
  
 
  
 
  
 
  
 
  
 
 ，对层4进行上采样操作（就是2 * up）














，再用1 * 1卷积对层2进行降维处理
  
  
  
  
  
  
  ，然后将两者对应元素相加（这里就是高低层特征的一个汇总）  
  
  
  
  
  
  
 ，这样我们就得到了层5
 


 


 


 


 


 


 


，层6以此类推
 
 
 
 
 
 
 ，是由层5和层1进行上述操作得来的 
 
 
 
 
 
 
 
 
 
 
 
 
 
 。这样就构成了自上而下网络   
   
   
   
   
   
   
 ，对应下图（4
 

 

 

 

 

 

 

，5

 

 

 

 

 

 

 ，6）金字塔





















。（其中的层2与上采样后的层4进行相加               ，就是横向连接的操作）

（3）卷积融合：最后我们对层4
 
 

 
 

 
 

 
 

 
 

 
 

 
 

，5













，6分别来一个3 * 3卷积操作得到最终的预测（对应下图的predict）              。

欢迎大家在评论区批评指正~