目录
1. BiFPN论文简介
2. 在Common.py中添加定义模块(Concat)
3. 将类名加入进去 ，修改yolo.py
4. 修改train.py
5. 修改配置文件yolov5.yaml
1. BiFPN论文简介
论文《EfficientDet: Scalable and Efficient Object Detection》地址：https://arxiv.org/abs/1911.09070
BiFPN 全称 Bidirectional Feature Pyramid Network 加权双向（自顶向下 + 自低向上）特征金字塔网络 。
图中蓝色部分为自顶向下的通路 ，传递的是高层特征的语义信息；红色部分是自底向上的通路 ，传递的是低层特征的位置信息；紫色部分是同一层在输入节点和输入节点间新加的一条边 。
我们删除那些只有一条输入边的节点 。这么做的思路很简单：如果一个节点只有一条输入边而没有特征融合 ，那么它对旨在融合不同特征的特征网络的贡献就会很小 。删除它对我们的网络影响不大 ，同时简化了双向网络；如上图d 的 P7右边第一个节点
如果原始输入节点和输出节点处于同一层 ，我们会在原始输入节点和输出节点之间添加一条额外的边 。思路：以在不增加太多成本的情况下融合更多的特性；
与只有一个自顶向下和一个自底向上路径的PANet不同 ，我们处理每个双向路径(自顶向下和自底而上)路径作为一个特征网络层 ，并重复同一层多次 ，以实现更高层次的特征融合 。如下图EfficientNet 的网络结构所示 ，我们对BiFPN是重复使用多次的 。而这个使用次数也不是我们认为设定的 ，而是作为参数一起加入网络的设计当中 ，使用NAS技术算出来的 。
Weighted Feature Fusion 带权特征融合：学习不同输入特征的重要性 ，对不同输入特征有区分的融合 。
设计思路：传统的特征融合往往只是简单的 feature map 叠加/相加 (sum them up) ，比如使用concat或者shortcut连接 ，而不对同时加进来的 feature map 进行区分 。然而 ，不同的输入 feature map 具有不同的分辨率 ，它们对融合输入 feature map 的贡献也是不同的 ，因此简单的对他们进行相加或叠加处理并不是最佳的操作 。所以这里我们提出了一种简单而高效的加权特融合的机制 。
常见的带权特征融合有三种方法 。
2. 在Common.py中添加定义模块(Concat)
3. 将类名加入进去 ，修改yolo.py
models/yolo.py中的parse_model函数中搜索elif m is Concat:语句,在其后面加上BiFPN_Concat相关语句
# 添加bifpn_concat结构
elif m in [Concat, BiFPN_Concat2, BiFPN_Concat3]:
c2 = sum(ch[x] for x in f)
4. 修改train.py
1.调用模块
from models.common import BiFPN_Concat2, BiFPN_Concat3
2.向优化器器中添加BiFPN的权重参数
yolov5.0 版本将BiFPN_Concat2和BiFPN_Concat3函数中定义的w参数 ，Ctrl+F快捷检索pg0
pg0, pg1, pg2 = [], [], [] # optimizer parameter groups
for k, v in model.named_modules():
# hasattr: 测试指定的对象是否具有给定的属性 ，返回一个布尔值
if hasattr(v, bias) and isinstance(v.bias, nn.Parameter):
pg2.append(v.bias) # biases
if isinstance(v, nn.BatchNorm2d):
pg0.append(v.weight) # no decay
elif hasattr(v, weight) and isinstance(v.weight, nn.Parameter):
pg1.append(v.weight) # apply decay
elif isinstance(v, BiFPN_Concat2) and hasattr(v, w) and isinstance(v.w, nn.Parameter):
pg1.append(v.w)
elif isinstance(v, BiFPN_Concat3) and hasattr(v, w) and isinstance(v.w, nn.Parameter):
pg1.append(v.w)
if opt.adam:
optimizer = optim.Adam(pg0, lr=hyp[lr0], betas=(hyp[momentum], 0.999)) # adjust beta1 to momentum
else:
optimizer = optim.SGD(pg0, lr=hyp[lr0], momentum=hyp[momentum], nesterov=True)
optimizer.add_param_group({params: pg1, weight_decay: hyp[weight_decay]}) # add pg1 with weight_decay
optimizer.add_param_group({params: pg2}) # add pg2 (biases)
logger.info(Optimizer groups: %g .bias, %g conv.weight, %g other % (len(pg2), len(pg1), len(pg0)))
del pg0, pg1, pg2
yolov5.6.0以上版本可以Ctrl+F快捷检索# Optimizer ，以6.2版本为例
5. 修改配置文件yolov5.yaml
将Concat全部换成BiFPN_Concat
# parameters
nc: 80 # number of classes
depth_multiple: 0.33 # model depth multiple
width_multiple: 0.50 # layer channel multiple
# anchors
anchors:
- [10,13, 16,30, 33,23] # P3/8
- [30,61, 62,45, 59,119] # P4/16
- [116,90, 156,198, 373,326] # P5/32
# YOLOv5 backbone
backbone:
# [from, number, module, args]
[[-1, 1, Focus, [64, 3]], # 0-P1/2
[-1, 1, Conv, [128, 3, 2]], # 1-P2/4
[-1, 3, C3, [128]],
[-1, 1, Conv, [256, 3, 2]], # 3-P3/8
[-1, 9, C3, [256]],
[-1, 1, Conv, [512, 3, 2]], # 5-P4/16
[-1, 9, C3, [512]],
[-1, 1, Conv, [1024, 3, 2]], # 7-P5/32
[-1, 1, SPP, [1024, [5, 9, 13]]],
[-1, 3, C3, [1024, False]], # 9
]
# YOLOv5 head
head:
[[-1, 1, Conv, [512, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, nearest]],
[[-1, 6], 1, BiFPN_Concat2, [1]], # cat backbone P4
[-1, 3, C3, [512, False]], # 13
[-1, 1, Conv, [256, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, nearest]],
[[-1, 4], 1, BiFPN_Concat2, [1]], # cat backbone P3
[-1, 3, C3, [256, False]], # 17 (P3/8-small)
[-1, 1, Conv, [256, 3, 2]],
[[-1, 14,6], 1,BiFPN_Concat3, [1]], # cat head P4
[-1, 3, C3, [512, False]], # 20 (P4/16-medium)
[-1, 1, Conv, [512, 3, 2]],
[[-1, 10], 1, BiFPN_Concat2, [1]], # cat head P5
[-1, 3, C3, [1024, False]], # 23 (P5/32-large)
[[17, 20, 23], 1, Detect, [nc, anchors]], # Detect(P3, P4, P5)
]
声明：本站所有文章 ，如无特殊说明或标注 ，均为本站原创发布 。任何个人或组织 ，在未征得本站同意时 ，禁止复制 、盗用 、采集 、发布本站内容到任何网站 、书籍等各类媒体平台 。如若本站内容侵犯了原著者的合法权益 ，可联系我们进行处理 。
