0.引言

YOLOv7作为YOLO系列的又一大巅峰之作 
  
  
  
  
 ，下面将介绍利用自己的数据集训练YOLOv7模型 
  
  
  
  
 。

github代码链接：https://github.com/WongKinYiu/yolov7 目前版本为v0.1

运行环境如下： ubuntu20.04 cuda11.0 cudnn8.0.4 python3.8 torch1.12.0 torchvision0.11.0

1.数据集准备

（1）把yolov7克隆到本地

git clone https://github.com/WongKinYiu/yolov7.git

（2）指定格式存放数据集

在data目录下新建Annotations, images, ImageSets, labels 四个文件夹

images目录下存放数据集的图片文件

Annotations目录下存放图片的xml文件（labelImg标注）

目录结构如下所示

. ├── ./data │ ├── ./data/Annotations │ │ ├── ./data/Annotations/fall_0.xml │ │ ├── ./data/Annotations/fall_1000.xml │ │ ├── ./data/Annotations/fall_1001.xml │ │ ├── ./data/Annotations/fall_1002.xml │ │ ├── ./data/Annotations/fall_1003.xml │ │ ├── ./data/Annotations/fall_1004.xml │ │ ├── ... │ ├── ./data/images │ │ ├── ./data/images/fall_0.jpg │ │ ├── ./data/images/fall_1000.jpg │ │ ├── ./data/images/fall_1001.jpg │ │ ├── ./data/images/fall_1002.jpg │ │ ├── ./data/images/fall_1003.jpg │ │ ├── ./data/images/fall_1004.jpg │ │ ├── ... │ ├── ./data/ImageSets │ └── ./data/labels │ ├── ./data/coco.yaml │ ├── ./data/hyp.scratch.p5.yaml │ ├── ./data/hyp.scratch.p6.yaml │ ├── ./data/hyp.scratch.tiny.yaml ├── ./cfg ├── ./detect.py ├── ./figure ├── ./hubconf.py ├── ./inference ├── ./models ├── ./README.md ├── ....

（3）按比例划分数据集

在yolov7根目录下新建一个文件splitDataset.py

随机分配训练/验证/测试集图片
  
  
  
  
 ，代码如下所示： import os import random trainval_percent = 0.9 train_percent = 0.9 xmlfilepath = data/Annotations txtsavepath = data/ImageSets total_xml = os.listdir(xmlfilepath) num = len(total_xml) list = range(num) tv = int(num * trainval_percent) tr = int(tv * train_percent) trainval = random.sample(list, tv) train = random.sample(trainval, tr) ftrainval = open(data/ImageSets/trainval.txt, w) ftest = open(data/ImageSets/test.txt, w) ftrain = open(data/ImageSets/train.txt, w) fval = open(data/ImageSets/val.txt, w) for i in list: name = total_xml[i][:-4] + \n if i in trainval: ftrainval.write(name) if i in train: ftrain.write(name) else: fval.write(name) else: ftest.write(name) ftrainval.close() ftrain.close() fval.close() ftest.close()

（4）将xml文件转换成YOLO系列标准读取的txt文件

在同级目录下再新建一个文件XML2TXT.py

注意classes = [“…         ”]一定需要填写自己数据集的类别
 


 


 


 


 
，在这里我是一个类别"fall" 
 
 
 
 
，因此classes = [“fall 
  
 
  
 
  
 
  
 
  ”]
   
   
   
   
  ，代码如下所示：

如果数据集中的类别比较多不想手敲类别的
 

 

 

 

 
，可以使用（5）中的脚本直接获取类别 

 

 

 

 
，同时还能查看各个类别的数据量          ，如果不想可以直接跳过（5）
  
  
  
  
 。 # -*- coding: utf-8 -*- # xml解析包 import xml.etree.ElementTree as ET import pickle import os from os import listdir, getcwd from os.path import join sets = [train, test, val] classes = [fall] # 进行归一化操作 def convert(size, box): # size:(原图w,原图h) , box:(xmin,xmax,ymin,ymax) dw = 1./size[0] # 1/w dh = 1./size[1] # 1/h x = (box[0] + box[1])/2.0 # 物体在图中的中心点x坐标 y = (box[2] + box[3])/2.0 # 物体在图中的中心点y坐标 w = box[1] - box[0] # 物体实际像素宽度 h = box[3] - box[2] # 物体实际像素高度 x = x*dw # 物体中心点x的坐标比(相当于 x/原图w) w = w*dw # 物体宽度的宽度比(相当于 w/原图w) y = y*dh # 物体中心点y的坐标比(相当于 y/原图h) h = h*dh # 物体宽度的宽度比(相当于 h/原图h) return (x, y, w, h) # 返回 相对于原图的物体中心点的x坐标比,y坐标比,宽度比,高度比,取值范围[0-1] # year =2012, 对应图片的id（文件名） def convert_annotation(image_id): 将对应文件名的xml文件转化为label文件

 
 

 
 

 
 

 
 

 
，xml文件包含了对应的bunding框以及图片长款大小等信息








， 通过对其解析               ，然后进行归一化最终读到label文件中去
 
 
 
 
 
 
 
 
 
，也就是说 一张图片文件对应一个xml文件













，然后通过解析和归一化          ，能够将对应的信息保存到唯一一个label文件中去 labal文件中的格式：calss x y w h　　同时
  
 
  
 
  
 
  
 
  
，一张图片对应的类别有多个








，所以对应的ｂｕｎｄｉｎｇ的信息也有多个 # 对应的通过year 找到相应的文件夹 
  
  
  
  
 ，并且打开相应image_id的xml文件
  
  
  
  
 ，其对应bund文件 in_file = open(data/Annotations/%s.xml % (image_id), encoding=utf-8) # 准备在对应的image_id 中写入对应的label
 


 


 


 


 
，分别为 # <object-class> <x> <y> <width> <height> out_file = open(data/labels/%s.txt % (image_id), w, encoding=utf-8) # 解析xml文件 tree = ET.parse(in_file) # 获得对应的键值对 root = tree.getroot() # 获得图片的尺寸大小 size = root.find(size) # 如果xml内的标记为空 
 
 
 
 
，增加判断条件 if size != None: # 获得宽 w = int(size.find(width).text) # 获得高 h = int(size.find(height).text) # 遍历目标obj for obj in root.iter(object): # 获得difficult ？？ difficult = obj.find(difficult).text # 获得类别 =string 类型 cls = obj.find(name).text # 如果类别不是对应在我们预定好的class文件中
   
   
   
   
  ，或difficult==1则跳过 if cls not in classes or int(difficult) == 1: continue # 通过类别名称找到id cls_id = classes.index(cls) # 找到bndbox 对象 xmlbox = obj.find(bndbox) # 获取对应的bndbox的数组 = [xmin,xmax,ymin,ymax] b = (float(xmlbox.find(xmin).text), float(xmlbox.find(xmax).text), float(xmlbox.find(ymin).text), float(xmlbox.find(ymax).text)) print(image_id, cls, b) # 带入进行归一化操作 # w = 宽, h = 高
 

 

 

 

 
， b= bndbox的数组 = [xmin,xmax,ymin,ymax] bb = convert((w, h), b) # bb 对应的是归一化后的(x,y,w,h) # 生成 calss x y w h 在label文件中 out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + \n) # 返回当前工作目录 wd = getcwd() print(wd) for image_set in sets: 对所有的文件数据集进行遍历 做了两个工作： 　　　　１．将所有图片文件都遍历一遍 

 

 

 

 
，并且将其所有的全路径都写在对应的txt文件中去          ，方便定位 　　　　２．同时对所有的图片文件进行解析和转化

 
 

 
 

 
 

 
 

 
，将其对应的bundingbox 以及类别的信息全部解析写到label 文件中去 　　　　　最后再通过直接读取文件








，就能找到对应的label 信息 # 先找labels文件夹如果不存在则创建 if not os.path.exists(data/labels/): os.makedirs(data/labels/) # 读取在ImageSets/Main 中的train         、test..等文件的内容 # 包含对应的文件名称 image_ids = open(data/ImageSets/%s.txt % (image_set)).read().strip().split() # 打开对应的2012_train.txt 文件对其进行写入准备 list_file = open(data/%s.txt % (image_set), w) # 将对应的文件_id以及全路径写进去并换行 for image_id in image_ids: list_file.write(data/images/%s.jpg\n % (image_id)) # 调用 year = 年份 image_id = 对应的文件名_id convert_annotation(image_id) # 关闭文件 list_file.close()

（5）查看自定义数据集标签类别及数量

在同级目录下再新建一个文件ViewCategory.py               ，将代码复制进去

import os from unicodedata import name import xml.etree.ElementTree as ET import glob def count_num(indir): label_list = [] # 提取xml文件列表 os.chdir(indir) annotations = os.listdir(.) annotations = glob.glob(str(annotations) + *.xml) dict = {} # 新建字典
 
 
 
 
 
 
 
 
 
，用于存放各类标签名及其对应的数目 for i, file in enumerate(annotations): # 遍历xml文件 # actual parsing in_file = open(file, encoding=utf-8) tree = ET.parse(in_file) root = tree.getroot() # 遍历文件的所有标签 for obj in root.iter(object): name = obj.find(name).text if (name in dict.keys()): dict[name] += 1 # 如果标签不是第一次出现













，则+1 else: dict[name] = 1 # 如果标签是第一次出现          ，则将该标签名对应的value初始化为1 # 打印结果 print("各类标签的数量分别为：") for key in dict.keys(): print(key + : + str(dict[key])) label_list.append(key) print("标签类别如下：") print(label_list) if __name__ == __main__: # xml文件所在的目录
  
 
  
 
  
 
  
 
  
，修改此处 indir = data/Annotations count_num(indir) # 调用函数统计各类标签数目

至此数据集的准备已经就绪








，索引文件在data目录下的train.txt/val.txt/test.txt

2.训练配置准备

（1）安装requirements

首先需要先利用终端进入yolov7文件夹 
  
  
  
  
 ，创建python环境
  
  
  
  
 ，这里以Anaconda举例

cd yolov7 conda create -n yolov7 python=3.8 conda activate yolov7 pip install -r requirements.txt

（2）修改模型配置文件

进入cfg/training文件夹
 


 


 


 


 
，选择需要训练的模型配置文件 
 
 
 
 
，这里选择yolov7.yaml
   
   
   
   
  ，将其中的nc修改为自己的类别数量
 

 

 

 

 
，这里修改为1

# parameters nc: 1 # number of classes depth_multiple: 1.0 # model depth multiple width_multiple: 1.0 # layer channel multiple # anchors anchors: - [12,16, 19,36, 40,28] # P3/8 - [36,75, 76,55, 72,146] # P4/16 - [142,110, 192,243, 459,401] # P5/32 # yolov7 backbone backbone: # [from, number, module, args] [[-1, 1, Conv, [32, 3, 1]], # 0 [-1, 1, Conv, [64, 3, 2]], # 1-P1/2 [-1, 1, Conv, [64, 3, 1]], [-1, 1, Conv, [128, 3, 2]], # 3-P2/4 [-1, 1, Conv, [64, 1, 1]], [-2, 1, Conv, [64, 1, 1]], [-1, 1, Conv, [64, 3, 1]], [-1, 1, Conv, [64, 3, 1]], [-1, 1, Conv, [64, 3, 1]], [-1, 1, Conv, [64, 3, 1]], [[-1, -3, -5, -6], 1, Concat, [1]], [-1, 1, Conv, [256, 1, 1]], # 11 [-1, 1, MP, []], [-1, 1, Conv, [128, 1, 1]], [-3, 1, Conv, [128, 1, 1]], [-1, 1, Conv, [128, 3, 2]], [[-1, -3], 1, Concat, [1]], # 16-P3/8 [-1, 1, Conv, [128, 1, 1]], [-2, 1, Conv, [128, 1, 1]], [-1, 1, Conv, [128, 3, 1]], [-1, 1, Conv, [128, 3, 1]], [-1, 1, Conv, [128, 3, 1]], [-1, 1, Conv, [128, 3, 1]], [[-1, -3, -5, -6], 1, Concat, [1]], [-1, 1, Conv, [512, 1, 1]], # 24 [-1, 1, MP, []], [-1, 1, Conv, [256, 1, 1]], [-3, 1, Conv, [256, 1, 1]], [-1, 1, Conv, [256, 3, 2]], [[-1, -3], 1, Concat, [1]], # 29-P4/16 [-1, 1, Conv, [256, 1, 1]], [-2, 1, Conv, [256, 1, 1]], [-1, 1, Conv, [256, 3, 1]], [-1, 1, Conv, [256, 3, 1]], [-1, 1, Conv, [256, 3, 1]], [-1, 1, Conv, [256, 3, 1]], [[-1, -3, -5, -6], 1, Concat, [1]], [-1, 1, Conv, [1024, 1, 1]], # 37 [-1, 1, MP, []], [-1, 1, Conv, [512, 1, 1]], [-3, 1, Conv, [512, 1, 1]], [-1, 1, Conv, [512, 3, 2]], [[-1, -3], 1, Concat, [1]], # 42-P5/32 [-1, 1, Conv, [256, 1, 1]], [-2, 1, Conv, [256, 1, 1]], [-1, 1, Conv, [256, 3, 1]], [-1, 1, Conv, [256, 3, 1]], [-1, 1, Conv, [256, 3, 1]], [-1, 1, Conv, [256, 3, 1]], [[-1, -3, -5, -6], 1, Concat, [1]], [-1, 1, Conv, [1024, 1, 1]], # 50 ] # yolov7 head head: [[-1, 1, SPPCSPC, [512]], # 51 [-1, 1, Conv, [256, 1, 1]], [-1, 1, nn.Upsample, [None, 2, nearest]], [37, 1, Conv, [256, 1, 1]], # route backbone P4 [[-1, -2], 1, Concat, [1]], [-1, 1, Conv, [256, 1, 1]], [-2, 1, Conv, [256, 1, 1]], [-1, 1, Conv, [128, 3, 1]], [-1, 1, Conv, [128, 3, 1]], [-1, 1, Conv, [128, 3, 1]], [-1, 1, Conv, [128, 3, 1]], [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]], [-1, 1, Conv, [256, 1, 1]], # 63 [-1, 1, Conv, [128, 1, 1]], [-1, 1, nn.Upsample, [None, 2, nearest]], [24, 1, Conv, [128, 1, 1]], # route backbone P3 [[-1, -2], 1, Concat, [1]], [-1, 1, Conv, [128, 1, 1]], [-2, 1, Conv, [128, 1, 1]], [-1, 1, Conv, [64, 3, 1]], [-1, 1, Conv, [64, 3, 1]], [-1, 1, Conv, [64, 3, 1]], [-1, 1, Conv, [64, 3, 1]], [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]], [-1, 1, Conv, [128, 1, 1]], # 75 [-1, 1, MP, []], [-1, 1, Conv, [128, 1, 1]], [-3, 1, Conv, [128, 1, 1]], [-1, 1, Conv, [128, 3, 2]], [[-1, -3, 63], 1, Concat, [1]], [-1, 1, Conv, [256, 1, 1]], [-2, 1, Conv, [256, 1, 1]], [-1, 1, Conv, [128, 3, 1]], [-1, 1, Conv, [128, 3, 1]], [-1, 1, Conv, [128, 3, 1]], [-1, 1, Conv, [128, 3, 1]], [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]], [-1, 1, Conv, [256, 1, 1]], # 88 [-1, 1, MP, []], [-1, 1, Conv, [256, 1, 1]], [-3, 1, Conv, [256, 1, 1]], [-1, 1, Conv, [256, 3, 2]], [[-1, -3, 51], 1, Concat, [1]], [-1, 1, Conv, [512, 1, 1]], [-2, 1, Conv, [512, 1, 1]], [-1, 1, Conv, [256, 3, 1]], [-1, 1, Conv, [256, 3, 1]], [-1, 1, Conv, [256, 3, 1]], [-1, 1, Conv, [256, 3, 1]], [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]], [-1, 1, Conv, [512, 1, 1]], # 101 [75, 1, RepConv, [256, 3, 1]], [88, 1, RepConv, [512, 3, 1]], [101, 1, RepConv, [1024, 3, 1]], [[102,103,104], 1, IDetect, [nc, anchors]], # Detect(P3, P4, P5) ]

（3）修改数据加载配置文件

进入data/文件夹 

 

 

 

 
，新建fall.yaml          ，内容如下：

train: ./data/train.txt val: ./data/val.txt test: ./data/test.txt # number of classes nc: 1 # class names names: [fall]

至此

 
 

 
 

 
 

 
 

 
，配置文件修改完成

3.训练检测模型

yolov7仓库中有两个训练脚本








，一个叫train.py               ，一个叫train_aux.py
 
 
 
 
 
 
 
 
 
，前者是训练P5的模型













，包含yolov7-tiny 
  
 
  
 
  
 
  
 
  、yolov7-tiny-silu









、yolov7 
  
  
  
  
、yolov7x          ，后者是训练P6的模型
  
 
  
 
  
 
  
 
  
，包含yolov7-w6 
  
  
  
  
 、yolov7-e6

 


 


 


 


 、yolov7-d6 
 
 
 
 
、yolov7-e6e
 


 


 


 


 
。

# 训练P5模型 python train.py --weights yolov7.pt --data data/fall.yaml --epochs 300 --batch-size 8 --cfg cfg/training/yolov7.yaml --workers 0 --device 0 --img-size 640 640 # 训练P6模型 python train_aux.py --weights yolov7-e6e.pt --data data/fall.yaml --epochs 300 --batch-size 8 --cfg cfg/training/yolov7-e6e.yaml --workers 0 --device 0 --img-size 1280 1280

其中








，–weights是指预训练模型权重 
  
  
  
  
 ，可以去yolov7官方链接下载
  
  
  
  
 ，指定到相应目录下（推荐）
 


 


 


 


 
，如果没有配置网络可能会存在git不了权重文件

–data是指数据加载文件路径

–epoch是指模型训练轮次

–batch-size是指一批次输入多少数据一起训练 
 
 
 
 
，根据自己显卡的显存决定

–cfg是指模型加载文件路径
   
   
   
   
  ，关于–cfg中的training和deploy可以参考这篇文章：training和deploy的区别

–workers是指dataloader同时读取多少个进程
 

 

 

 

 
，如果num_worker设为0 

 

 

 

 
，意味着每一轮迭代时          ，dataloader不再有自主加载数据到RAM这一步骤（因为没有worker了）

 
 

 
 

 
 

 
 

 
，而是在RA中找batch








，找不到时再加载相应的batch 
 
 
 
 
。缺点当然是速度慢
   
   
   
   
  。设置为0可以避免一些错误发生

–device是指选用几号GPU

–img-size是指训练集和测试集图像大小               ，可选640或1280等

–rect是指是否采用矩阵推理的方式去训练模型
 
 
 
 
 
 
 
 
 
，采用矩阵推理就不要求送入的训练的图片是正方形

–resume断点续训

–evolve超参数进化













，模型提供的默认参数是通过在COCO数据集上使用超参数进化得来的

–linear-lr利用余弦函数对训练中的学习率进行调整

如果计算机上存在多张GPU卡          ，则可以使用分布式训练方法：

# 训练P5模型 python -m torch.distributed.launch --nproc_per_node 4 --master_port 9527 train.py --workers 8 --device 0,1,2,3 --sync-bn --batch-size 8 --data data/fall.yaml --img 640 640 --cfg cfg/training/yolov7.yaml --weights --name yolov7 --hyp data/hyp.scratch.p5.yaml # 训练P6模型 python -m torch.distributed.launch --nproc_per_node 8 --master_port 9527 train_aux.py --workers 8 --device 0,1,2,3,4,5,6,7 --sync-bn --batch-size 8 --data data/fall.yaml --img 1280 1280 --cfg cfg/training/yolov7-e6e.yaml --weights --name yolov7-w6 --hyp data/hyp.scratch.p6.yaml

4.测试模型性能

使用test.py文件可以对训练出的模型进行测试
  
 
  
 
  
 
  
 
  
，与训练命令基本类似








，但是这里需要注意的是 
  
  
  
  
 ，需要把：

# 训练P5模型 python test.py --weights exp/best.pt --data data/fall.yaml --batch-size 8 --device 0 --img-size 640 640

5.实战检测模型性能

# 使用摄像头进行目标检测
  
  
  
  
 ，--source可以设置为图片文件夹/rtsp流地址/视频地址等 python detect.py --weights runs/train/exp/weights/best.pt --source 0

6.导出模型

使用export.py脚本
 


 


 


 


 
，可以导出成中间格式的onnx模型

python export.py --weights runs/train/exp/best.pt

–weights是通过yolov7训练得到的pt文件 
 
 
 
 
，一般存在于runs/train下面的文件夹中
   
   
   
   
  ，导出后
 

 

 

 

 
，方便后续部署（onnx/tensorrt/openvino/coreml）

7.后续

导出模型后 

 

 

 

 
，GPU环境下可以使用tensorrt进行部署          ，详情可以参考我这篇文章：

YOLOv7系列教程：二 
   
   
   
   
 、使用onnx导出成tensorrt模型

 
 

 
 

 
 

 
 

 
，实现高性能部署








，包含opencv多线程
 

 

 

 

 、图像队列存取
 

 

 

 

 
、自动保存xml和jpg等模块

CPU环境下可以使用openvino进行部署               ，详情可以参考我这篇文章：

YOLOv7系列教程：三         、使用onnx导出成openvino模型
 
 
 
 
 
 
 
 
 
，并调用接口进行摄像头推理预测

不同模型对比结果可以看这篇：

YOLOv8（n/s/m/l/x）&YOLOv7(yolov7-tiny/yolov7/yolov7x)&YOLOv5（n/s/m/l/x）不同模型参数/性能对比（含训练及推理速度）

参考文章：

YOLOv5 实现目标检测（训练自己的数据集实现猫猫识别）

YoloV7:训练自己得数据集详细教程