yolov5自定义数据集（YOLOv8教程系列：一、使用自定义数据集训练YOLOv8模型（详细版教程，你只看一篇-＞调参攻略），包含环境搭建/数据准备/模型训练/预测/验证/导出等）
0.引言
YOLOv8随着2023一块来了~刚开赶紧打开仓库尝尝鲜 ，本次升级主要更新了如下部分：
更友好的安装/运行方式 速度更快 、准确率更高 新的backbone ，将YOLOv5中的C3更换为C2F YOLO系列第一次尝试使用anchor-free 新的损失函数
另外 ，我也写了一篇关于YOLOv8&YOLOv7&YOLOv5的数据对比 ，详情参看这篇YOLOv8（n/s/m/l/x）&YOLOv7(yolov7-tiny/yolov7/yolov7x)&YOLOv5（n/s/m/l/x）不同模型参数/性能对比（含训练及推理速度） 。1.环境准备
在这之前 ，需要先准备主机的环境 ，环境如下：
Ubuntu18.04 cuda11.3 pytorch:1.11.0 torchvision:0.12.0准备好环境后 ，先进入自己带pytorch的虚拟环境 ，与之前的yolo系列安装都不太一样 ，yolov8仅需要安装ultralytics这一个库就ok了 。
pip install ultralytics另一种方法稍显麻烦 ，需要先克隆git仓库 ，再进行安装；二者取其一即可 。
git clone https://github.com/ultralytics/ultralytics cd ultralytics pip install -e .2.数据准备
数据准备工作与YOLOv7和YOLOv5一致 ，没有看过的朋友可以看下这篇：YOLOv7系列教程：一 、基于自定义数据集训练专属于自己的目标检测模型（保姆级教程 ，含数据集预处理） ，包含对train.py/test.py/detect.py/export.py详细说明
如果没有克隆yolov8仓库的朋友 ，需要先新建一个存放模型/数据/脚本的文件夹 ，比如在/home/admin下新建一个yolov8的文件夹 ，后续所有操作均在这个文件夹下进行操作 。
（1）指定格式存放数据集
在yolov8/data目录下新建Annotations, images, ImageSets, labels 四个文件夹
images目录下存放数据集的图片文件
Annotations目录下存放图片的xml文件（labelImg标注）
没有自己数据集的可以使用这个数据集作训练
行人跌倒数据集目录结构如下所示
. ├── ./data │ ├── ./data/Annotations │ │ ├── ./data/Annotations/fall_0.xml │ │ ├── ./data/Annotations/fall_1000.xml │ │ ├── ./data/Annotations/fall_1001.xml │ │ ├── ./data/Annotations/fall_1002.xml │ │ ├── ./data/Annotations/fall_1003.xml │ │ ├── ./data/Annotations/fall_1004.xml │ │ ├── ... │ ├── ./data/images │ │ ├── ./data/images/fall_0.jpg │ │ ├── ./data/images/fall_1000.jpg │ │ ├── ./data/images/fall_1001.jpg │ │ ├── ./data/images/fall_1002.jpg │ │ ├── ./data/images/fall_1003.jpg │ │ ├── ./data/images/fall_1004.jpg │ │ ├── ... │ ├── ./data/ImageSets │ └── ./data/labels（2）按比例划分数据集
在yolov8根目录下新建一个文件splitDataset.py ，运行
随机分配训练/验证/测试集图片 ，代码如下所示： import os import random trainval_percent = 0.9 train_percent = 0.9 xmlfilepath = data/Annotations txtsavepath = data/ImageSets total_xml = os.listdir(xmlfilepath) num = len(total_xml) list = range(num) tv = int(num * trainval_percent) tr = int(tv * train_percent) trainval = random.sample(list, tv) train = random.sample(trainval, tr) ftrainval = open(data/ImageSets/trainval.txt, w) ftest = open(data/ImageSets/test.txt, w) ftrain = open(data/ImageSets/train.txt, w) fval = open(data/ImageSets/val.txt, w) for i in list: name = total_xml[i][:-4] + \n if i in trainval: ftrainval.write(name) if i in train: ftrain.write(name) else: fval.write(name) else: ftest.write(name) ftrainval.close() ftrain.close() fval.close() ftest.close()（3）将xml文件转换成YOLO系列标准读取的txt文件
在同级目录下再新建一个文件XML2TXT.py
注意classes = [“… ”]一定需要填写自己数据集的类别 ，在这里我是一个类别"fall" ，因此classes = [“fall ”] ，代码如下所示：
如果数据集中的类别比较多不想手敲类别的 ，可以使用（4）中的脚本直接获取类别 ，同时还能查看各个类别的数据量 ，如果不想可以直接跳过（4） 。 # -*- coding: utf-8 -*- # xml解析包 import xml.etree.ElementTree as ET import pickle import os from os import listdir, getcwd from os.path import join sets = [train, test, val] classes = [fall] # 进行归一化操作 def convert(size, box): # size:(原图w,原图h) , box:(xmin,xmax,ymin,ymax) dw = 1./size[0] # 1/w dh = 1./size[1] # 1/h x = (box[0] + box[1])/2.0 # 物体在图中的中心点x坐标 y = (box[2] + box[3])/2.0 # 物体在图中的中心点y坐标 w = box[1] - box[0] # 物体实际像素宽度 h = box[3] - box[2] # 物体实际像素高度 x = x*dw # 物体中心点x的坐标比(相当于 x/原图w) w = w*dw # 物体宽度的宽度比(相当于 w/原图w) y = y*dh # 物体中心点y的坐标比(相当于 y/原图h) h = h*dh # 物体宽度的宽度比(相当于 h/原图h) return (x, y, w, h) # 返回 相对于原图的物体中心点的x坐标比,y坐标比,宽度比,高度比,取值范围[0-1] # year =2012, 对应图片的id（文件名） def convert_annotation(image_id): 将对应文件名的xml文件转化为label文件 ，xml文件包含了对应的bunding框以及图片长款大小等信息 ， 通过对其解析 ，然后进行归一化最终读到label文件中去 ，也就是说 一张图片文件对应一个xml文件 ，然后通过解析和归一化 ，能够将对应的信息保存到唯一一个label文件中去 labal文件中的格式：calss x y w h 同时 ，一张图片对应的类别有多个 ，所以对应的ｂｕｎｄｉｎｇ的信息也有多个 # 对应的通过year 找到相应的文件夹 ，并且打开相应image_id的xml文件 ，其对应bund文件 in_file = open(data/Annotations/%s.xml % (image_id), encoding=utf-8) # 准备在对应的image_id 中写入对应的label ，分别为 # <object-class> <x> <y> <width> <height> out_file = open(data/labels/%s.txt % (image_id), w, encoding=utf-8) # 解析xml文件 tree = ET.parse(in_file) # 获得对应的键值对 root = tree.getroot() # 获得图片的尺寸大小 size = root.find(size) # 如果xml内的标记为空 ，增加判断条件 if size != None: # 获得宽 w = int(size.find(width).text) # 获得高 h = int(size.find(height).text) # 遍历目标obj for obj in root.iter(object): # 获得difficult ？？ difficult = obj.find(difficult).text # 获得类别 =string 类型 cls = obj.find(name).text # 如果类别不是对应在我们预定好的class文件中 ，或difficult==1则跳过 if cls not in classes or int(difficult) == 1: continue # 通过类别名称找到id cls_id = classes.index(cls) # 找到bndbox 对象 xmlbox = obj.find(bndbox) # 获取对应的bndbox的数组 = [xmin,xmax,ymin,ymax] b = (float(xmlbox.find(xmin).text), float(xmlbox.find(xmax).text), float(xmlbox.find(ymin).text), float(xmlbox.find(ymax).text)) print(image_id, cls, b) # 带入进行归一化操作 # w = 宽, h = 高 ， b= bndbox的数组 = [xmin,xmax,ymin,ymax] bb = convert((w, h), b) # bb 对应的是归一化后的(x,y,w,h) # 生成 calss x y w h 在label文件中 out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + \n) # 返回当前工作目录 wd = getcwd() print(wd) for image_set in sets: 对所有的文件数据集进行遍历 做了两个工作： １．将所有图片文件都遍历一遍 ，并且将其所有的全路径都写在对应的txt文件中去 ，方便定位 ２．同时对所有的图片文件进行解析和转化 ，将其对应的bundingbox 以及类别的信息全部解析写到label 文件中去 最后再通过直接读取文件 ，就能找到对应的label 信息 # 先找labels文件夹如果不存在则创建 if not os.path.exists(data/labels/): os.makedirs(data/labels/) # 读取在ImageSets/Main 中的train 、test..等文件的内容 # 包含对应的文件名称 image_ids = open(data/ImageSets/%s.txt % (image_set)).read().strip().split() # 打开对应的2012_train.txt 文件对其进行写入准备 list_file = open(data/%s.txt % (image_set), w) # 将对应的文件_id以及全路径写进去并换行 for image_id in image_ids: list_file.write(data/images/%s.jpg\n % (image_id)) # 调用 year = 年份 image_id = 对应的文件名_id convert_annotation(image_id) # 关闭文件 list_file.close()（4）查看自定义数据集标签类别及数量
在yolov8目录下再新建一个文件ViewCategory.py ，将代码复制进去
import os from unicodedata import name import xml.etree.ElementTree as ET import glob def count_num(indir): label_list = [] # 提取xml文件列表 os.chdir(indir) annotations = os.listdir(.) annotations = glob.glob(str(annotations) + *.xml) dict = {} # 新建字典 ，用于存放各类标签名及其对应的数目 for i, file in enumerate(annotations): # 遍历xml文件 # actual parsing in_file = open(file, encoding=utf-8) tree = ET.parse(in_file) root = tree.getroot() # 遍历文件的所有标签 for obj in root.iter(object): name = obj.find(name).text if (name in dict.keys()): dict[name] += 1 # 如果标签不是第一次出现 ，则+1 else: dict[name] = 1 # 如果标签是第一次出现 ，则将该标签名对应的value初始化为1 # 打印结果 print("各类标签的数量分别为：") for key in dict.keys(): print(key + : + str(dict[key])) label_list.append(key) print("标签类别如下：") print(label_list) if __name__ == __main__: # xml文件所在的目录 ，修改此处 indir = data/Annotations count_num(indir) # 调用函数统计各类标签数目（5）修改数据加载配置文件
进入data/文件夹 ，新建fall.yaml ，内容如下 ，注意txt需要使用绝对路径
train: /home/xxx/yolov8/data/train.txt val: /home/xxx/yolov8/data/val.txt test: /home/xxx/yolov8/data/test.txt # number of classes nc: 1 # class names names: [fall]至此数据集的准备已经就绪 ，索引文件在data目录下的train.txt/val.txt/test.txt
3.模型训练/验证/预测/导出
yolov8的训练采用命令行的模型（当然也可以使用api调用的方式 ，后面会介绍） ，下面是yolov8官方给定的训练/预测/验证/导出方式：
yolo task=detect mode=train model=yolov8n.pt args... classify predict yolov8n-cls.yaml args... segment val yolov8n-seg.yaml args... export yolov8n.pt format=onnx args...（1）模型训练
单卡训练
打开终端（或者pycharm等IDE） ，进入虚拟环境 ，随后进入yolov8文件夹 ，在终端中输入下面命令 ，即可开始训练 。
yolo task=detect mode=train model=yolov8n.pt data=data/fall.yaml batch=32 epochs=100 imgsz=640 workers=16 device=0所有参数参见下表：
名称 默认值 描述 batch 16 训练的批量大小 model null 训练模型权重 ，可指定具体位置 ，如yolov8n.pt ，yolov8n.yaml等 epochs 100 训练的轮次 imgsz 640 输入图像压缩后的尺寸 device null 用于训练的设备 ，可选0或1或cpu等 workers 8 多线程数据加载 ，默认8 data null 数据路径 ，使用自定义的yaml文件或者官方yaml lr0 float 初始学习率 lrf float 最终学习率（lr0 * lrf） patience 50 早期训练时 ，准确率如果没有显著上升则停止的轮次 save True 是否需要保存训练的模型和预测结果 cache False 使用缓存进行数据加载 ，可选True/ram, disk 或者 False project null 项目名称 name null 实验的名称 exist_ok False 是否覆盖现有实验 pretrained False 是否使用预训练模型 optimizer ‘SGD’ 优化器 ，可选[‘SGD’, ‘Adam’, ‘AdamW’, ‘RMSProp’] verbose False 是否打印详细输出 seed 0 重复性实验的随机种子 deterministic True 是否启用确定性模式 single_cls False 是否将多类数据训练为单类 image_weights False 是否使用加权图像选择进行训练 rect False 是否支持矩形训练 cos_lr False 是否使用余弦学习率调度器 close_mosaic 10 禁用最后 10 个 epoch 的马赛克增强 resume False 是否从上一个检查点恢复训练 lr0 0.01 初始学习率(SGD=1E-2, Adam=1E-3) lrf 0.01 余弦退火超参数 (lr0 * lrf) momentum 0.937 学习率动量 weight_decay 0.0005 权重衰减系数 warmup_epochs 3.0 预热学习轮次 warmup_momentum 0.8 预热学习率动量 warmup_bias_lr 0.1 预热学习率 box 7.5 giou损失的系数 cls 0.5 分类损失的系数 dfl 1.5 dfl损失的系数 fl_gamma 0.0 焦点损失的gamma系数 (efficientDet默认gamma=1.5) label_smoothing 0.0 标签平滑 nbs 64 名义批次,比如实际批次为16,那么64/16=4,每4 次迭代 ，才进行一次反向传播更新权重 ，可以节约显存 overlap_mask True 训练期间掩码是否重叠（仅限分割训练） mask_ratio 4 掩码下采样率 (仅限分割训练) dropout 0.0 使用 dropout 正则化 (仅限分类训练）多卡训练
yolov8的多卡训练其实很简单 ，不需要使用繁琐的命令行指令 ，仅需把device=0,1,2,3’即可 ，注意一定要加\和引号哦
yolo task=detect mode=train model=yolov8n.pt data=data/fall.yaml batch=32 epochs=100 imgsz=640 workers=16 device=\0,1,2,3\（2）模型验证
使用如下命令 ，即可完成对验证数据的评估 。
yolo task=detect mode=val model=runs/detect/train3/weights/best.pt data=data/fall.yaml device=0 名称 默认值 描述 val True 在训练期间验证/测试 save_json False 将结果保存到 JSON 文件 save_hybrid False 保存标签的混合版本（标签+附加预测） conf 0.001 用于检测的对象置信度阈值（预测时默认 0.25 ，验证时默认0.001） iou 0.6 NMS 的交并比 (IoU) 阈值 max_det 300 每张图像的最大检测数 half True 使用半精度 (FP16) dnn False 使用 OpenCV DNN 进行 ONNX 推理 plots False 在训练期间显示图片（3）模型预测
使用如下命令 ，即可完成对新数据的预测 ，source需要指定为自己的图像路径 ，或者摄像头（0） 。
yolo task=detect mode=predict model=runs/detect/train3/weights/best.pt source=data/images device=0 名称 默认值 描述 source ‘ultralytics/assets’ 图片或视频的源目录 save False 是否保存结果 show False 是否显示结果 save_txt False 将结果保存为 .txt 文件 save_conf False 保存带有置信度分数的结果 save_crop Fasle 保存裁剪后的图像和结果 conf 0.3 置信度阈值 hide_labels False 隐藏标签 hide_conf False 隐藏置信度分数 vid_stride False 视频帧率步幅 line_thickness 3 边界框厚度（像素） visualize False 可视化模型特征 augment False 将图像增强应用于预测源 agnostic_nms False 类别不可知的 NMS retina_masks False 使用高分辨率分割蒙版 classes null 只显示某几类结果 ，如class=0, 或者 class=[0,2,3]（4）模型导出
使用如下命令 ，即可完成训练模型的导出 。
yolo task=detect mode=export model=runs/detect/train3/weights/best.pt创心域SEO版权声明：以上内容作者已申请原创保护，未经允许不得转载，侵权必究！授权事宜、对本内容有异议或投诉，敬请联系网站管理员，我们将尽快回复您，谢谢合作！