语义分割数据集制作与转换方法

提示：这里可以添加系列文章的所有文章的目录              ，目录需要自己手动添加

第一章 基于PS的语义分割标注

第二章 构建VOC语义分割数据集

前言

PASCAL VOC2012数据集简介

PASCAL VOC2012是语义分割任务极为重要的官方数据集  
 
  
 
  
 
  
 
  
 
  
 
  
 
 ，大量优秀的语义分割模型都会刷一下这个数据集














，因此我们在使用别人的开源代码时
  
  
  
  
  
  
  ，如果能将自己的数据集整理成官方数据集的格式  
  
  
  
  
  
  
 ，则可快速验证模型性能
 


 


 


 


 


 


 


，减少自身工作量              。

VOC2012官方数据集文件结构共包含五个文件夹

其中语义分割需要的包括：

1.ImageSets/Segmentation:存放训练验证集文件名称的txt文件;

2.JPEGImages：存放原始图像的文件夹

3.SegmentationClass：存放标注文件的文件夹

因此
 
 
 
 
 
 
 ，在制作自己数据集时   
   
   
   
   
   
   
 ，只需保证这三个文件夹的内容统一
 

 

 

 

 

 

 

，即可完成数据集制作  
 
  
 
  
 
  
 
  
 
  
 
  
 
 。

一              、构建文件夹

根据上述的文件夹结构

 

 

 

 

 

 

 ，创建VOC2012文件夹               ，在VOC2012内创建ImageSets文件夹  
 
  
 
  
 
  
 
  
 
  
 
  
 
 、JPEGImages文件夹














、SegmentationClass文件夹
 
 

 
 

 
 

 
 

 
 

 
 

 
 

，在ImageSets文件夹内创建Segmentation文件夹














。

二
  
  
  
  
  
  
  、移动图片

将自己数据集的原始图片移动到JPEGImages文件夹下













，将自己数据集的标注图片移动到SegmentationClass文件夹下
  
  
  
  
  
  
  。

PS标注工具的使用请移步至：【PS才是真科研利器                      ，助力快速分割标注工作】

三  
  
  
  
  
  
  
 、生成TXT文件

这里提供一段代码：可自动生成train.txt
 


 


 


 


 


 


 


、val.txt
 
 
 
 
 
 
 、trainval.txt 
 
 
 
 
 
 
 
 
 
 
 
 
 
，并检查图像与标注图像长宽维度是否一致   
   
   
   
   
   
   
 、标注图像是否为二维图像
 

 

 

 

 

 

 

、并生成数据集均值

 

 

 

 

 

 

 、方差及各类别像素比例：

import mmcv import os import os.path as osp import random """1.检查图像维度""" import numpy as np from PIL import Image,ImageOps from torchvision import transforms def get_Image_dim_len(png_dir: str,jpg_dir:str): png = Image.open(png_dir) png_w,png_h=png.width,png.height #若第十行报错





















，说明jpg图片没有对应的png图片 png_dim_len = len(np.array(png).shape) assert png_dim_len==2,"提示:存在三维掩码图" jpg=Image.open(jpg_dir) jpg = ImageOps.exif_transpose(jpg) jpg.save(jpg_dir) jpg_w,jpg_h=jpg.width,jpg.height print(jpg_w,jpg_h,png_w,png_h) assert png_w==jpg_w and png_h==jpg_h,print("提示：%s mask图与原图宽高参数不一致"%(png_dir)) """2.读取单个图像均值和方差""" def pixel_operation(image_path: str): img = cv.imread(image_path, cv.IMREAD_COLOR) means, dev = cv.meanStdDev(img) return means,dev """3.分割数据集              ，生成label文件""" # 原始数据集 ann上一级 data_root = VOC2012 #图像地址 image_dir="JPEGImages" # ann图像文件夹 ann_dir = "SegmentationClass" # txt文件保存路径 split_dir = ImageSets/Segmentation mmcv.mkdir_or_exist(osp.join(data_root, split_dir)) png_filename_list = [osp.splitext(filename)[0] for filename in mmcv.scandir( osp.join(data_root, ann_dir), suffix=.png)] jpg_filename_list=[osp.splitext(filename)[0] for filename in mmcv.scandir( osp.join(data_root, image_dir), suffix=.jpg)] assert len(jpg_filename_list)==len(png_filename_list),"提示：原图与掩码图数量不统一" print("数量检查无误") for i in range(10): random.shuffle(jpg_filename_list) red_num=0 black_num=0 with open(osp.join(data_root, split_dir, trainval.txt), w+) as f: length = int(len(jpg_filename_list)) for line in jpg_filename_list[:length]: pngpath=osp.join(data_root,ann_dir,line+.png) jpgpath=osp.join(data_root,image_dir,line+.jpg) get_Image_dim_len(pngpath,jpgpath) img=cv.imread(pngpath,cv.IMREAD_GRAYSCALE) red_num+=len(img)*len(img[0])-len(img[img==0]) black_num+=len(img[img==0]) f.writelines(line + \n) value=red_num/black_num train_mean,train_dev=[[0.0,0.0,0.0]],[[0.0,0.0,0.0]] with open(osp.join(data_root, split_dir, train.txt), w+) as f: train_length = int(len(jpg_filename_list) * 7/ 10) for line in jpg_filename_list[:train_length]: jpgpath=osp.join(data_root,image_dir,line+.jpg) mean,dev=pixel_operation(jpgpath) train_mean+=mean train_dev+=dev f.writelines(line + \n) with open(osp.join(data_root, split_dir, val.txt), w+) as f: for line in jpg_filename_list[train_length:]: jpgpath=osp.join(data_root,image_dir,line+.jpg) mean,dev=pixel_operation(jpgpath) train_mean+=mean train_dev+=dev f.writelines(line + \n) train_mean,train_dev=train_mean/length, train_dev /length doc=open(均值方差像素比.txt,a+) doc.write("均值:"+\n) for item in train_mean: doc.write(str(item[0])+\n) doc.write("训练集方差:"+\n) for item in train_dev: doc.write(str(item[0])+\n) doc.write("像素比:"+\n) doc.write(str(value)) train_mean,train_dev=[[0.0,0.0,0.0]],[[0.0,0.0,0.0]]

运行完上述代码后  
 
  
 
  
 
  
 
  
 
  
 
  
 
 ，在VOC2012文件夹下便可看到均值方差像素比.txt文件:

同时,三个标签引索txt文件也随之生成：

总结

提示：这里对文章进行总结：

本文介绍了如何构建自己的VOC数据集  
  
  
  
  
  
  
 。以供大家交流讨论！

往期回顾：

（1）CBAM论文解读+CBAM-ResNeXt的Pytorch实现

（2）SENet论文解读及代码实例

（3）ShuffleNet-V1论文理解及代码复现

(4) ShuffleNet-V2论文理解及代码复现

（5）GhostNet论文理解及代码复现

（6）PS才是真科研利器














，助力快速分割标注工作

下期预告：

VOC数据集的使用–如何根据自己的数据集实现mmsegmentation算法库任意语义分割算法