在Linux下使用Pytorch运行yolov3训练自己的数据集初体验

程序员文章站 2022-03-18 21:49:40

这里写自定义目录标题萨顶新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入萨顶你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下M...

在Linux下使用Pytorch运行yolov3训练自己的数据

1.说明
最近我本人一直在学习深度学习方面的内容，尝试了tensorflow下使用yolov3也尝试了Pytorch下使用yolov3，今天在这里就分享一下我完成Pytorch下使用yolov3训练自己数据集的过程，希望可以帮助到其他正在学习的人。
首先要在这里由衷的感谢那些让我吸取了经验的帖子，csdn文章的作者。那么接下来就详细的写一下我自己训练的过程。

2.环境
1.centos操作系统
2.Pytorch1.2
3.anaconda
4.英伟达Tesla p4显卡 8g
刚开始配环境是一个特别困难的事，在这里分享一篇我觉得受益匪浅的文章：感谢大佬W_Tortoise安装Pytorch的经验
再分享一些需要提前安装好的包

pip install opencv-python
pip install tqdm
pip install matplotlib
pip install pycocotools

3.制作数据集

1. 制作数据集第一步是大家要获取到自己所需的照片，这个就不用我多说了，如果自己没有照片，可以去voc的官网下载为大家准备好的数据集。voc数据集下载
2. 有了照片之后，咱们就需要用labelImge标注工具对图片进行标注，可以直接去github上搜索labelImage，然后下载的文件包括data文件夹和可执行的exe文件，可以直接运行。
3. 使用labelImge标记后，jpg文件会变成xml文件，这里我们就要按照voc数据集的格式进行文件设置。在Linux下使用Pytorch运行yolov3训练自己的数据集初体验
4. 先要从github上clone下来yolov3的文件夹，方便后续操作，clone下来后，我们先将data文件夹移至yolov3文件夹下。

5. 将数据集Annotations、JPEGImages复制到YOLOV3工程目录下的data文件下；同时新建两个文件夹，分别命名为ImageSets和labels，最后我们将JPEGImages文件夹复制粘贴一下，并将文件夹重命名为images 在Linux下使用Pytorch运行yolov3训练自己的数据集初体验
6. 之后将convert_to_txt.py脚本文件放在Annotations同级目录下，运行这个脚本文件生成ImageSets下的四个txt文件，分别是train.txt,val.txt,test.txt,trainval.txt文件。

import os
import random
 
trainval_percent = 0.1
train_percent = 0.9
xmlfilepath = 'Annotations'
txtsavepath = 'ImageSets\Main'
total_xml = os.listdir(xmlfilepath)
 
num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)
 
ftrainval = open('ImageSets/Main/trainval.txt', 'w')
ftest = open('ImageSets/Main/test.txt', 'w')
ftrain = open('ImageSets/Main/train.txt', 'w')
fval = open('ImageSets/Main/val.txt', 'w')
 
for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftest.write(name)
        else:
            fval.write(name)
    else:
        ftrain.write(name)
 
ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

7. 之后是将voc_label.py放在data的同级目录下，运行生成labels文件夹下的文件。
8. voc数据集制作还有一些细节，需要大家去专门查看关于voc数据集制作的博客

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
sets = ['train', 'test','val']
classes = ["RBC"]
def convert(size, box):
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)
def convert_annotation(image_id):
    in_file = open('data/Annotations/%s.xml' % (image_id))
    out_file = open('data/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
wd = getcwd()
print(wd)
for image_set in sets:
    if not os.path.exists('data/labels/'):
        os.makedirs('data/labels/')
    image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split()
    list_file = open('data/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write('data/images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

4.接下来需要调整yolo中的几个配置文件
在data文件下新建car.data，配置内容如下：

classes=1#classes是训练的类别的个数，可以多个
train=data/train.txt
valid=data/test.txt
names=data/car.names
backup=backup/
eval=coco

再在data文件下新建car.names，配置内容如下：

car

5.修改yolo-tiny.cfg文件

[net]
batch=1
subdivisions=1
width=416
height=416
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=.1
learning_rate=0.001
burn_in=1000
max_batches = 500200
policy=steps
steps=400000,450000
scales=.1,.1 
[convolutional]
batch_normalize=1
filters=16
size=3
stride=1
pad=1
activation=leaky 
[maxpool]
size=2
stride=2 
[convolutional]
batch_normalize=1
filters=32
size=3
stride=1
pad=1
activation=leaky 
[maxpool]
size=2
stride=2 
[convolutional]
batch_normalize=1
filters=64
size=3
stride=1
pad=1
activation=leaky 
[maxpool]
size=2
stride=2 
[convolutional]
batch_normalize=1
filters=128
size=3
stride=1
pad=1
activation=leaky 
[maxpool]
size=2
stride=2 
[convolutional]
batch_normalize=1
filters=256
size=3
stride=1
pad=1
activation=leaky 
[maxpool]
size=2
stride=2 
[convolutional]
batch_normalize=1
filters=512
size=3
stride=1
pad=1
activation=leaky 
[maxpool]
size=2
stride=1 
[convolutional]
batch_normalize=1
filters=1024
size=3
stride=1
pad=1
activation=leaky
[convolutional]
batch_normalize=1
filters=256
size=1
stride=1
pad=1
activation=leaky 
[convolutional]
batch_normalize=1
filters=512
size=3
stride=1
pad=1
activation=leaky 
[convolutional]
size=1
stride=1
pad=1
filters=18
activation=linear 
[yolo]
mask = 3,4,5
anchors = 10,14,  23,27,  37,58,  81,82,  135,169,  344,319
classes=1
num=6
jitter=.3
ignore_thresh = .7
truth_thresh = 1
random=1 
[route]
layers = -4 
[convolutional]
batch_normalize=1
filters=128
size=1
stride=1
pad=1
activation=leaky 
[upsample]
stride=2 
[route]
layers = -1, 8 
[convolutional]
batch_normalize=1
filters=256
size=3
stride=1
pad=1
activation=leaky 
[convolutional]
size=1
stride=1
pad=1
filters=18
activation=linear 
[yolo]
mask = 0,1,2
anchors = 10,14,  23,27,  37,58,  81,82,  135,169,  344,319
classes=1
num=6
jitter=.3
ignore_thresh = .7
truth_thresh = 1
random=1

博主就在这里踩了坑，这里千万要注意别的一些博客是有空行的，但是我训练时cfg照着别人的改，有空行和注释是不行的，必须像我这样写。
还有一个要注意的是最后一个[convolutional]里面的filters是根据classes的数量改变的，关系是filters=18 #3(class + 4 + 1)。

6.之后要下载yolov3-tiny.weights权重文件，并且要将train.py文件中的这一行改为yolo-tiny.cfg和yolov3-tiny.weights对应的情况，要不也会出现错误，这个也是一个值得注意的点。

parser.add_argument('--weights', type=str, default='weights/yolov3-tiny.weights', help='initial weights path')

7.下载weights文件后放入yolov3的weights文件夹下，后需要运行一行代码生成yolov3-tiny.conv.15(这里需要在darknet文件夹中生成，比较麻烦所以我为大家提供了下载地址)

./darknet partial cfg/yolov3-tiny.cfg yolov3-tiny.weights yolov3-tiny.conv.15 15

链接：https://pan.baidu.com/s/1DRYENKz3u7z1W9_v7CwgJA
提取码：woa6
复制这段内容后打开百度网盘手机App，操作更方便哦

8.训练
因为我用的Liunx系统没有图形界面，我是在Linux下cmd训练的，在简单说一下步骤，运行你anaconda下的pytorch环境，然后cd到yolov3文件夹，之后运行

python train.py --data data/car.data --cfg cfg/yolov3-tiny.cfg --epochs 10

epochs可以随意改变，别的博客写的是python train.py --data-cfg data/rbc.data --cfg cfg/yolov3-tiny.cfg --epochs 10，但是我在–data后加-cfg会报错，所以去掉。
在Linux下使用Pytorch运行yolov3训练自己的数据集初体验

训练完成后会得到模型
在Linux下使用Pytorch运行yolov3训练自己的数据集初体验
9.预测
这样就到了最后的预测阶段，可以拿到最后的被标注的图片，把我们需要进行预测的图片也就是数据集里的图片放到data中的samples文件夹下，运行

python detect.py --names data/car.name --source data/samples/ --cfg cfg/yolov3-tiny.cfg --weights weights/best.pt

很多博客是这样写的，大家可以尝试。python detect.py --data-cfg data/rbc.data --cfg cfg/yolov3-tiny.cfg --weights weights/best.pt，我在预测的时候这样写会报unrecognized arguments的错误
在Linux下使用Pytorch运行yolov3训练自己的数据集初体验
我这个精度还是比较低，可能是因为epochs次数比较少，大家可以多多尝试。