deep sort

程序员文章站 2024-03-17 08:56:58

...

1. 准备代码与数据

deep_sort开源代码

克隆到本地服务器

git clone https://github.com/nwojke/deep_sort.git

下载MOT16数据集（MOT:Multi-Object Tracking, 16的意思是相比MOT15多了更多的细节信息)
MOT16数据集

预训练权重下载

1.1 数据集介绍

该数据集分为了test和train，每个文件夹有7个子文件夹。

./MOT16/train
deep sort

以训练集中的MOT16-02为例，探究数据数据集格式：
MOT16-02下包含三个四个子文件：det、gt、img1、seqinfo.ini

1.1.1 det:

det下只有一个文件，det.txt。每行一个标注，代表一个检测物体

deep sort

格式为：

, , <bb_left>, <bb_top>, <bb_width>, <bb_height>, , , ,

：第几帧（可以看到img1*600帧图）
：目标运动轨迹编号（在目标文件中都为-1）
<bb_* >：bbox的坐标尺寸
: 分类的置信度分数
<x, y, z> ：用于3D检测，2D检测总是为1

1.1.2 img1

这个目录就是把视频一帧帧抽取出来的图片，总共600张。文件命名从000001.jpg到000600.jpg。

1.1.3 gt

gt文件夹下只有一个文件，gt.txt

deep sort

第1个值：视频帧号
第2个值：目标运动轨迹的ID号
第3-6值：bbox坐标（x, y, w, h）
第7个值：目标轨迹是否进入考虑范围（0：忽略， 1：active）
第8个值：该轨迹对应的目标种类

第9个值：
box的visibility ratio，表示目标运动时被其他目标box包含/覆盖或者目标之间box边缘裁剪情况。

1.1.4 seqinfo.ini文件

deep sort
视频的基本信息介绍

2. 运行目标跟踪器

python deep_sort_app.py \
--sequence_dir=./MOT16/test/MOT16-06 \
--detection_file=./resources/detections/MOT16_POI_test/MOT16-06.npy \
--min_confidence=0.3 \
--nn_budget=100 \
--display=True

#在自己生成的feature运行tracker
python deep_sort_app.py \
--sequence_dir=./MOT16/test/MOT16-01 \
--detection_file=./resources/detections/wemo_test/MOT16-01.npy \
--min_confidence=0.3 \
--nn_budget=100 \
--display=True

deep sort

可选参数解释：
--sequence_dir：视频切成图片序列的文件夹，包含帧序列，每一帧的帧号、目标的bbox、
--detection_file：检测的权重文件 .npy
--output_file：输出类似于gt.txt的文件格式，轨迹不再是默认-1，发生变化
--min_confidence：检测结果阈值。低于这个阈值的检测结果将会被忽略
--nms_max_overlap：非极大抑制的阈值
--max_cosine_distance：余弦距离的控制阈值
--nn_budget：描述的区域的最大值
--display：显示目标追踪结果

3. generating detections

generate features for persons re-identification.

python tools/generate_detections.py \
    --model=resources/networks/mars-small128.pb \
    --mot_dir=./MOT16/train \
    --output_dir=./resources/detections/MOT16_train

#自定义生成feature
python tools/generate_detections.py \
    --model=resources/networks/mars-small128.pb \
    --mot_dir=./MOT16/test \
    --output_dir=./resources/detections/wemo_test

--model：是模型框架的权重参数文件
输入：
deep sort