欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

基于scanner的单视频处理

程序员文章站 2024-02-01 21:30:16
...
'''
# 假设目标 检测张三有没有来  需要做的操作是将含有人的帧提取出来
# 这个demo是单视频分段处理,
# 多视频处理可以在基础上进行修改

# 进展—这两天主要工作:
	熟悉scanner的编程框架以及数据流处理过程,了解对应操作的数据类型
	下列代码基于scanner的相关提示方法编写

# 下一步计划:
       还有部分逻辑没理顺,这部分代码还有部分问题需要修改
	   完成多视频并行处理的代码
'''
from scipy.io.matlab.streams import FileStream

import scannerpy as sp
import scannertools.imgproc
import scannertools.face_detection
import scannertools.vis

from sklearn.metrics.pairwise import cosine_similarity

def main():


    # Scanner启动必须建立客户端连接
    sc = sp.Client()

    # 使用数据流图计算,将视频转换为input_stream流
    input_stream = sp.NamedVideoStream(sc, 'camera_1', path='camera_1.mp4')

    # 利用io操作将数据流读取为table,行为帧,列为帧类型(如mp4,h265类型)列表存储起来
    input_frame = sc.io.Input([input_stream])

    # 使用ops自带操作进行下采样压缩视频帧,并且按照视频一致性,进行步长3重建数据流 转换为stride_frame
    # 假设一个30fps的10mins视频,有18000帧,处理后还有6000帧
    resize_frame = sc.ops.Reszie(frame = input_frame, width = 640, height = 480)
    stride_frame = sc.ops.Stride(frame = resize_frame, [3])

    # 为了便于并行处理,可以将原视频帧分割,每3000帧一组

    slice_partition = sc.streams.Slice(stride_frame, partitions=[(0,3000),(3001,6000)])

    # 借助背景差分进行处理视频帧(检测目标)
    mask_frame = sc.ops.BackgroundSubtraction(frame = slice_partition,
                                              alpha = 0.02, threshold = 0.05,
                                              bounded_state = 60)
	# 聚合slice
    unslice_frame = sc.streams.Unslice(mask_frame)
    frame = sc.io.Input([unslice_frame])


    # 建立输出流,并进行run计算,此时已经完成人脸检测
    output_stream = sp.NamedVideoStream(sc, 'output_stream')
    output_frame = sc.io.Output(unslice_frame, [output_stream])
    sc.run(output_frame, sp.PerfParams.estimate())


    # output_stream代表 所有需要检测的人的帧

    # 读取目标帧
    obj_frame = FileStream(sc, paths='image1.png')
    obj_vector = DNN(obj_frame)  # 调用现有模型即可

    people_frames = output_stream.load() # 流类型 其实是用列表存储
    # 获得包含face的帧
    face_contain = []
    for i in people_frames:
        feature_vector = DNN(people_frames[i])
        face_contain[i] = cosine_similarity(feature_vector, obj_vector)

    if min(face_contain) < 0.005:
        print("张三来学校了")
    else:
        print("张三没来")
    # 最后删除创建的流
    input_stream.delete(sc)
    output_stream.delete(sc)

if __name__ == '__main__':
    main()