使用Gin+WebSocket在HTML中无插件播放RTSP

项目地址：

在后台的开发中遇到了对接显示摄像头视频流的需求。目前获取海康及大华等主流的摄像头的视频流使用的基本都是rtsp协议。不过html页面并不能直接播放rtsp协议的视频流，查询了一番各种网页播放rtsp的资料，有如下的一些方案：

• 插件开发播放：使用activex等浏览器插件的方式来播放，海康和大华的浏览器管理页面便是通过安装浏览器插件来播放视频的。视频播放稳定，延时短，但是对技术要求较高，对于chrome等现代浏览器也存在兼容性问题，并不想考虑。

• rtsp 转 hls：使用ffmpeg将rtsp转为hls，推流到流服务器，如安装了nginx-rtmp-module模块的nginx，用这个方案测试了下，hls协议在pc端和移动端的浏览器的播放都很稳，但是用hls协议的直播流延时很大，至少有15秒左右，对于低延时视频的需求只能pass。

• rtsp 转 rtmp：与上一方案类似，使用ffmpeg将rtsp转为rtmp推到流服务器分发播放，相比hls延时很低，本来已经准备使用这个方案了，但是前端使用的video.js库总是会偶现无法加载视频的问题，而且播放rtmp需要使用到flash，在chrome等浏览器中已经默认禁止加载逐步淘汰，只能抛弃。

• websocket：最终在万能的github上翻到了一个jsmpeg项目，采用ffmpeg转为mpeg1 video通过websocket代理推送到前端直接解码播放的方案。测试了下，延迟低，无需插件，画面质量也可以根据需要调整，效果很不错。

jsmpeg项目示例的websocket代理使用的是js，简单实现了单个视频源的播放功能。我们的后台使用的是golang的gin框架，会有多个网页客户端播放多个视频流。好在看了下js的代码，这个websocket代理的原理并不难，在gin中集成websocket也很方便。这里记录下我的集成方案。

主要模块

• api 接口：接收ffmpeg的推流数据和客户端的http请求，将客户端需要播放的rtsp地址转换为一个对应的websocket地址，客户端通过这个websocket地址便可以直接播放视频，为了及时释放不再观看的视频流，这里设计为客户端播放时需要在每隔60秒的时间里循环请求这个接口，超过指定时间没有收到请求的话后台便会关闭这个视频流。

• ffmpeg 视频转换：收到前端的请求后，启动一个goroutine调用系统的ffmpeg命令转换指定的rtsp视频流并推送到后台对应的接口，自动结束已超时转换任务。

• websocket manager：管理websocket客户端，将请求同一websocket地址的客户端添加到一个group中，向各个group广播对应的rtsp视频流，删除group中已断开连接的客户端，释放空闲的group。

这里大致介绍下这三个主要模块的实现要点。

api 接口

api接收客户端发送的包含了需要播放rtsp流地址的json数据，格式如：

{
    "url":"rtsp://admin:admin@192.168.1.11:554/cam/realmonitor?channel=1&subtype=0"
}

在有多个客户端需要播放相同的rtsp流地址时，需要保证返回对应的websocket地址相同，这里使用了uuid v3来将rtsp地址散列化保证返回的地址相同。

service/rtsptrans.go

processch := uuid.newv3(uuid.namespaceurl, splitlist[1]).string()
playurl := fmt.sprintf("/stream/live/%s", processch)

ffmpeg转换的视频数据也会通过http协议传回服务端，每帧byte数据会以'\n'结束，在go语言中可以通过bufio模块来读出这样的数据。

api/rtsp.go

bodyreader := bufio.newreader(c.request.body)

for {
    data, err := bodyreader.readbytes('\n')
    if err != nil {
        break
    }
}

ffmpeg 视频转换

视频转换模块会在收到需要转换的rtsp流地址后，启动一个ffmpeg子进程来转换rtsp视频流，这里是使用exec.command来完成：

service/rtsptrans.go

params := []string{
    "-rtsp_transport",
    "tcp",
    "-re",
    "-i",
    rtsp,
    "-q",
    "5",
    "-f",
    "mpegts",
    "-fflags",
    "nobuffer",
    "-c:v",
    "mpeg1video",
    "-an",
    "-s",
    "960x540",
    fmt.sprintf("http://127.0.0.1:3000/stream/upload/%s", playch),
}

cmd := exec.command("ffmpeg", params...)
cmd.stdout = nil
cmd.stderr = nil
stdin, err := cmd.stdinpipe()

通过ffmpeg的 -q 和 -s 参数可以调试视频的质量和分辨率。为了简便，命令的stdout和stderr都赋值为了nil，实际项目中可以保存到日志中方便排查问题。为了及时释放不再播放的资源，客户端停止请求超过一定时间后，ffmpeg子进程会自动关闭，通过golang的select可以很方便的实现这个功能。

service/rtsptrans.go

for {
    select {
    case <-*ch:
        util.log().info("reflush channel %s rtsp %v", playch, rtsp)

    case <-time.after(60 * time.second):
        stdin.write([]byte("q"))
        err = cmd.wait()
        if err != nil {
            util.log().error("run ffmpeg err:%v", err.error)
        }
        return
    }
}

这里的*ch channel通过一个map和每个子进程关联，子进程关闭时需要从map中清除，需要考虑并发的问题，可以使用sync.map来保证线程安全。

websocket manager

websocket manager 负责对页面上请求视频数据的 ws 客户端进行管理，在gin中，主要是使用github.com/gorilla/websocket这个库来开发相关功能。jsmpeg库连接websocket时使用到了sec-websocket-protocol这个header，需要对其处理：

upgrader := websocket.upgrader{
    // cross origin domain
    checkorigin: func(r *http.request) bool {
        return true
    },
    // 处理 sec-websocket-protocol header
    subprotocols: []string{ctx.getheader("sec-websocket-protocol")},
}
conn, err := upgrader.upgrade(ctx.writer, ctx.request, nil)

ws 客户端连接后，会分配一个唯一的uuid，放入到url对应的group中，相同group下的客户端会收到同一视频流的数据。客户端断开连接后，需要从group中删除，同时释放掉已经为空的group。这个过程同样需要考虑到并发的问题，websocket manager通过单独启动一个goroutine监听注册，断开连接，广播的三个对应的golang的channel，来统一管理各个group，可以很好的解决这个问题。具体实现在 service/wsservice.go#l75，代码比较长就不贴了。

测试

项目需要运行在安装有ffmpeg程序的环境中。通过编写了一份dockerfile已经封装好了需要的环境，可以使用docker build后，以docker的方式运行。

$ docker build -t ginrtsp .
$ docker run -td -p 3000:3000 ginrtsp

使用内置的ffmpeg转换

将需要播放的rtsp流地址提交到 /stream/play 接口，例如：

post /stream/play
{
   "url": "rtsp://admin:password@192.168.3.10:554/cam/realmonitor?channel=1&subtype=0"
}

后台可以正常转换此rtsp地址时便会返回一个对应的地址，例如：

{
    "code": 0,
    "data": {
        "path": "/stream/live/5b96bff4-bdb2-3edb-9d6e-f96eda03da56"
    },
    "msg": "success"
}

编辑html文件夹下view-stream.html文件，将script部分的url修改为此地址，在浏览器中打开，便可以看到视频了。

手动运行ffmpeg

由于后台转换rtsp的进程在超过60秒没有请求后便会停止，也可以通过手动运行ffmpeg命令，来更方便地在测试状态下查看视频。

ffmpeg -rtsp_transport tcp -re -i 'rtsp://admin:password@192.168.3.10:554/cam/realmonitor?channel=1&subtype=0' -q 0 -f mpegts -c:v mpeg1video -an -s 960x540 http://127.0.0.1:3000/stream/upload/test

通过如上命令，运行之后在view-stream.html文件的url中填入对应的地址为/stream/upload/test，在浏览器中打开查看视频。

显示效果

总结

得益于jsmpeg项目的强大，实现一个websocket的在网页上播放rtsp视频流还是很简单的了。随着golang语言日渐成熟，基于现成的库也可以方便的在gin中添加websocket功能。需要注意主要是并发时，对ffmpeg子进程，websocket客户端的增删问题，好在golang天生对并发有良好的支持，gouroutine，channel，sync库这些golang核心知识掌握好了便可很好的应对这些问题。

首发自个人博客 ，欢迎访问交流。