golang HTTP 服务器 处理 日志/Stream流的操作

目前，我开发 http 服务， 用的是 beego框架， 方便了很多。

但是， 有时候，还是会遇到一些 特殊的场景。

比如： 过滤日志。

这应该是一种典型的stream，同时数据量也适中， 不会有人，为了这个， 就用一些很重的框架。

可以这样直观的描述这个 逻辑

其他组件 产生 log
||
\ /
我的组件，业务处理
||
\ /
用户， http client

这种情景下， 有几个特殊点：

1. 难以用 string，或者 byte 数组 收集数据

2. 数据source 端，不断的有数据产生

3. 数据缓冲，如果占有的 内存太多， 可能导致 服务崩溃

通常情况下，我们准备好数据， 然后调用beego框架的方法，将数据发送到客户端，就不管了。

而如果，我们需要根据处理的情况，多次写数据到客户端，该怎么办呢？

首先，对于 这种简单的 流数据， golang 提供了一个 结构。

pipereader, pipewriter := io.pipe()

这个方法的原型是这样的

func pipe() (*pipereader, *pipewriter)

它返回紧密相连的一对 reader 和 writer。 他们的“生命周期”相同。

任何 写到 writer中的数据， 直接流到了reader中。这个 和 linux 命令行中 “管道 |” 很像。

我们先开个goroutine 接收 日志数据

 go func () {
 for {
 var log []byte
 //log = 
 pipewriter.write(log)
 
 //break;
 }
 pipewriter.closewitherror(io.eof)
 }

主逻辑中， 处理日志

 defer pipereader.close()
 rr := bufio.newreader(io.reader(pipereader))
 for {

 line, err := rr.readbytes('\n')
 if io.eof == err {
 break
 }
........
 }

最后， 输出到客户端

var out []byte
ctl.ctx.responsewriter.write(out)
ctl.ctx.responsewriter.flush()

总结：

iopipe 直接 对接了 日志输出， 缓冲很小，

处理后的结果， 直接输出到 http 客户端。

尤其是第二点，很重要，我在处理这个逻辑的时候， 发现服务器，有几次意外崩溃，后来，才意识到，beego的controller 如果缓冲 处理后的数据，有可能仍然占有大量内存。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。