理解 nodeJS 中的 buffer，stream

在node.js开发中，当遇到 buffer，stream，和二进制数据处理时，你是否像我一样，总是感到困惑？这种感觉是否会让你认为不了解它们，以为它们不适合你，认为而这些是node.js作者们的事情？

确实，这些东西可能非常令人生畏，尤其是当你在缺乏计算机底层基础知识，进行相关的开发。

 可悲的是，许多教程和书籍直接告诉你如何使用 node.js 包开发 web 应用程序，而没有让你了解 node.js 的核心功能以及它们存在的原因，有些人会地告诉你，你不需要了解它们，因为你可能永远不会直接用到这些。

没错，如果你选择做一名普通开发人员，可能永远不会用到他们。

如果你对这些内容存在疑问，你想理解 node.js 的许多核心功能，比如 buffer...这就是我写本篇文章的原因，这是为了帮助我们揭开其中一些功能的神秘面纱，并使我们对 node.js 的学习更上一层楼。

 官方的 node.js 文档部分说明：

 javascript 语言没有读取或操作二进制数据流的机制。 buffer 类被引入作为 node.js api 的一部分，使其可以在 tcp 流或文件系统操作等场景中处理二进制数据流。

嗯，除非你对上述句子中的描述有相关的知识和经验，否则它们可能只是一堆术语。

我们简化一下这些解释，以便我们可以更好的理解他们，官方的描述可以总结为一句话：buffer 能够与二进制数据流进行交互操作。

但是 buffer，stream，二进制数据，仍然有很多不理解的地方。 好吧，我们尝试解决这些重要的问题。

 二进制数据是什么？

 你可能已经知道计算机是以二进制形式存储和表示数据，二进制只是一个1或0的集合。例如，以下是五个不同的二进制文件，5个不同的1和0集：

10，01，001，1110，00101011

 二进制中的每个数字，0或1叫做位(bit)，也就是binary digit 的缩写。

为了能够存储和表示这些数据，计算机需要将数据转换为二进制形式。比如，要存储数字12，计算机需要将12转化为二进制 1100

计算机怎么知道要如何去转换？这就完全是一个数学问题了。计算机是知道怎么去处理的，有兴趣的可以自己查阅。

但是我们日常工作的数据类型不仅仅是数字，我们还有字符串，图像，视频...计算机知道如何用二进制表示所有类型的数据的，让我们以字符串为例。计算机如何用二进制表示字符串“ l”？为了将字符存储为二进制形式，计算机首先将该字符转换为数字，然后将该数字转换为二进制表示，因此，对于字符串“ l”， 计算机首先将l转换为代表l的数字，让我们看如何操作：

打开浏览器控制台，粘贴以下代码段："l".charcodeat(0)，按 enter，你看到了什么？数字76？这就是字母l的数字编码，但是计算机怎么知道具体哪个数字代表那个字母呢？如何知道数字76表示l？

 字符集

字符集是已经定义的一套规则，明确指出每个数字代表的字符，这些规则有不同的定义，流行的规则包括 unicode 和 ascii，javascript 在 unicode 字符集方面的表现非常好，实际上，在浏览器中，它是 unicode（可以尝试其他字符集），指出76表示大写“l”。

我们已经了解了计算机如何用数字表示字符，现在，计算机将依次将数字76表示为其二进制形式，你可能会认为，只需将76转换为以2为底的数字系统，没那么快！

 字符编码

 就像字符集规则定义那些数字代表那些字符一样，也有一些规则定义了如何使用二进制形式中表示该数字，具体来说，就是使用多少位来表示数字，这就是字符编码。

我们常见字符编码之一是 utf-8，utf-8 规定字符以字节表示，一个字节是8位(bit)，即8个1和0表示一个字节，所以，用8个1和0组成的二进制序列，来表示和存储任意的一个字符。

为了更好的理解，举个例子： 比如之前提到的12的二进制表示是1100。 所以，使用 utf-8 的格式来表示，应该使用一个字节，也就是8位来完整表示，也即00001100， 没有错吧？

因此，76在计算机中的存储形式应该是01001100。

 

这就是计算机将字符存储成二进制的方式。当然，计算机也有一些特殊规则，将图片、视频等存储为二进制的，总之，计算机会将无论图片、视频或其他数据都转换为二进制并存储，这就是我们说的二进制数据。

如果你对字符编码非常感兴趣，那你可以参考一下这篇文章

 stream

 在node.js中，流(stream)就是一系列从a点到b点移动的数据，完整点的说，就是当你有一个很大的数据需要传输、搬运时，你不需要等待所有数据都传输完成才开始下一步工作。

实际上，大型数据会被分割成小块(chunks)进行传输。所以，buffer 的原始定义中所说的(“streams of binary data… in the context of… file system”)意思就是说二进制数据在文件系统中的传输。比如，将 file1.txt 的文字存储到 file2.txt 中。

但是，buffer 到底在流(stream)中，是如何操作二进制数据的？buffer 到底是什么呢？

 buffer

 我们已经知道数据流(stream of data)是从一个地方向另一个地方传输数据的过程，但是这个具体是怎么样的一个过程？

通常情况下，我们传输数据往往是为了读取它，处理它，或者基于这些数据做一些其他操作，但是，在每次传输过程中，有一个数据量的问题。因此当获取到数据的时间比处理数据理的时间快时，我们处理数据就需要等待了。

这个”等待区域”就是 buffer! 它是电脑上的一个很小的物理地址，一般在内存中，数据在这里暂时存储，等待，最后在流(stream)中，发送出去并处理，比如说和显卡相关的 webgl 处理就是一个例子。

我们可以把整个流(stream)和 buffer 的配合过程看作公交站。在一些公交站，公车在没有装满乘客前是不会发车的，或者在特定的时刻才会发车。当然，乘客也可能在不同的时间，人流量大小也会有所不同，有人多的时候，有人少的时候，乘客或公交站都无法控制人流量。

 

不论何时，早到的乘客都必须等待，直到公车接到指令可以发车。当乘客到站，发现公车已经装满，或者已经开走，他就必须等待下一班车次。

总之，这里总会有一个等待的地方，这个等待的区域就是 node.js 中的 buffer，node.js 不能控制数据什么时候传输过来，传输速度，就好像公交车站无法控制人流量一样。他只能决定什么时候发送数据。如果时间还不到，那么 node.js 就会把数据放入 buffer（等待区域）中，一个在内存中的地址，直到把他们发送出去进行处理。

 

一个关于 buffer 很典型的例子，就是你在线看视频的时候。如果你的网络足够快，数据流(stream)就可以足够快，可以让 buffer 迅速填满然后发送和处理，然后处理另一个，再发送，再另一个，再发送，然后整个 stream 完成。

但是当你网络连接很慢，当处理完当前的数据后，你的播放器就会暂停，或出现”缓冲”(buffer)字样，意思是正在收集更多的数据，或者等待更多的数据到来，才能下一步处理。当buffer装满并处理好，播放器就会显示数据，也就是播放视频了。在播放当前内容的时候，更多的数据也会源源不断的传输、到达和在 buffer 等待。

 这就是 buffer！

 从原始的定义，我们知道，buffer 可以在 stream 中与二进制数据进行交互和操作。那么到底可以进行什么样的操作呢？在 node.js 中又应该如何进行刚才所描述的一些东西呢？我们来瞧一瞧。

与 buffer 交互

你可以创建自己的缓冲区！在 stream 中，node.js 会自动帮你创建 buffer 之外，你可以创建自己的 buffer 并操作它，是不是很有趣？ 我们来创建一个！

根据不同的需求，可以使用不同的方法来创建缓冲区。

// 创建一个大小为 10 的空 buffer
// 这个 buffer 只能承载10个字节的内容

const buf1 = buffer.alloc(10);

// 根据内容直接创建 buffer
const buf2 = buffer.from("hello buffer");

创建缓冲区后，就可以操作了

// 检查下buffer的结构

buf1.tojson()
// { type: 'buffer', data: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0] }

// 一个空的 buffer
buf2.tojson()

// { type: 'buffer', data: [104, 101, 108, 108, 111, 32, 98, 117, 102, 102, 101, 114] }
// the tojson() 方法可以将数据进行 unicode 编码并展示

// 检查 buffer 的大小

buf1.length // 10

buf2.length // 12 根据数据自动填充并创建

// 写入数据到 buffer
buf1.write("buffer really rocks!")

// 解码buffer

buf1.tostring() // 'buffer rea'

// 对不起，因为buf1只能承载10个字节的内容，所有多处的东西会被截断

我们可以使用 buffer 进行更多操作，前往，进一步了解这些方法。

最后，我将面临这个小挑战：仔细阅读 node.js 的核心库之一 的源代码，以了解它如何利用 buffer 的功能来操作二进制数据流，处理后，最后变成gziped文件。 当你在阅读的时候，记录下你的学习经历并在评论中分享下来吧。

希望本文能帮助你更好地了解 node.js buffer。

如果你觉得这篇文章不错，而其他人也有机会看到这一点，点个赞吧，以帮助其他人更好地理解 buffer。