欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Go语言:读取带有BOM头的UTF8文件

程序员文章站 2022-03-31 11:30:25
...

 BOM头是UTF8文件开头的三个固定取值的字节,读文件的时候如果遇到BOM头需要忽略。在Golang里,比较有效率的方法是用ioutil.ReadFile,返回[]byte之后截取从第四个字节到末尾的切片。因为由切片截取生成的新切片和原切片共同指向同一个数组,所以没有额外的拷贝,这一点比转换成字符串之后再替换第一行的BOM要省一点字符串拷贝。

示例如下:

func read(filename string) []*string {
	dat, err := ioutil.ReadFile(filename)
	if (dat[0] == 0xef || dat[1] == 0xbb || dat[2] == 0xbf) {
		dat = dat[3:]
	}
	check(err)
	var cleaned = strings.Replace(string(dat), "\r", "", -1)
	var lines = strings.Split(cleaned, "\n")
	n := len(lines)
	var r []*string
	for i := 0; i < n; i++ {
		if lines[i] != "" {
			r = append(r, &lines[i])
		}
	}
	return r
}