在内存储器小于文件大小的情况下，大文件中快速查找定位一行
程序员文章站
2023-12-30 13:04:10
...
在内存小于文件大小的情况下，大文件中快速查找定位一行
比如有一个文件
ABC 56
DEF 100
RET 300
...
文件有2列，第一列都是不重复的，第2列表示次数（当成一个数字就行了）。
如果文件大小为2G或者更大，内存只有1G的情况，如何快速定位到“ABC 56” 这一行。
请大拿们给个清晰点的解决方法。
比如有一个文件
ABC 56
DEF 100
RET 300
...
文件有2列，第一列都是不重复的，第2列表示次数（当成一个数字就行了）。
如果文件大小为2G或者更大，内存只有1G的情况，如何快速定位到“ABC 56” 这一行。
请大拿们给个清晰点的解决方法。
内存
大文件
分享到：
------解决方案--------------------
fopen，再fscanf。
一次读一行就好啊。内存不会成为限制因素的。
------解决方案--------------------
建hash表的话，岂不是要先对文件的内容进行hash？
可以用其他的工具来处理，未必一定要用算法。
比如awk：
awk '/ABC\t56/{ print NR}' file
可以获取匹配行的行号。
建议lz说下具体的需求，如果仅仅是获取行号的话，方案很多。
但是如果还有其他需求的话，类似awk这么做未必是最佳方案。
------解决方案--------------------
是的读块 比较符合你的需求
------解决方案--------------------
楼主可参考：
http://www.fantxi.com/blog/archives/php-read-large-file/
http://sjolzy.cn/php-large-file-read-operation.html
------解决方案--------------------
fopen，再fscanf。
一次读一行就好啊。内存不会成为限制因素的。
------解决方案--------------------
建hash表的话，岂不是要先对文件的内容进行hash？
可以用其他的工具来处理，未必一定要用算法。
比如awk：
awk '/ABC\t56/{ print NR}' file
可以获取匹配行的行号。
建议lz说下具体的需求，如果仅仅是获取行号的话，方案很多。
但是如果还有其他需求的话，类似awk这么做未必是最佳方案。
------解决方案--------------------
是的读块 比较符合你的需求
------解决方案--------------------
楼主可参考：
http://www.fantxi.com/blog/archives/php-read-large-file/
http://sjolzy.cn/php-large-file-read-operation.html
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。
相关文章
相关视频
专题推荐
-
独孤九贱-php全栈开发教程
全栈 170W+
主讲：Peter-Zhu 轻松幽默、简短易学，非常适合PHP学习入门
-
玉女心经-web前端开发教程
入门 80W+
主讲：灭绝师太 由浅入深、明快简洁，非常适合前端学习入门
-
天龙八部-实战开发教程
实战 120W+
主讲：西门大官人 思路清晰、严谨规范，适合有一定web编程基础学习
作者信息
- 最新文章
- 热门排行
网友评论
文明上网理性发言，请遵守 新闻评论服务协议
我要评论