求解解决方法
程序员文章站
2022-05-22 14:14:09
...
求解
你的需求这样是解决不了的
要分开处理。。。。。
比如,可将ip按第一位,写到255个文件里面,,,也可以将ip转换成数字,这样处理后续可以少用点内存
分别在255个文件里面,找出前1000名。。。因为每组至多包含2^24个不同的数【暂时不考虑ipv6】,这个内存可接受的
这样用一个数组遍历,复杂度O(n),即可找出前1000
最后维护一个1000的有序数组,往里面插入数据即可,超过1000,弹出最小的那个
=====
能给出例子代码吗?
------解决方案--------------------
一次读取100W条数据,内存肯定吃不消,再来几个并发,那就更不得了了,还是分段读取,按2楼说的那样,把内容放到N个文件中,读取频率最高的,这样不至于一次打开一个上T的文件
你的需求这样是解决不了的
要分开处理。。。。。
比如,可将ip按第一位,写到255个文件里面,,,也可以将ip转换成数字,这样处理后续可以少用点内存
分别在255个文件里面,找出前1000名。。。因为每组至多包含2^24个不同的数【暂时不考虑ipv6】,这个内存可接受的
这样用一个数组遍历,复杂度O(n),即可找出前1000
最后维护一个1000的有序数组,往里面插入数据即可,超过1000,弹出最小的那个
=====
能给出例子代码吗?
------解决方案--------------------
一次读取100W条数据,内存肯定吃不消,再来几个并发,那就更不得了了,还是分段读取,按2楼说的那样,把内容放到N个文件中,读取频率最高的,这样不至于一次打开一个上T的文件
相关文章
相关视频
推荐阅读
-
win7下mysql服务器忘记密码的解决方法
-
win7默认网关不可用怎么修复 win7默认网关不可用的快速解决方法
-
win2008 r2因为使用安全设置软件导致权限丢失无法打开磁盘的解决方法
-
win10系统使用APMserv时提示80端口被占用的解决方法
-
sql server 还原数据库时提示数据库正在使用,无法进行操作的解决方法
-
MySQL: mysql is not running but lock exists 的解决方法
-
mysql 中文乱码 解决方法集锦
-
Surface Pro 2固件升级80070490错误的解决方法
-
页面只有一个text的时候,回车自动submit的解决方法
-
基于将Android工程做成jar包和资源文件的解决方法