请问数据量较大的用户统计方案
程序员文章站
2022-06-12 08:41:07
...
请教数据量较大的用户统计方案
比如某个应用有500W的用户。
每天会生成500个txt文件，每个文件对应一个用户的操作记录，文件内容包括（用户名,ip,访问页面,mac,访问时长等字段）
现在要对这500W个文件内容进行数据统计筛选，有什么好的解决方案吗。
我现在能想到的是将这些数据导入到MYSQL数据库，然后再统计筛选，但数据量太大，不知道是否可行。还有如何快速导入数据库也是个问题。
------解决方案--------------------
学习一下 还没遇到过这种数量级的用户
比如某个应用有500W的用户。
每天会生成500个txt文件，每个文件对应一个用户的操作记录，文件内容包括（用户名,ip,访问页面,mac,访问时长等字段）
现在要对这500W个文件内容进行数据统计筛选，有什么好的解决方案吗。
我现在能想到的是将这些数据导入到MYSQL数据库，然后再统计筛选，但数据量太大，不知道是否可行。还有如何快速导入数据库也是个问题。
------解决方案--------------------
学习一下 还没遇到过这种数量级的用户
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。
相关文章
相关视频
上一篇： 如何正确理解PHP的错误信息_PHP