为什么数据分析一般用到java,而不是使用hadoop,flume,hive的api使用php来处理相关业务?
程序员文章站
2023-12-28 13:06:40
...
为什么数据分析一般用到java,而不是使用hadoop,flume,hive的api使用php来处理相关业务?
回复内容:
为什么数据分析一般用到java,而不是使用hadoop,flume,hive的api使用php来处理相关业务?
像传统的关系数据库,进行数据分析的时候难道不是直接使用SQL吗?
如果要分析Web服务器日志,用PHP也完全可以呀,file()读入文件,每行就是数组的一个元素,然后通过分割或者正则匹配就能拿到每一列的内容.如果文件很大,可以调用命令split进行切分后再操作.
个人认为,对于数据库都装不下的"大数据"的场景,能遇到的人和公司也不多.
对于一些文本数据,直接应用Linux Shell里的cat/find/grep/awk/sed/sort/uniq/cut/wc/split/xargs也是一种快速的方法.
Java 是商用最廣的語言, 在數據分析上的解決方案自然比較多。
我是觉得PHP这种东西除了做WEB在其他方面的表现都是蛮差的。
hadoop套件是分布式运算框架,数据分析大多都是单机做的,并不需要分布式集群来提供运算量。
hadoop使用java开发的 而且最早的hadoop好像只支持java和C/C++(错误了的话,欢迎纠正)。
我觉得更多是语言和历史原因造成的,要是hadoop等是用php开发的,估计现在数据分析就更多是用php了。