完成了自定义入nutch库的命令 Hadoop
程序员文章站
2024-01-21 15:46:28
...
可以利用到hadoop的map/reduce和hdfs，感觉还是很爽，需要注意的几点总结如下:
1.自定义命令类可以单独作一个jar，但要记得部署到<wbr></wbr>每个节点，否则会无法执行
2.记得启动maper服务，否则无法进行map/re<wbr></wbr>duce计算
3.自定义命令调用方法bin/nutch CLASSNAME 参数
4.目前没有找到更简便的调试方式，目前都是编译完，打<wbr></wbr>包上传，执行，步骤觉得复杂了一些
5.nutch0.8不能使用最新的hadoop0.1<wbr></wbr>4比较可惜，不过照发展趋势应该很快可以使用
1.自定义命令类可以单独作一个jar，但要记得部署到<wbr></wbr>每个节点，否则会无法执行
2.记得启动maper服务，否则无法进行map/re<wbr></wbr>duce计算
3.自定义命令调用方法bin/nutch CLASSNAME 参数
4.目前没有找到更简便的调试方式，目前都是编译完，打<wbr></wbr>包上传，执行，步骤觉得复杂了一些
5.nutch0.8不能使用最新的hadoop0.1<wbr></wbr>4比较可惜，不过照发展趋势应该很快可以使用