MongoDB+Hadoop运行环境搭建
首先要下载mongo-hadoop adapter git clone https://github.com/mongodb/mongo-hadoop.git git checkout release-1.0 然后进入mongo-hadoop目录,找到build.sbt将 hadoopRelease in ThisBuild 修改成如下所示: hadoopRelease in ThisBuild := "0.20" 然后运
首先要下载mongo-hadoop adapter
git clone https://github.com/mongodb/mongo-hadoop.git
git checkout release-1.0
然后进入mongo-hadoop目录,找到build.sbt将 hadoopRelease in ThisBuild 修改成如下所示:
hadoopRelease in ThisBuild := "0.20"
然后运行 ./sbt package(关于sbt https://github.com/harrah/xsbt/wiki)
运行时需要*才行。
运行结束之后会再core/target目录下生成一个jar文件mongo-hadoop-core_0.20.205.0-1.0.1.jar,香港服务器,然后下载mongodb的驱动包。
然后修改mongo-treasury_yield.xml文件中mongodb的url和存放collection
mongo.input.uri
mongodb://127.0.0.1/mongo_hadoop.yield_historical.in
mongo.output.uri
mongodb://127.0.0.1/mongo_hadoop.yield_historical.out
然后修改TreasuryYieldXMLConfig.java如下:
Configuration.addDefaultResource( "resources/mongo-treasury_yield.xml");
Configuration.addDefaultResource( "resources/mongo-defaults.xml" );
后将项目打包成jar文件。
运行 hadoop jar treasury.jar com.mongodb.hadoop.treasury.TreasuryXMLConfig 即可运行hadoop程序。运行结果如下图:mongodb中的数据。
推荐阅读
-
JDK Android_SDK Android_Studio Genymotion VirtualBox搭建安卓开发环境
-
利用docker搭建php7和nginx运行环境全过程(官方镜像)
-
详解MAC OSX Docker开发环境搭建
-
详解使用docker搭建kafka环境
-
详解mac下通过docker搭建LEMP环境
-
Centos服务器上NFS灾备环境及KVM的搭建及使用
-
Ubuntu系统下搭建mysql环境教程
-
python3.8.4 roboframework环境搭建ride启动失败,解决办法
-
Python插件virtualenv搭建虚拟环境
-
Ubuntu服务器下搭建php运行环境的方法