MongoDB Hadoop Connector 1.0 正式版发布
程序员文章站
2022-05-12 12:57:26
...
10gen（MongoDB数据库开发商）今天发布了MongoDB Hadoop Connector 1.0 正式版本。
MongoDB Hadoop Connector的核心功能是允许读取MongoDB数据到Hadoop MapReduce工作中，以及将MapReduce工作的结果写回到MongoDB。用户可以针对每个实例来选择结合使用或单独使用MongoDB的读、写操作。该连接器的目标是根据用户的反馈和需求，继续完善对Hadoop生态系统中组件的支持。
10gen称，1.0版是一个长期支持版本，将提供超过1年的维护，并致力于为用户带来MongoDB部署和Hadoop集群之间的坚实的整合层。该连接器支持Hadoop 0.20.x及之后发布的主要Hadoop版本。
该版本还提供了如下功能：
源码地址：https://github.com/mongodb/mongo-hadoop
MongoDB Hadoop Connector的核心功能是允许读取MongoDB数据到Hadoop MapReduce工作中，以及将MapReduce工作的结果写回到MongoDB。用户可以针对每个实例来选择结合使用或单独使用MongoDB的读、写操作。该连接器的目标是根据用户的反馈和需求，继续完善对Hadoop生态系统中组件的支持。
10gen称，1.0版是一个长期支持版本，将提供超过1年的维护，并致力于为用户带来MongoDB部署和Hadoop集群之间的坚实的整合层。该连接器支持Hadoop 0.20.x及之后发布的主要Hadoop版本。
该版本还提供了如下功能：
- 从Apache Pig（大数据集分析平台）写入到MongoDB
- 从Flume分布式日志系统写入到MongoDB
- 在MapReduce中使用Python，并通过Hadoop Streaming读取和写入MongoDB数据
源码地址：https://github.com/mongodb/mongo-hadoop