欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  资讯频道

MongoDB Hadoop Connector 1.0 正式版发布

程序员文章站 2022-05-12 12:57:26
...
10gen(MongoDB数据库开发商)今天发布了MongoDB Hadoop Connector 1.0 正式版本。

MongoDB Hadoop Connector的核心功能是允许读取MongoDB数据到Hadoop MapReduce工作中,以及将MapReduce工作的结果写回到MongoDB。用户可以针对每个实例来选择结合使用或单独使用MongoDB的读、写操作。该连接器的目标是根据用户的反馈和需求,继续完善对Hadoop生态系统中组件的支持。

MongoDB Hadoop Connector 1.0 正式版发布

10gen称,1.0版是一个长期支持版本,将提供超过1年的维护,并致力于为用户带来MongoDB部署和Hadoop集群之间的坚实的整合层。该连接器支持Hadoop 0.20.x及之后发布的主要Hadoop版本。

该版本还提供了如下功能:

  • 从Apache Pig(大数据集分析平台)写入到MongoDB
  • 从Flume分布式日志系统写入到MongoDB
  • 在MapReduce中使用Python,并通过Hadoop Streaming读取和写入MongoDB数据
详细信息参阅:10gen博客

源码地址:https://github.com/mongodb/mongo-hadoop
相关标签: MongoDB Hadoop