欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

mongodbmapreduce使用总结

程序员文章站 2022-05-07 14:29:48
...

大家都知道,mongodb是一个非关系型数据库,也就是说,mongodb数据库中的每张表是独立存在的,表与表之间没有任何依赖关系。在mongodb中,除了各种CRUD语句之外,还给我们提供了聚合和mapreduce统计的功能,这篇文章主要来跟大家聊聊mongodb的mapreduce的操

大家都知道,mongodb是一个非关系型数据库,也就是说,mongodb数据库中的每张表是独立存在的,表与表之间没有任何依赖关系。在mongodb中,除了各种CRUD语句之外,还给我们提供了聚合和mapreduce统计的功能,这篇文章主要来跟大家聊聊mongodb的mapreduce的操作。

mapreduce的概念我就不赘述了,大家自己去查查吧。

在mongodb中,mapreduce的语法如下:

db.table.mapReduce(
        map,
        reduce,
        {
            query: query,
            out: out,    //指定结果集以什么方式存储,可选参数包括:
                        //replace:如果文档(table)存在,则替换table,
                        //merge:如果文档中存在记录,则覆盖已存在的文档记录
                        //reduce: 如果文档中存在相同key的记录了,则先计算两条记录,然后覆盖旧记录
                        // {inline:1}  在内存中存储记录,不写入磁盘(用户数据量少的计算)
            sort: sort,
            limit: limit,
            finalize: function  //这个function主要用来在存入out之前可以修改数据,function(key,values) { 
                                //return modifiedValues;}
            scope: document,    //指定reduce可访问的文档范围
            jsMode:boolean      //指定是否在map和ruduce之间立即将数据转换为Bason格式,默认为false
                                //如果想设置为true,则要记住官方我那当的注意事项:
                                //You can only use jsMode for result sets with fewer than
                                //500,000 distinct key arguments to the mapper’s emit()function.
            verbose:boolean     //是否在结果集中包含timing信息,默认是包含的
        }
    )

在做mongodb的mapreduce时,要确保你的query是可以利用到索引的,不然在大数据量的统计下,将会托夸整个数据库,如果确实没办法建索引,那么就在结果集中判断一些不符合条件的数据,而去掉query。

mapreduce的语法其实很简单,只不过这里面有几点需要注意一下:

1.在map中,mongodb是每1000条数据就reduce一次

2.在map中,如果你想统计一个数据之和,需要这样写:

emit(key:this.key,sum:0})

然后再在reduce里需要将上一次的sum迭代累加起来,然后return {sum:sum};如果不这样做,你计算出来的数据总是最后不足1000条数据之后统计出来的,而前面的数据就都丢失了。

3.如果能不用mapreduce,就不用,程序能够统计的,就不要用mongodb频繁统计。

4.mapreduce的结果集的数据格式是:{_id:key,value:{}},因此如果想直接使用这个表的话,最好再重新将数据格式整理一次,尽量将数据放在最上次,而不是再用value.xxx去查询。

这里附上统计我们网站的用户发表内容的数量的mapreduce,仅供一种代码格式的参考价值吧:

var db = connect('127.0.0.1:27017/test');
db.aAccounttemp.drop();
var map = function() {
    emit(this.accountId, 
        {sum:0,
            reblogFlag:this.reblogFlag,dashboardFlag:this.dashboardFlag,dashboardType:this.dashboardType,
            photoNum:0,postNum:0,reblogNum:0,videoNum:0,videoShortNum:0, musicNum:0,
            questionNum:0,appNum:0, dialogNum:0});
}

var reduce = function(key,values) {

    var sum = 0;
    var photoNum = 0;
    var postNum = 0;
    var reblogNum = 0;
    var videoNum = 0;
    var videoShortNum = 0;
    var musicNum = 0;
    var questionNum = 0;
    var appNum = 0;
    var dialogNum = 0;
    for (var i = 0; i