玩过Hadoop的小伙伴对MapReduce应该不陌生,MapReduce的强大且灵活,它可以将一个大问题拆分为多个小问题,将各个小问题发送到不同的机器上去处理,所有的机器都完成计算后,再将计算结果合并为一个完整的解决方案,这就是所谓的分布式计算。本文我们就来看看MongoDB中MapReduce的使用。
本文是MongoDB系列的第十四篇文章,了解前面的文章有助于更好的理解本文:
1.Linux上安装MongoDB
2.MongoDB基本操作
3.MongoDB数据类型
4.MongoDB文档更新操作
5.MongoDB文档查询操作(一)
6.MongoDB文档查询操作(二)
7.MongoDB文档查询操作(三)
8.MongoDB查看执行计划
9.初识MongoDB中的索引
10.MongoDB中各种类型的索引
11.MongoDB固定集合
12.MongoDB管道操作符(一)
13.MongoDB管道操作符(二)
mapReduce
MongoDB中的MapReduce可以用来实现更复杂的聚合命令,使用MapReduce主要实现两个函数:map函数和reduce函数,map函数用来生成键值对序列,map函数的结果作为reduce函数的参数,reduce函数中再做进一步的统计,比如我的数据集如下:
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d7"),"name" : "鲁迅","book" : "呐喊","price" : 38.0,"publisher" : "人民文学出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d8"),"name" : "曹雪芹","book" : "红楼梦","price" : 22.0,"publisher" : "人民文学出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d9"),"name" : "钱钟书","book" : "宋诗选注","price" : 99.0,"publisher" : "人民文学出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908da"),"name" : "钱钟书","book" : "谈艺录","price" : 66.0,"publisher" : "三联书店"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908db"),"name" : "鲁迅","book" : "彷徨","price" : 55.0,"publisher" : "花城出版社"}
假如我想查询每位作者所出的书的总价,操作如下:
var map=function(){emit(this.name,this.price)}
var reduce=function(key,value){return Array.sum(value)}
var options={out:"totalPrice"}
db.sang_books.mapReduce(map,reduce,options);
db.totalPrice.find()
emit函数主要用来实现分组,接收两个参数,第一个参数表示分组的字段,第二个参数表示要统计的数据,reduce来做具体的数据处理操作,接收两个参数,对应emit方法的两个参数,这里使用了Array中的sum函数对price字段进行自加处理,options中定义了将结果输出的集合,届时我们将在这个集合中去查询数据,默认情况下,这个集合即使在数据库重启后也会保留,并且保留集合中的数据。查询结果如下:
{
"_id" : "曹雪芹",
"value" : 22.0
}
{
"_id" : "钱钟书",
"value" : 165.0
}
{
"_id" : "鲁迅",
"value" : 93.0
}
再比如我想查询每位作者出了几本书,如下:
var map=function(){emit(this.name,1)}
var reduce=function(key,value){return Array.sum(value)}
var options={out:"bookNum"}
db.sang_books.mapReduce(map,reduce,options);
db.bookNum.find()
查询结果如下:
{
"_id" : "曹雪芹",
"value" : 1.0
}
{
"_id" : "钱钟书",
"value" : 2.0
}
{
"_id" : "鲁迅",
"value" : 2.0
}
将每位作者的书列出来,如下:
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
var options={out:"books"}
db.sang_books.mapReduce(map,reduce,options);
db.books.find()
结果如下:
{
"_id" : "曹雪芹",
"value" : "红楼梦"
}
{
"_id" : "钱钟书",
"value" : "宋诗选注,谈艺录"
}
{
"_id" : "鲁迅",
"value" : "呐喊,彷徨"
}
比如查询每个人售价在¥40以上的书:
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
var options={query:{price:{$gt:40}},out:"books"}
db.sang_books.mapReduce(map,reduce,options);
db.books.find()
query表示对查到的集合再进行筛选。
结果如下:
{
"_id" : "钱钟书",
"value" : "宋诗选注,谈艺录"
}
{
"_id" : "鲁迅",
"value" : "彷徨"
}
runCommand实现
我们也可以利用runCommand命令来执行MapReduce。格式如下:
db.runCommand(
{
mapReduce: <collection>,
map: <function>,
reduce: <function>,
finalize: <function>,
out: <output>,
query: <document>,
sort: <document>,
limit: <number>,
scope: <document>,
jsMode: <boolean>,
verbose: <boolean>,
bypassDocumentValidation: <boolean>,
collation: <document>
}
)
含义如下:
参数 | 含义 |
---|---|
mapReduce | 表示要操作的集合 |
map | map函数 |
reduce | reduce函数 |
finalize | 最终处理函数 |
out | 输出的集合 |
query | 对结果进行过滤 |
sort | 对结果排序 |
limit | 返回的结果数 |
scope | 设置参数值,在这里设置的值在map、reduce、finalize函数中可见 |
jsMode | 是否将map执行的中间数据由javascript对象转换成BSON对象,默认为false |
verbose | 是否显示详细的时间统计信息 |
bypassDocumentValidation | 是否绕过文档验证 |
collation | 其他一些校对 |
如下操作,表示执行MapReduce操作并对统计的集合限制返回条数,限制返回条数之后再进行统计操作,如下:
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",limit:4,verbose:true})
db.books.find()
执行结果如下:
{
"_id" : "曹雪芹",
"value" : "红楼梦"
}
{
"_id" : "钱钟书",
"value" : "宋诗选注,谈艺录"
}
{
"_id" : "鲁迅",
"value" : "呐喊"
}
小伙伴们看到,鲁迅有一本书不见了,就是因为limit是先限制集合返回条数,然后再执行统计操作。
finalize操作表示最终处理函数,如下:
var f1 = function(key,reduceValue){var obj={};obj.author=key;obj.books=reduceValue; return obj}
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",finalize:f1})
db.books.find()
f1第一个参数key表示emit中的第一个参数,第二个参数表示reduce的执行结果,我们可以在f1中对这个结果进行再处理,结果如下:
{
"_id" : "曹雪芹",
"value" : {
"author" : "曹雪芹",
"books" : "红楼梦"
}
}
{
"_id" : "钱钟书",
"value" : {
"author" : "钱钟书",
"books" : "宋诗选注,谈艺录"
}
}
{
"_id" : "鲁迅",
"value" : {
"author" : "鲁迅",
"books" : "呐喊,彷徨"
}
}
scope则可以用来定义一个在map、reduce和finalize中都可见的变量,如下:
var f1 = function(key,reduceValue){var obj={};obj.author=key;obj.books=reduceValue;obj.sang=sang; return obj}
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',--'+sang+'--,')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",finalize:f1,scope:{sang:"haha"}})
db.books.find()
执行结果如下:
{
"_id" : "曹雪芹",
"value" : {
"author" : "曹雪芹",
"books" : "红楼梦",
"sang" : "haha"
}
}
{
"_id" : "钱钟书",
"value" : {
"author" : "钱钟书",
"books" : "宋诗选注,--haha--,谈艺录",
"sang" : "haha"
}
}
{
"_id" : "鲁迅",
"value" : {
"author" : "鲁迅",
"books" : "呐喊,--haha--,彷徨",
"sang" : "haha"
}
}
好了,MongoDB中的MapReduce我们就先说到这里,小伙伴们有问题欢迎留言讨论。
参考资料:
1.《MongoDB权威指南第2版》
2.mongodb mapreduce小试
3.mongoDB—mapreduce用法详解
更多资料请关注公众号:
本文分享自微信公众号 - 江南一点雨(a_javaboy)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。