【详细教程】一文参透MongoDB聚合查询
紧张的羊肉串 -
聚合是MongoDB的高级查询语言，它允许我们通过转化合并由多个文档的数据来生成新的在单个文档里不存在的文档信息。MongoDB中聚合(aggregate)主要用于处理数据（例如分组统计平均值、求和、最大值等），并返回计算后的数据结果，有点类似sql语句中的 count(*)、group by。
在MongoDB中，有两种方式计算聚合：Pipeline 和 MapReduce。Pipeline查询速度快于MapReduce，但是MapReduce的强大之处在于能够在多台Server上并行执行复杂的聚合逻辑。MongoDB不允许Pipeline的单个聚合操作占用过多的系统内存。
聚合管道方法MongoDB 的聚合框架就是将文档输入处理管道，在管道内完成对文档的操作，最终将文档转换为聚合结果，MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理，管道操作是可以重复的。 最基本的管道阶段提供过滤器，其操作类似查询和文档转换，可以修改输出文档的形式。其他管道操作提供了按特定字段对文档进行分组和排序的工具，以及用于聚合数组内容（包括文档数组）的工具。
此外，在管道阶段还可以使用运算符来执行诸如计算平均值或连接字符串之类的任务。聚合管道可以在分片集合上运行。
聚合流程db.collection.aggregate()是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成的管道，可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果。
聚合管道方法的流程参见下图
select cust_id as _id, sum(amount) as total from orders where status like "%A%" group by cust_id;db.collection.aggregate() 可以用多个构件创建一个管道，对于一连串的文档进行处理。这些构件包括：筛选操作的match、映射操作的project、分组操作的group、排序操作的sort、限制操作的limit、和跳过操作的skip。db.collection.aggregate()使用了MongoDB内置的原生操作，聚合效率非常高,支持类似于SQL Group By操作的功能，而不再需要用户编写自定义的JavaScript例程。每个阶段管道限制为100MB的内存。如果一个节点管道超过这个极限,MongoDB将产生一个错误。为了能够在处理大型数据集,可以设置allowDiskUse为true来在聚合管道节点把数据写入临时文件。这样就可以解决100MB的内存的限制。db.collection.aggregate()可以作用在分片集合，但结果不能输在分片集合，MapReduce可以 作用在分片集合，结果也可以输在分片集合。db.collection.aggregate()方法可以返回一个指针（cursor），数据放在内存中，直接操作。跟Mongo shell 一样指针操作。db.collection.aggregate()输出的结果只能保存在一个文档中，BSON Document大小限制为16M。可以通过返回指针解决，版本2.6中：DB.collect.aggregate()方法返回一个指针，可以返回任何结果集的大小。聚合语法db.collection.aggregate(pipeline, options) 使用db.collection.aggregate()直接查询会提示错误，但是传一个空数组如db.collection.aggregate([])则不会报错，且会和find一样返回所有文档。
常用聚合管道与mysql聚合类比为了便于理解，先将常见的mongo的聚合操作和mysql的查询做下类比SQL 操作/函数mongodb聚合操作where$matchgroup by$grouphaving$matchselect$projectorder by$sortlimit$limitsum()$sumcount()$sumjoin$lookup$count返回包含输入到stage的文档的计数，理解为返回与表或视图的find()查询匹配的文档的计数。db.collection.count()方法不执行find()操作，而是计数并返回与查询匹配的结果数。语法{ $count: <string> }db.collection.aggregate([
{
"$group": {
"_id": null,
"count": {// 这里count自定义，相当于mysql的select count(*) as tables
"$sum": 1
}
}
},
{
"$project": {// 返回不显示_id字段
"_id": 0
}
}
])100000以上的城市的数量$match：阶段排除pop小于等于100000的文档，将大于100000的文档传到下个阶段$count：阶段返回聚合管道中剩余文档的计数，并将该值分配给名为count的字段。db.zips.aggregate([
{
"$match": {
"pop": {
"$gt": 100000
}
}
},
{
"$count": "count"
}
])
输出文档还可以包含计算字段，该字段保存由$group的_id字段分组的一些accumulator表达式的值。 $group不会输出具体的文档而只是统计信息。
语法{ $group: { _id: <expression>, <field1>: { <accumulator1> : <expression1> }, ... } }_id字段是必填的;但是，可以指定_id值为null来为整个输入文档计算累计值。剩余的计算字段是可选的，并使用<accumulator>运算符进行计算。_id和<accumulator>表达式可以接受任何有效的表达式。accumulator操作符名称描述类比sql$avg计算均值avg$first返回每组第一个文档，如果有排序，按照排序，如果没有按照默认的存储的顺序返回第一个文档。limit 0,1$last返回每组最后一个文档，如果有排序，按照排序，如果没有按照默认的存储的顺序返回最后一个文档。-$max根据分组，获取集合中所有文档对应值的最大值。max$min根据分组，获取集合中所有文档对应值的最小值。min$push将指定的表达式的值添加到一个数组中。-$addToSet将表达式的值添加到一个集合中（无重复值，无序）。-$sum计算总和sum$stdDevPop返回输入值的总体标准偏差（population standard deviation）-$stdDevSamp返回输入值的样本标准偏差（the sample standard deviation）-$group阶段的内存限制为100M，默认情况下，如果stage超过此限制，$group将产生错误，但是，要允许处理大型数据集，请将allowDiskUse选项设置为true以启用$group操作以写入临时文件。注意：
"$addToSet":expr，如果当前数组中不包含expr，那就将它添加到数组中。"$push":expr，不管expr是什么值，都将它添加到数组中，返回包含所有值的数组。示例按照state分组，并计算每一个state分组的总人数，平均人数以及每个分组的数量db.zips.aggregate([
{
"$group": {
"_id": "$state",
"totalPop": {
"$sum": "$pop"
},
"avglPop": {
"$avg": "$pop"
},
"count": {
"$sum": 1
}
}
}
])
state的值db.zips.aggregate([
{
"$group": {
"_id": "$state"
}
}
])
city分组，并且分组内的state字段列表加入到stateItem并显示db.zips.aggregate([
{
"$group": {
"_id": "$city",
"stateItem": {
"$push": "$state"
}
}
}
])
db.zips.aggregate([
{
"$group": {
"_id": "$city",
"item": {
"$push": "$$ROOT"
}
}
}
]).pretty();
过滤文档，仅将符合指定条件的文档传递到下一个管道阶段。
$match接受一个指定查询条件的文档，查询语法与读操作查询语法相同。
语法{ $match: { <query> } } $match用于对文档进行筛选，之后可以在得到的文档子集上做聚合，$match可以使用除了地理空间之外的所有常规查询操作符，在实际应用中尽可能将$match放在管道的前面位置。这样有两个好处：
一是可以快速将不需要的文档过滤掉，以减少管道的工作量；二是如果再投射和分组之前执行$match，查询可以使用索引。使用限制不能在$match查询中使用$作为聚合管道的一部分。要在$match阶段使用$text，$match阶段必须是管道的第一阶段。视图不支持文本搜索。示例使用 $match做简单的匹配查询，查询缩写是NY的城市数据db.zips.aggregate([
{
"$match": {
"state": "NY"
}
}
]).pretty();
db.zips.aggregate([
{
"$match": {
"state": "NY"
}
},
{
"$group": {
"_id": null,
"sum": {
"$sum": "$pop"
},
"avg": {
"$avg": "$pop"
},
"count": {
"$sum": 1
}
}
}
]).pretty();
{ $unwind: <field path> }{
$unwind:
{
path: <field path>,
#可选,一个新字段的名称用于存放元素的数组索引。该名称不能以$开头。
includeArrayIndex: <string>,
#可选，default :false，若为true,如果路径为空，缺少或为空数组，则$unwind输出文档
preserveNullAndEmptyArrays: <boolean>
}
} 如果为输入文档中不存在的字段指定路径，或者该字段为空数组，则$unwind默认会忽略输入文档，并且不会输出该输入文档的文档。
版本3.2中的新功能：要输出数组字段丢失的文档，null或空数组，请使用选项preserveNullAndEmptyArrays。
示例以下聚合使用$unwind为loc数组中的每个元素输出一个文档：db.zips.aggregate([
{
"$match": {
"_id": "01002"
}
},
{
"$unwind": "$loc"
}
]).pretty();
{ $project: { <specification(s)> } }<field>: <1 or true> 是否包含该字段，field:1/0，表示选择/不选择 field
_id: <0 or false> 是否指定_id字段
<field>: <expression> 添加新字段或重置现有字段的值。 在版本3.6中更改：MongoDB 3.6添加变量REMOVE。如果表达式的计算结果为$$REMOVE，则该字段将排除在输出中。
<field>:<0 or false> v3.4新增功能，指定排除字段
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1
}
}
]).pretty();
_id字段默认包含在内。要从$ project阶段的输出文档中排除_id字段，请在project文档中将_id字段设置为0来指定排除_id字段。db.zips.aggregate([
{
"$project": {
"_id": 0,
"city": 1,
"state": 1
}
}
]).pretty();
db.zips.aggregate([
{
"$project": {
"loc": 0
}
}
]).pretty();
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": "$$REMOVE",
"else": "$loc"
}
}
}
}
]).pretty();
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": [
0,
0
],
"else": "$loc"
}
}
}
}
]).pretty();
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"desc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": "人数过多",
"else": "人数过少"
}
},
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": [
0,
0
],
"else": "$loc"
}
}
}
}
]).pretty();
{ $limit: <positive integer> }db.zips.aggregate({
"$limit": 5
}); 当$sort在管道中的$limit之前立即出现时，$sort操作只会在过程中维持前n个结果，其中n是指定的限制，而MongoDB只需要将n个项存储在内存中。当allowDiskUse为true并且n个项目超过聚合内存限制时，此优化仍然适用。
$skip跳过进入stage的指定数量的文档，并将其余文档传递到管道中的下一个阶段语法{ $skip: <positive integer> }db.zips.aggregate({
"$skip": 5
});{ $sort: { <field1>: <sort order>, <field2>: <sort order> ... } }<sort order>可以具有以下值之一：1指定升序。-1指定降序。{$meta：“textScore”}按照降序排列计算出的textScore元数据。示例要对字段进行排序，请将排序顺序设置为1或-1，以分别指定升序或降序排序，如下例所示：db.zips.aggregate([
{
"$sort": {
"pop": -1,
"city": 1
}
}
])
{ $sortByCount: <expression> }select count(1) from zips;db.zips.aggregate([
{
"$group": {
"_id": null,
"count": {
"$sum": 1
}
}
}
])
select sum(pop) AS tota from zips;db.zips.aggregate([
{
"$group": {
"_id": null,
"total": {
"$sum": "$pop"
}
}
}
])
select state,sum(pop) AS tota from zips group by state;db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": "$pop"
}
}
}
])
select state,count(1) AS total from zips group by state;db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": 1
}
}
}
])
select state,count(1) AS total from zips group by state having count(1)>100;db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": 1
}
}
},
{
"$match": {
"total": {
"$gt": 100
}
}
}
])
本文由传智教育博学谷 - 狂野架构师教研团队发布，转载请注明出处！
如果本文对您有帮助，欢迎关注和点赞；如果您有任何建议也可留言评论或私信，您的支持是我坚持创作的动力
特别申明：本文内容来源网络，版权归原作者所有，如有侵权请立即与我们联系（cy198701067573@163.com），我们将及时处理。
上一篇： MongoDB的安装与连接
Tags 标签
javamongodbnosql数据库扩展阅读
你也许还不懂静态方法和实例方法
2020-09-03 11:39:33 []从每秒6000写请求谈起
2020-09-11 11:06:20 []提高招采和供应链效率，制造型企业应该这么做！
2020-09-13 22:13:33 []从用户输入手机验证码开始
2020-09-13 20:16:19 []分享—如何使用apipost模拟手机实现请求发送
2020-09-18 12:15:00 []Apipost使用技巧之分享
2020-09-19 11:44:49 [][分享] 轻松快捷完成领导要求的word格式的接口文档，再也不用因为编写word格式的接口文档而烦恼
2020-09-27 17:35:44 []【分享之】在接口测试的时候如何获取变量的值
2020-09-30 11:57:38 []【分享】apipost如何自定义加密方法
2020-10-01 03:21:40 []Base64编码的前世今生
2020-10-13 20:09:26 []加个好友，技术交流
