集算器协助MongoDB计算之交叉汇总
2016-01-15 08:49
627 查看
MongoDB实现交叉汇总比较困难,如果将数据取出,用Java等高级语言来汇总的话,也相当复杂。因此,可以考虑用esProc辅助MongoDB完成交叉汇总。下面我们通过一个例子来看一下具体做法。
Student集合如下:
db.student.insert ( {school:’school1′, sname : ‘Sean’ , sub1: 4, sub2 :5 })
db.student.insert ( {school:’school1′, sname : ‘chris’ , sub1: 4, sub2 :3 })
db.student.insert ( {school:’school1′, sname : ‘becky’ , sub1: 5, sub2 :4 })
db.student.insert ( {school:’school1′, sname : ‘sam’ , sub1: 5, sub2 :4 })
db.student.insert ( {school:’school2′, sname : ‘dustin’ , sub1: 2, sub2 :2 })
db.student.insert ( {school:’school2′, sname : ‘greg’ , sub1: 3, sub2 :4 })
db.student.insert ( {school:’school2′, sname : ‘peter’ , sub1: 5, sub2 :1 })
db.student.insert ( {school:’school2′, sname : ‘brad’ , sub1: 2, sub2 :2 })
db.student.insert ( {school:’school2′, sname : ‘liz’ , sub1: 3, sub2 :null })
希望能够统计出如下的交叉表:每行一个学校,第一列是sub1成绩为5的人数,第二例是sub1成绩为4的人数,以此类推。
集算器的脚本如下:
A1: 连接MongoDB数据库,ip和端口号是localhost:27017,数据库是test,用户名和密码都是test。
A2: 使用find函数从MongoDB中取出集合student,形成游标。esProc在find函数中采用了和mongdb的find语句一样的参数格式。esProc的游标是分批读取和处理数据,可以避免数据量过大,内存出现溢出的情况。这里数据量不大,所以用fetch函数一次取出。
A3:首先按照学校分组。
A4:学校分组之后,每组内部按照[1,2,3,4,5]的序列对齐分组,再求每一个对齐分组的长度。
A5:对A4的长度数按照需求放入相应的位置,生成结果排列。
结果如下:
需要说明的是:esProc并不包含MongoDB的java驱动包。用esProc来访问MongoDB,必须提前将MongoDB的java驱动包(要求2.12.2或以上版,如mongo-java-driver-2.12.2.jar)放到[esProc安装目录]\common\jdbc中。
esProc协助MongoDB计算的脚本很容易集成到java中,只要增加一行,写成result A5即可向java输出resultset形式的结果,具体的代码参考esProc教程。同样,用java调用esProc访问MongoDB也必须将mongdb的java驱动包放到java程序的classpath中。
Student集合如下:
db.student.insert ( {school:’school1′, sname : ‘Sean’ , sub1: 4, sub2 :5 })
db.student.insert ( {school:’school1′, sname : ‘chris’ , sub1: 4, sub2 :3 })
db.student.insert ( {school:’school1′, sname : ‘becky’ , sub1: 5, sub2 :4 })
db.student.insert ( {school:’school1′, sname : ‘sam’ , sub1: 5, sub2 :4 })
db.student.insert ( {school:’school2′, sname : ‘dustin’ , sub1: 2, sub2 :2 })
db.student.insert ( {school:’school2′, sname : ‘greg’ , sub1: 3, sub2 :4 })
db.student.insert ( {school:’school2′, sname : ‘peter’ , sub1: 5, sub2 :1 })
db.student.insert ( {school:’school2′, sname : ‘brad’ , sub1: 2, sub2 :2 })
db.student.insert ( {school:’school2′, sname : ‘liz’ , sub1: 3, sub2 :null })
希望能够统计出如下的交叉表:每行一个学校,第一列是sub1成绩为5的人数,第二例是sub1成绩为4的人数,以此类推。
集算器的脚本如下:
A1: 连接MongoDB数据库,ip和端口号是localhost:27017,数据库是test,用户名和密码都是test。
A2: 使用find函数从MongoDB中取出集合student,形成游标。esProc在find函数中采用了和mongdb的find语句一样的参数格式。esProc的游标是分批读取和处理数据,可以避免数据量过大,内存出现溢出的情况。这里数据量不大,所以用fetch函数一次取出。
A3:首先按照学校分组。
A4:学校分组之后,每组内部按照[1,2,3,4,5]的序列对齐分组,再求每一个对齐分组的长度。
A5:对A4的长度数按照需求放入相应的位置,生成结果排列。
结果如下:
需要说明的是:esProc并不包含MongoDB的java驱动包。用esProc来访问MongoDB,必须提前将MongoDB的java驱动包(要求2.12.2或以上版,如mongo-java-driver-2.12.2.jar)放到[esProc安装目录]\common\jdbc中。
esProc协助MongoDB计算的脚本很容易集成到java中,只要增加一行,写成result A5即可向java输出resultset形式的结果,具体的代码参考esProc教程。同样,用java调用esProc访问MongoDB也必须将mongdb的java驱动包放到java程序的classpath中。
相关文章推荐
- Mongodb 笔记08 了解应用的动态、数据管理、持久性
- Mongodb 删除添加分片与非分片表维护
- MongoDB索引使用详解
- Mongodb 添加删除分片与非分片表维护
- Install MongoDB Community Edition on Windows
- Install MongoDB Community Edition on Windows
- MongoDB入门
- MongoDB 字段增长
- 使用C#对MongoDB中的数据进行查询,改动等操作
- Mongodb内存管理和使用情况情况查询
- MongoDB Sharding学习理论篇
- MongoDB 问题123
- 从 MongoDB 及 Mysql 谈B/B+树
- 五个解决方案让MongoDB拥有RDBMS的鲁棒性事务
- Mongodb在window上启动
- mongodb 常用命令 日期, 分组
- MongoDB Write Concern整理
- DOTA2比赛赛前预测算法的研究(二)--关于数据存储,mongoDB的使用
- MongoDB Windows环境安装及配置
- mongodb常用工具类