MongoDB的应用：动态消息的设计实现

现在社交网站异常火爆，Facebook、人人、开心网在短短的几年内，引领了互联网的又一个时代—网络社交，如果说，第一个时代是通过门户网站提供的内
容，第二个时代是通过搜索引擎来主动获取内容，那么作为第三个时代的SNS，又是通过什么来进行的信息的传播呢？当然是利用的人与人之间的关系形成的网，
进行人与人之间的传播，而实现这种病毒式传播的工具就是信息的动态推送。

在OECP社区的策划设计时，我们不仅仅要做高质量的内容站点，另外很重要的部分就是要把这些高质量的内容主动的推送给用户，而要达到这种目标的手段就是
要有动态信息的推送功能。在一般的SNS系统中，朋友是维系人与人之间关系的纽带，而OECP社区中，维系人与人之间的纽带是什么，是共同关注的内容。所
以我们设计了关注功能来加强人与人之间关系和内容的直接推送。

OECP社区是一个以业务组件为主题的社区，所以OECP社区的关注对象除了用户外，还要有业务组件。下图为关注的关系图。



建立好关注的关系以后，我们就要根据用户建立的这些关系为用户推送相关动态。

如何设计消息动态功能呢?我们先来分析几个问题:

社区的动作比较频繁，产生的动态数据是实时存储，还是缓存后延迟存储，对效率有什么影响。

每个人产生的动态消息要在被关注的人之间分发，数据的膨胀速度非常快，如何解决大数据量的存储问题？

数据量非常庞大的时候，如何能提高我们读取的效率，普通的做法是采用缓存功能，是不是有其他的方法，能够保证程序即方便开发，又高效呢？

参考： SNS
中好友动态功能的设计思路

综合考虑以上因素，我们放弃了利用关系数据库的方案，而采用现在比较流行的MongoDB来存储。主要原因：

采用缓存机制进行存储和读取处理，增加开发的难度。

MongoDB是一个解决海量存储的文档型数据库，无模式的结构可以让存储的数据结构更加灵活。在普通的关系数据库中，不同类型的消息的内容要存在一个字
段中，一般采用JSON的格式存储，然后根据不同类型在解析显示出来。而MongoDB的无模式结构，就可以自由的定义各种字段，一个表中都可以存储不同
字段定义的数据，前台可以直接引用，非常方便。

在大数据量下的查询中，MongoDB的查询性能还是非常好的，所以MongoDB都可以作为基础缓存层。更为重要的是，MongoDB的写性能要远远强过非关系数据库。通过这个特性，我们就无需在设立缓存层，而直接实时的插入和查询，方便的开发。

MongoDB有一个ORM的实现，项目地址：http://code.google.com/p/morphia/

但是鉴于存储的同一个表中的数据结构不一致，我们就是要利用MongoDB的无模式的存储方式，故放弃了这种POJO的实现。接下来我们要开始设计MongDB的存储结构了。下面是UML类图：



首先要定义一个存储动态的结构：Dynamic

Channel-->动态所在的频道，比如博客、业务组件等，参见枚举类DynamicChannel

Type-->动态的类型，比如博客、关注、留言等，参见枚举类DynamicType

UserId-->产生该动态消息的用户编号

TargetId-->动态事件所关联的实体编号，比如发表了一篇博客，该处为博客ID

CreateTime-->动态产生的时间

BcIdà业务组件编号，如果该动态和业务组件有关系，则记录该业务组件的编号，以方便根据此显示业务组件的最新动态。

Data-->动态消息的内容。如果用关系型数据库存储的话，一般存储JSON结构的数据。该处我们直接定义了一个结构类，参见DynamicData

动态消息的结构设计完成以后，我们需要把这些消息推送到不同用户那里，所以必须定义一个用户动态类UserDynamic

Uid-->用户名

DynamicId-->Dynamic的ID

Channel-->动态所在的频道，比如博客、业务组件等，参见枚举类DynamicChannel

CreateTime-->动态产生的时间

BcId-->组件ID

为了能够在用户的个人空间里按照频道来查询用户的动态，我们需要存储Channel，为了能够方便检索用户关注的哪个组件的动态，我们存储了BcId。如
果我们还要更加细分到检索我关注的某个用户的动态，我们还需要在UserDynamic增加EventUserId。也许我们要问，为什么要加这么多的冗
余，因为这些字段在Dynamic都已经存在了。这就是因为MongoDB不是关系型的数据库，无法通过类似于关系数据库的关联查询进行读取，表和表之间
也是独立的，其实它没有表的概念，它的定义是Collection，所以我们必须在一个Collection中定义好我们需要的字段属性。

接下来我们就要设计功能的实现方式和解决方案。

采用事件机制（观察者模式），为各种业务操作定义不同的事件。该部分的设计思路OECP社区的其他同事随后会更大家分享。

编写动态监听器，对我关注的一些事件进行监听，并将监听到的内容传递给动态服务。

编写统一的动态处理服务，采用异步的方式，对动态进行实时的分发。

编写MongoDB统一的DAO

以后将陆续发布基于MongoDB的架构和设计实现的相关文章，敬请关注！

下面截取了几个图来展示动态在OECP社区中的效果：

全站动态：



用户的动态：



我的动态：



关注：



1、

/**

*动态所属的频道

*

*@author
yongtree

*@date
2010-8-13上午11:23:39

*@version
1.0

*/

public
enum
DynamicChannel {

@EnumDescription("博客")

Blog
, @EnumDescription("业务组件")

BC
, @EnumDescription("关注")

Attention
,

@EnumDescription("留言")

LeaveWord
,

@EnumDescription("其他")

Other

}

2、

/**

*动态类型<br>

*注释描述了相关的存储数据结构

*

*@author
yongtree

*@date
2010-8-12下午06:37:12

*@version
1.0

*/

public
enum
DynamicType {

@EnumDescription("发表博客")

Blog
, // {title:'博客标题',summary:'博客描述'}

@EnumDescription("回复博客")

PostBlog
, // {title:'博客标题',summary:'评论的内容','uid
','博主uid
'}

@EnumDescription("留言")

LeaveWord
, // {touid
:'yt
',touname
:'谭明智',summary:'留言内容'}

@EnumDescription("新开通业务组件")

NewBC
, // {bcname
:'组件的名称',bccode
:'bc1'}

@EnumDescription("创建组件主题")

BCSubject
, // {title:'主题的名称',subjectId:'subject',bccode
:'bc1',bcvc
:'1.0',bcname
:'财务总帐组件'}

@EnumDescription("发布组件WIKI")

BCWiki
, // {title:'文章标题',bccode
:'bc1',bcvc
:'1.0',bcname
:'财务总帐组件'}

@EnumDescription("挑错")

BCMistake
, // {title:'文章标题',summary:'评论的内容',bccode
:'bc1',bcvc
:'1.0',bcname
:'财务总帐组件'}

@EnumDescription("评论组件WIKI")

PostBCWiki
, // {title:'文章标题',summary:'评论的内容',bccode
:'bc1',bcvc
:'1.0',bcname
:'财务总帐组件',isSection:true[如果是true的话，则title是section的标题，否则为subject的标题],subjectId:'entity'}

@EnumDescription("发起组件讨论")

BCTopic
, // {title:'讨论的主题',bccode
:'bc1',bcname
:'财务总帐组件'}

@EnumDescription("回复组件讨论")

BCPost
, // {title:'讨论的主题',bccode
:'bc1',bcname
:'财务总帐组件'}

@EnumDescription("加入组件")

BCJoin
, // {bcname
:'财务总帐组件',bccode
:'bc1'}

@EnumDescription("关注用户")

AttendUser
, // {uid
:'yt
',username
:'谭明智'}

@EnumDescription("关注组件")

AttendBC
, // {bcname
:'财务总帐组件',bccode
:'bc1'}

@EnumDescription("加入本站")

Reg

// {}

}

相关文件请参考附件。

附件：

基于MongoDB的动态消息的设计实现.pdf

MongoService.java

MongoFSServiceImpl.java

MongoFSService.java

MongoFSServiceImpl.java