coreseek通过python读取mongoDB数据

coreseek的资料真少啊，不人性化

官方内容一定要看，进行中...
http://www.tapy.org/sphinx1.0/sphinx.html http://www.coreseek.cn/docs/coreseek_4.1-sphinx_2.0.1-beta.html
mongoDB不是coreseek/sphinx支持的格式，因此我用python读入mongoDB数据，然后转成python数据源，用coreseek建立索引

# -*- coding:utf-8 -*-
# author: Hao
import pymongo
class MainSource(object):
def __init__(self, conf):
self.conf =  conf
self.idx = 0
self.data=[]
self.conn = None
self.cur = None

def GetScheme(self):  #获取结构，docid、文本、整数
return [
('id' , {'docid':True, } ),
('subject', { 'type':'text'} ),
('context', { 'type':'text'} ),
('published', {'type':'integer'} ),
('author_id', {'type':'integer'} ),
]

def GetFieldOrder(self):  #选择被搜索字段，并决定字段的优先顺序
return [('subject', 'context')]

def Connected(self):   #如果是数据库，则在此处做数据库连接
if self.conn == None:
#读入数据库数据
conn = pymongo.Connection('localhost',27017)
db = conn.test
dbCollection = db.database

commentset=[]
cursor = dbCollection.find()
count=0
for commentPiece in cursor:
sentence = commentPiece['content']
commentset.append(sentence)
for i in range(len(commentset)):
self.data.append({'id':i+1, 'subject':u'number'+str(i),'context':commentset[i], 'published':00001, 'author_id':1 })
pass

def NextDocument(self,_):   #取得每一个文档记录的调用
if self.idx < len(self.data):
item = self.data[self.idx]
self.id = item['id'] #'docid':True
self.subject = item['subject'].encode('utf-8')
self.context = item['context'].encode('utf-8')
self.published = item['published']
self.author_id = item['author_id']
self.idx += 1
return True
else:
return False

if __name__ == "__main__":    #直接访问演示部分

conf = {}
source = MainSource(conf)
source.Connected()

while source.NextDocument():
print "id=%d, context=%s" % (source.id, source.context)
pass
#eof

刚刚一直无法将文件的id设置成功，一开始怀疑是

'id' , {'docid':True, }

的格式要求不对，后来发现这个好像是固定写法，根据他人的格式，这种写法，docid完全可以是1、2、3、4、5...

纠结啊，网上找不到资料，所以试出来之后写个blog给大家

self.data.append({'id':i+1, 'subject':u'number'+str(i),'context':commentset[i], 'published':00001, 'author_id':1 })

出现问题的原因是因为，docid必须是非零正整数，这里 i in range（）是从0开始的计数，所以，一直是报错状态

另外，一开始试图将mongoDB的数据放在__init__方法中，失败了，还以为是必须要放在Connected这个方法内，事实证明，也是因为id从0开始报错的原因。如果不嫌丑陋，

#读入数据库数据
conn = pymongo.Connection('localhost',27017)
db = conn.test
dbCollection = db.database

commentset=[]
cursor = dbCollection.find()
count=0
for commentPiece in cursor:
sentence = commentPiece['content']
commentset.append(sentence)
for i in range(len(commentset)):
self.data.append({'id':i+1, 'subject':u'number'+str(i),'context':commentset[i], 'published':00001, 'author_id':1 })

这一段可以放在__init__方法中

继续探索，good luck to you and me