基于map的海量数据归类

背景：

有大概5000万条的数据，每条数据都是以json格式进行存储，每条数据中有多个字段，需要按照id字段将各个数据进行归类。

方案：

采用map<int, vector<string> > 存储id和该id类别下面的数据。

步骤：

先逐行读取文件，并进行json解析，存储想要提取的字段信息。根据id进行分类。如果该数据的id存在，则进行push操作，否则在新的id下面进行赋值。

为方便结果的展示，本文将归类好的结果，以json形式进行组织。

代码如下：

string filename = "/data1/kgops/data/AudioFileSub.txt";//save the fulldata
ifstream infile(filename.c_str());
string oneline;
uint32_t linecount = 0;
map<int, vector<string> > *MusicMap = new map<int, vector<string> >;//建立在堆上
map<string, int> *TimeMap = new map<string, int>;//建立在堆上
cout<<"start read data:"<<endl;
int count=0;
int totalcount=0;
while(getline(infile, oneline))
{
linecount++;
Json::Reader reader;
Json::Value jsData;
if(!reader.parse(oneline, jsData))
{
LogTrace(WarnLevel, "parse json-data failed! line: %u", linecount);
continue;
}
string hash32 = jsData["afterData"]["hash"].asString();//获取hash信息
transform(hash32.begin(),hash32.end(),hash32.begin(), ::tolower);//
string scid = jsData["afterData"]["id"].asString();//获取id信息
string timelength = jsData["afterData"]["timelength"].asString();//获取时长信息
(*TimeMap)[hash32]=atoi(timelength.c_str());//转用int来存储，而非string
int IntScid = atoi(scid.c_str());//转为int
uint32_t rowId = 0;
rowId = optHashMap[hash32];
if(MusicMap->find(IntScid) != MusicMap->end())
{//已经存在的情况
(*MusicMap)[IntScid].push_back(hash32);
}
else//该scid不存在于map中，则进行插入
{
int IntScid = atoi(scid.c_str());//转为int
vector<string> musicvector;
musicvector.push_back(hash32);
(*MusicMap)[IntScid]=musicvector;
//建立一个map，存放hash和timelength
}

}
//直接进行遍历
map<int, vector<string> >::iterator MusicIter;
map<string, int>::iterator TimeIter;
Json::Value ret;
Json::Value AllRet;
stop=time(NULL);
cout<<"Cost："<<(stop-start)<<endl;
start=stop;

for(MusicIter=MusicMap->begin();MusicIter!=MusicMap->end();++MusicIter)
{
int len=MusicIter->second.size();
Json::Value candidates(Json::arrayValue);
for(int i=0; i<len; ++i)
{
//cout<<"key: "<<MusicIter->first <<" value: "<<MusicIter->second[i]<<endl;
Json::Value item;
item["scid"]=MusicIter->first;
item["hash"]=MusicIter->second[i];
TimeIter=TimeMap->find(MusicIter->second[i]);
if(TimeIter != TimeMap->end())
{
item["timelength"]=TimeIter->second;
}
else
{
item["timelength"]=0;
}

if(!item.isNull())
{
candidates.append(item);
}

}
int IntScid=MusicIter->first;
char buff[20];
memset(buff,0,sizeof(buff));
snprintf(buff,sizeof(buff),"%d",IntScid);
string str;
str=buff;
ret[str] = candidates;
}
delete MusicMap;
delete TimeMap;
AllRet["scid"]=ret;

//转为json
Json::FastWriter fast;
// cout<<fast.write(ret)<<endl;
Json::StyledWriter styled_writer;//另一种格式化的方式,输出结果的格式不一样
//cout << styled_writer.write(AllRet) <<endl;
stop=time(NULL);
cout<<"ALL条数据耗时："<<(stop-start)<<endl;
infile.close();