2015深圳杯数学建模-DNA序列k-mer index问题


这是一个数学建模的问题，非常考察编程能力。

我们选择这个题目，就是因为i这个题目可以转化为模式串匹配问题。

由于这个题目中的模式串为k-mer，数量特别大，我们队用了多模式匹配的AC自动机算法找位置。

但是存储k-mer位置的索引表的数据量也很大，我们就用了哈希函数的直接定址法+链表的方式建立索引表。

虽然在海量数据下，建立索引的时间很长，但是一旦建立索引再去查找位置非常快。

题目如下：

这个问题来自 DNA序列的k-mer index问题。

给定一个DNA序列，这个系列只含有4个字母ATCG，如 S =“CTGTACTGTAT”。给定一个整数值k，从S的第一个位置开始，取一连续k个字母的短串，称之为k-mer（如k= 5，则此短串为CTGTA）， 然后从S的第二个位置， 取另一k-mer（如k= 5，则此短串为TGTAC），这样直至S的末端，就得一个集合，包含全部k-mer 。 如对序列S来说，所有5-mer为

｛CTGTA，TGTAC，GTACT，TACTG，ACTGT，TGTAT｝

通常这些k-mer需一种数据索引方法，可被后面的操作快速访问。例如，对5-mer来说，当查询CTGTA，通过这种数据索引方法，可返回其在DNA序列S中的位置为｛1，6｝。

问题

现在以文件形式给定 100万个 DNA序列，序列编号为1-1000000，每个基因序列长度为100 。

（1）要求对给定k， 给出并实现一种数据索引方法，可返回任意一个k-mer所在的DNA序列编号和相应序列中出现的位置。每次建立索引，只需支持一个k值即可，不需要支持全部k值。

（2）要求索引一旦建立，查询速度尽量快，所用内存尽量小。

（3）给出建立索引所用的计算复杂度，和空间复杂度分析。

（4）给出使用索引查询的计算复杂度，和空间复杂度分析。

（5）假设内存限制为8G，分析所设计索引方法所能支持的最大k值和相应数据查询效率。

（6）按重要性由高到低排列，将依据以下几点，来评价索引方法性能

· 索引查询速度

· 索引内存使用

· 8G内存下，所能支持的k值范围

· 建立索引时

我们队高大上的代码：

#include <algorithm>
#include <iostream>
#include <fstream>
#include <cstring>
#include <cstdlib>
#include <cstdio>
#include <cmath>
#include <queue>
#include <stack>
#include <set>
#include <map>
using namespace std;
const long long maxn = 1048580;
const int INF = 0x3fffff;
const double EPS = 1e-6;
const double PI = 3.1415926;
typedef  long long ll;
int dx[4] = {0,0,1,-1};
int dy[4] = {1,-1,0,0};

int k;
typedef struct node    //储值
{
int add;
struct node *next;
} node,*Rlink;
Rlink head[maxn];
void List_insert(int add,int data)                  //链表中插入地址
{
if(head[add]==NULL)
{
head[add] = (node *)malloc(sizeof(node));
head[add]->add = data;
head[add]->next = NULL;
}
else
{
node *p = head[add];
while(p->next)
p=p->next;
node *q = (node *)malloc(sizeof(node));
q->add = data;
q->next = NULL;
p->next = q;
}
}

char str[1048580][101];
char lstr[110000000];
int hash(char *strr);

struct Trie
{
int next[1048580][101],fail[1048580],end[1048580];
int root,L;
int newnode()
{
for(int i = 0; i < 101; i++)
next[L][i] = -1;
end[L++] = -1;
return L-1;
}
void init()
{
L = 0;
root = newnode();
}
void insert(char s[],int id)
{
int len = strlen(s);
int now = root;
for(int i = 0; i < len; i++)
{
if(next[now][s[i]] == -1)
next[now][s[i]] = newnode();
now = next[now][s[i]];
}
end[now] = id;
}
void build()
{
queue<int>Q;
fail[root] = root;
for(int i = 0; i < 101; i++)
if(next[root][i] == -1)
next[root][i] = root;
else
{
fail[next[root][i]] = root;
Q.push(next[root][i]);
}
while(!Q.empty())
{
int now = Q.front();
Q.pop();
for(int i = 0; i < 101; i++)
if(next[now][i] == -1)
next[now][i]=next[fail[now]][i];
else
{
fail[next[now][i]]=next[fail[now]][i];
Q.push(next[now][i]);
}
}
}
int num[1048580];//记录个数
vector<int>post[1048580];//记录位置

void query(char buf[],int n)
{
for(int i = 0; i < n; i++)
num[i] = 0,post[i].clear();
int len=strlen(buf);
int now=root;
for(int i=0; i<len; i++)
{
now=next[now][buf[i]];
int temp = now;
while( temp != root )
{
if(end[temp] != -1)
{
num[end[temp]]++;
post[end[temp]].push_back(i);
}
temp = fail[temp];
}
}
for(int i = 0; i < n; i++)
{
if(num[i] > 0)
{
int add = hash(str[i]);    //存储在数组中
for(int j=0; j<post[i].size(); j++)
{
List_insert(add,post[i][j]+1-k);      //
}
}
}
}
};
Trie ac;

int hash(char *strr)
{
int len = strlen(strr);
int add = 0;  //地址
int base = 1; //进制
for(int i=len-1; i>=0; i--)
{
switch(strr[i])
{
case 'A':
add += 0*base;
break;
case 'T':
add += 1*base;
break;
case 'G':
add += 2*base;
break;
case 'C':
add += 3*base;
break;
}
base*=4;
}
return add;
}

void substr(char *st,char *ss,int i,int j)  //i开始截取j个字符,扔进st中
{
for(int k=0; k<j; k++)
st[k] = ss[k+i];
st[j] = '\0';
}

void Index(char *s)
{
int add = hash(s);
node *p = head[add];
while(p)
{
printf("模式串所在DNA序列号为: %d,所在的下标为: %d\n",p->add/101+1,p->add%101+1);
p=p->next;
}
}

int main()
{
printf("请输入一个K值:\n");
scanf("%d",&k);
map <string,int> map;       //去重
string ss;
char tmp[102];
ac.init();
int i=0;
int cnt=0;   //记录模式串个数
ifstream in("test.txt");  //文件读取
if(in)
{
while(getline(in,ss))
{
ss.copy(tmp,100,0);
tmp[100] = '*';          //将不同行的字符串分隔开,避免跨行匹配成功
tmp[101] = '\0';
strcat(lstr,tmp);
for(int j=0; j<=100-k; j++)
{
string moshi = ss.substr(j,k);
if(map[moshi]==1) continue;       //已经插入过的模式串不会再插入
substr(str[cnt],tmp,j,k);
ac.insert(str[cnt],cnt);
cnt++;
map[moshi] = 1;                   //插入标记
}
i++;
}
}
ac.build();   //ac自动机建立
ac.query(lstr,cnt);
char l[101];
printf("请输入您要查询的k-mer:\n");
while(~scanf("%s",l))
Index(l);
return 0;
}