微软笔试题 给一个包含10^7个整数的大文件排序
2012-08-11 01:25
363 查看
这个题目有一个前提条件,大文件的中的数据有有一个特点,那就是不存在重复的数据。就算是重复的数据,也只让你求出去除重复之后的那些数据的排序结果。
如果题目变成了这样,我们就可以考虑创建一个大的数组。数组的下表表示一个整数,数组的内容在我遍历文件的时候再赋值。如果数组下标代表的那个整数存在,我们就把数组的这个元素赋值为1,否则赋值为0.这样我们就可以再次遍历数组,把元素的值为1的那些下标输出到另一个文件,这样另一个文件中就存放了排好序的数据了。
上面的那个数组,其实我们可以用vector<bool>,或者bitset<n>;来实现,这就是所谓的位图算法,实现如下:
上面对5百万个整数的文件进行排序,将结果输出到另外一个文件中,并显示输出文件的一部分作为测试结果。
这里的计时器用到了boost库中的timer,如果没有,下载boost的文件,解压后将boost文件夹放到VC++ IDE的include文件中即可
如果题目变成了这样,我们就可以考虑创建一个大的数组。数组的下表表示一个整数,数组的内容在我遍历文件的时候再赋值。如果数组下标代表的那个整数存在,我们就把数组的这个元素赋值为1,否则赋值为0.这样我们就可以再次遍历数组,把元素的值为1的那些下标输出到另一个文件,这样另一个文件中就存放了排好序的数据了。
上面的那个数组,其实我们可以用vector<bool>,或者bitset<n>;来实现,这就是所谓的位图算法,实现如下:
//对10^7个整数的文件进行排序,整数无重复,将排序的结果写到sorted_data.txt文件中。 //用位图的方法。 void sort_big_file_with_single_data() { timer t; //生成一个大数集合,随机排列 const int n=5000000; vector<int> a; for (int i=0;i<n;i++) a.push_back(i); variate_generator<mt19937, uniform_int<> > myrandom (mt19937(), uniform_int<>(0,n-1)); for (int i=0; i<n; ++i) swap(a[myrandom()],a[myrandom()]); //写数据到文件 ofstream fout("data.txt",ios::binary); if (!fout) { cout<<"can not open file to write"<<endl; } for (int i=0;i<n;i++) { fout.write(reinterpret_cast<const char*>(&a[i]),sizeof(int)); } fout.close(); //从文件中读取前100个数据并显示 ifstream fin; fin.open("data.txt",ios::binary); for (int i=0,num=0;i<100;i++) { fin.read(reinterpret_cast<char*>(&num),sizeof(int)); if (fin.eof()) { break; } cout<<num<<" "; } fin.close(); //对文件排序 bitset<n> bit; bit.reset(); //ifstream fin; fin.open("data.txt",ios::binary); int i=0; while (true) { fin.read(reinterpret_cast<char*>(&i),sizeof(int)); if (fin.eof()) { break; } bit[i]=true; } fin.close(); //将排序的文件输出到sorted_data.txt //ofstream fout; fout.open("sorted_data.txt",ios::binary); for (int i=0;i<n;i++) { if (bit[i]==true) { fout.write(reinterpret_cast<const char*>(&i),sizeof(int)); } } fout.close(); cout<<"sort data "<<t.elapsed()<<" seconds needed"<<endl; //读取已经排序的文件并显示前100个数据 fin.open("sorted_data.txt",ios::binary); for (int i=0,num=0;i<100;i++) { fin.read(reinterpret_cast<char*>(&num),sizeof(int)); if (fin.eof()) { break; } cout<<num<<" "; } fin.close(); }
上面对5百万个整数的文件进行排序,将结果输出到另外一个文件中,并显示输出文件的一部分作为测试结果。
这里的计时器用到了boost库中的timer,如果没有,下载boost的文件,解压后将boost文件夹放到VC++ IDE的include文件中即可
相关文章推荐
- 在一个包含40亿个随机排列的32位整数的顺序文件中(注意随机排序),找出一个不再文件中的32位整数
- 一个文件中有40亿个整数,求出这个文件里的整数里不包含的一个整数
- 给定一个最多包含40亿个随机排列的32位整数的顺序文件,找出一个不在文件中的32位整数。
- 谷歌笔试题--给定一个集合A=[0,1,3,8](该集合中的元素都是在0,9之间的数字,但未必全部包含), 指定任意一个正整数K,请用A中的元素组成一个大于K的最小正整数。
- 编程珠玑 第二章 习题 2 给定一个包含4300000000个32位证书的顺序文件,求出一个至少包含两次的整数
- 【笔试】超大文件里的数据去重排序;将log中MAC地址提取出来;取出数据库表T里第20行到29行的数据;如何判断一个二叉树B是不是二叉树A的子树?
- 给定包含4300000000个32位整数的顺序文件,如何找出一个出现至少两次的整数
- 谷歌笔试题--给定一个集合A=[0,1,3,8](该集合中的元素都是在0,9之间的数字,但未必全部包含), 指定任意一个正整数K,请用A中的元素组成一个大于K的最小正整数。
- 给定一个排序后的数组,包含n个整数,但这个数组已被旋转过多次,找出数组中的某个元素
- 笔试题:一个整数的“真数”,是将它的各个位相加得到的和。写一个函数完成一个数组按真数大小排序
- 新解:给定包含4 300 000 000个32位整数的顺序文件,如何找出一个至少出现两次的整数。
- 一个文件中有40亿个整数,每个整数为四个字节,内存为1GB,写出一个算法:求出这个文件里的整数里不包含的一个整数
- 【腾讯面试题】求出这个文件里的整数里不包含的一个整数
- 给定一个输入文件,包含40亿个非负整数。产生一个不在该文件中的整数。内存限制:1GB
- 一个文件中有40亿个整数,每个整数为四个字节,内存为1GB,写出一个算法:求出这个文件里的整数里不包含的一个整数。
- 谷歌笔试题--给定一个集合A=[0,1,3,8](该集合中的元素都是在0,9之间的数字,但未必全部包含), 指定任意一个正整数K,请用A中的元素组成一个大于K的最小正整数。
- 编程珠玑:给定一个包含4300000000个32位证书的顺序文件,求出一个至少包含两次的整数
- 9.10扩展性与存储限制(二)——给定一个输入文件,包含40亿个非负整数。产生一个不在该文件中的整数。内存限制:1GB
- 扩展性与存储限制(二)——给定一个输入文件,包含40亿个非负整数。产生一个不在该文件中的整数。内存限制:1GB
- 给定一个排序后的数组,包含n个整数,但这个数组已被旋转过很多次,编写代码找出数组中的某个元素