从海量数据中找出最小的k个数

    从大量(海量)数据中查找最小的k(k一般比较小)个数，这是笔试中常考的题目。  如果是从少量数据中查找最小的k个数据，并且允许修改允许修改原始数据，侧利用Partition()函数，在O(N)的时间复杂度，O(1)的空间复杂度就可以找到最小的k个数据。

   从大量数据中查找最小的k个数，我们可以利用一个容器先存储前k个数据，然后从数据中读取下一个数，判断该数是与容器中最大的数的大小，如果该数较大或相等，侧读取下一个数，如果该数比容器中最大数小，侧删除容器中该最大数，将该数放入容器中，然后读取下一个数...

  从容器中选择最大的数，可以知道该容器应该是大根堆，或二叉排序树，红黑树。下面是以multiset为容器实现该算法。

#include "stdafx.h"#include  <iostream>#include <vector>#include <set>#include <ctime>using namespace std;typedef multiset<int,greater<int>> Set;typedef multiset<int,greater<int>>::const_iterator Set_iterator;void getLeastNumbers(const vector<int> & numbers,Set & leastNumbers,int k){   leastNumbers.clear();   if(k<=0 || numbers.size()<k)   return ;   for(vector<int>::const_iterator ite=numbers.begin();ite!=numbers.end();ite++)   {      if(leastNumbers.size()<k)  {  leastNumbers.insert(*ite);  }  else  {  Set_iterator IteratorFirst=leastNumbers.begin();//最大的元素  if(*ite<*IteratorFirst)  {  leastNumbers.erase(IteratorFirst);  leastNumbers.insert(*ite);  }  }   }}int _tmain(int argc, _TCHAR* argv[]){//int a[]={4,5,1,6,2,7,3,8};//int length=sizeof(a)/sizeof(int);//vector<int> numbers(a,a+length-1);    srand((unsigned)time(0));vector<int> numbers;for(int i=0;i<100000;i++)       numbers.push_back(rand());for(vector<int>::iterator ite=numbers.begin();ite!=numbers.end();ite++)cout<<*ite<<" ";cout<<endl;    Set leastNumbers;    int k=4;getLeastNumbers(numbers,leastNumbers,k);for(Set_iterator ite=leastNumbers.begin();ite!=leastNumbers.end();ite++){   cout<<*ite<<" ";}system("PAUSE");return 0;}

该算法的时间复杂度为：NlogK，空间复杂度为O（k）。我们不需要一次性将数据全部放入内存，只需从硬盘一次读一个数据到内存即可，但是内存必须够容纳容器(multiset)中的K个数。