输入优化

在竞赛中，遇到大数据时，往往读文件成了程序运行速度的瓶颈，需要更快的读取方式。相信几乎所有的C++学习者都在cin机器缓慢的速度上栽过跟头，于是从此以后发誓不用cin读数据。还有人说Pascal的read语句的速度是C/C++中scanf比不上的，C++选手只能干着急。难道C++真的低Pascal一等吗？答案是不言而喻的。一个进阶的方法是把数据一下子读进来，然后再转化字符串，这种方法传说中很不错，但具体如何从没试过，因此今天就索性把能想到的所有的读数据的方式都测试了一边，结果是惊人的。

竞赛中读数据的情况最多的莫过于读一大堆整数了，于是我写了一个程序，生成一千万个随机数到data.txt中，一共55MB。然后我写了个程序主干计算运行时间，代码如下：

#include <ctime>int main(){    int start = clock();    //DO SOMETHING    printf("%.3lf\n",double(clock()-start)/CLOCKS_PER_SEC);}

最简单的方法就算写一个循环scanf了，代码如下：

const int MAXN = 10000000;int numbers[MAXN];void scanf_read(){    freopen("data.txt","r",stdin);    for (int i=0;i<MAXN;i++)        scanf("%d",&numbers[i]);}

可是效率如何呢？在我的电脑Linux平台上测试结果为2.01秒。接下来是cin，代码如下

const int MAXN = 10000000;int numbers[MAXN];void cin_read(){    freopen("data.txt","r",stdin);    for (int i=0;i<MAXN;i++)        std::cin >> numbers[i];}

出乎我的意料，cin仅仅用了6.38秒，比我想象的要快。cin慢是有原因的，其实默认的时候，cin与stdin总是保持同步的，也就是说这两种方法可以混用，而不必担心文件指针混乱，同时cout和stdout也一样，两者混用不会输出顺序错乱。正因为这个兼容性的特性，导致cin有许多额外的开销，如何禁用这个特性呢？只需一个语句std::ios::sync_with_stdio(false);，这样就可以取消cin于stdin的同步了。程序如下：

const int MAXN = 10000000;int numbers[MAXN];void cin_read_nosync(){    freopen("data.txt","r",stdin);    std::ios::sync_with_stdio(false);    for (int i=0;i<MAXN;i++)        std::cin >> numbers[i];}

取消同步后效率究竟如何？经测试运行时间锐减到了2.05秒，与scanf效率相差无几了！有了这个以后可以放心使用cin和cout了。

接下来让我们测试一下读入整个文件再处理的方法，首先要写一个字符串转化为数组的函数，代码如下

const int MAXS = 60*1024*1024;char buf[MAXS];void analyse(char *buf,int len = MAXS){    int i;    numbers[i=0]=0;    for (char *p=buf;*p && p-buf<len;p++)        if (*p == ' ')            numbers[++i]=0;        else            numbers[i] = numbers[i] * 10 + *p - '0';}

把整个文件读入一个字符串最常用的方法是用fread，代码如下：

const int MAXN = 10000000;const int MAXS = 60*1024*1024;int numbers[MAXN];char buf[MAXS];void fread_analyse(){    freopen("data.txt","rb",stdin);    int len = fread(buf,1,MAXS,stdin);    buf[len] = '\0';    analyse(buf,len);}

上述代码有着惊人的效率，经测试读取这10000000个数只用了0.29秒，效率提高了几乎10倍！掌握着种方法简直无敌了，不过，我记得fread是封装过的read，如果直接使用read，是不是更快呢？代码如下：

const int MAXN = 10000000;const int MAXS = 60*1024*1024;int numbers[MAXN];char buf[MAXS];void read_analyse(){    int fd = open("data.txt",O_RDONLY);    int len = read(fd,buf,MAXS);    buf[len] = '\0';    analyse(buf,len);}

测试发现运行时间仍然是0.29秒，可见read不具备特殊的优势。到此已经结束了吗？不，我可以调用Linux的底层函数mmap，这个函数的功能是将文件映射到内存，是所有读文件方法都要封装的基础方法，直接使用mmap会怎样呢？代码如下：

const int MAXN = 10000000;const int MAXS = 60*1024*1024;int numbers[MAXN];char buf[MAXS];void mmap_analyse(){    int fd = open("data.txt",O_RDONLY);    int len = lseek(fd,0,SEEK_END);    char *mbuf = (char *) mmap(NULL,len,PROT_READ,MAP_PRIVATE,fd,0);        analyse(mbuf,len);}

经测试，运行时间缩短到了0.25秒，效率继续提高了14%。到此为止我已经没有更好的方法继续提高读文件的速度了。回头测一下Pascal的速度如何？结果令人大跌眼镜，居然运行了2.16秒之多。程序如下：

const    MAXN = 10000000;var    numbers :array[0..MAXN] of longint;    i :longint;begin    assign(input,'data.txt');    reset(input);    for i:=0 to MAXN do        read(numbers[i]);end.

方法/平台/时间(秒) Linux gcc Windows mingw Windows VC2008
scanf 2.010 3.704 3.425
cin 6.380 64.003 19.208
cin取消同步 2.050 6.004 19.616
fread 0.290 0.241 0.304
read 0.290 0.398 不支持
mmap 0.250 不支持 不支持
Pascal read 2.160 4.668

通过cin.tie与sync_with_stdio加速输入输出，可以将cin的速度接近scanf的速度，但具体要更具编译器的情况。tietie是将两个stream绑定的函数，空参数的话返回当前的输出流指针。1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22    #include <iostream> #include <fstream>   ///////////////////////////SubMain////////////////////////////////// int main(int argc, char *argv[]) {     std::ostream *prevstr;     std::ofstream ofs;     ofs.open("test.txt");       std::cout << "tie example:\n"; // 直接输出到屏幕       *std::cin.tie() << "This is inserted into cout\n";  // 空参数调用返回默认的output stream，也就是cout     prevstr = std::cin.tie(&ofs);                     // cin绑定ofs，返回原来的output stream     *std::cin.tie() << "This is inserted into the file\n"; // ofs，输出到文件     std::cin.tie(prevstr);                                  // 恢复       ofs.close();     system("pause");     return 0; } ///////////////////////////End Sub//////////////////////////////////输出：1 2 3   tie example: This is inserted into cout 请按任意键继续. . .同时当前目录下的test.txt输出：1   This is inserted into the filesync_with_stdio这个函数是一个“是否兼容stdio”的开关，C++为了兼容C，保证程序在使用了std::printf和std::cout的时候不发生混乱，将输出流绑到了一起。应用在ACM里，经常出现数据集超大造成 cin TLE的情况。这时候大部分人（包括原来我也是）认为这是cin的效率不及scanf的错，甚至还上升到C语言和C++语言的执行效率层面的无聊争论。其实像上文所说，这只是C++为了兼容而采取的保守措施。我们可以在IO之前将stdio解除绑定，这样做了之后要注意不要同时混用cout和printf之类。在默认的情况下cin绑定的是cout，每次执行 << 操作符的时候都要调用flush，这样会增加IO负担。可以通过tie(0)（0表示NULL）来解除cin与cout的绑定，进一步加快执行效率。如下所示：1 2 3 4 5 6 7   #include <iostream> int main()  {     std::ios::sync_with_stdio(false);     std::cin.tie(0);     // IO }reference：http://meme.biology.tohoku.ac.jp/students/iwasaki/cxx/speed.htmlhttp://www.hankcs.com/program/cpp/cin-tie-with-sync_with_stdio-acceleration-input-and-output.html下面介绍最快的读取方法，将读入的直接转换为字符串 但一般题目很少卡这个，除非出题人故意卡你读入，这时候就需要开挂了.... void scan_d(int &ret){    char c;    ret = 0;    while((c=getchar())<'0' || c>'9');    while(c>='0'&&c<='9') ret = ret*10 +(c-'0'),c=getchar();}题目在acdream的oj上有1099 贴下AC代码/** this code is made by ACXZZ* Problem: 1099* Verdict: Accepted* Submission Date: 2014-06-14 21:57:31* Time: 936MS* Memory: 45084KB*/#include<iostream>#include <algorithm>#include<cstring>#include<cstdlib>#include<queue>#include<cstdio>using namespace std;const int N = 11111111; void scan_d(int &ret){    char c;    ret = 0;    while((c=getchar())<'0' || c>'9');    while(c>='0'&&c<='9') ret = ret*10 +(c-'0'),c=getchar();}int a[N];int main(){    int n,k;    cin>>n>>k;    for(int i = 0 ; i<n;i++)    {           scan_d(a[i]);    }    nth_element(a,a+n-k,a+n);    cout<<a[n-k]<<endl;}如果输出加速的话，也是差不多，数字转字符，puthcar输出就行