在ACM比赛中如何加速cin使其效率等同于scanf

来源:互联网 发布:还有什么方式做淘宝客 编辑:程序博客网 时间:2024/05/17 08:39

在竞赛中,遇到大数据时,往往读文件成了程序运行速度的瓶颈,需要更快的读取方式。相信几乎所有的C++学习者都在cin机器缓慢的速度上栽过跟头,于是从此以后发誓不用cin读数据。还有人说Pascal的read语句的速度是C/C++中scanf比不上的,C++选手只能干着急。难道C++真的低Pascal一等吗?答案是不言而喻的。一个进阶的方法是把数据一下子读进来,然后再转化字符串,这种方法传说中很不错,但具体如何从没试过,因此今天就索性把能想到的所有的读数据的方式都测试了一边,结果是惊人的。

竞赛中读数据的情况最多的莫过于读一大堆整数了,于是我写了一个程序,生成一千万个随机数到data.txt中,一共55MB。然后我写了个程序主干计算运行时间,代码如下:

#include <ctime>int main(){    int start = clock();    //DO SOMETHING    printf("%.3lf\n",double(clock()-start)/CLOCKS_PER_SEC);}

最简单的方法就算写一个循环scanf了,代码如下:

const int MAXN = 10000000;int numbers[MAXN];void scanf_read(){    freopen("data.txt","r",stdin);    for (int i=0;i<MAXN;i++)        scanf("%d",&numbers[i]);}

可是效率如何呢?在我的电脑Linux平台上测试结果为2.01秒。接下来是cin,代码如下

const int MAXN = 10000000;int numbers[MAXN];void cin_read(){    freopen("data.txt","r",stdin);    for (int i=0;i<MAXN;i++)        std::cin >> numbers[i];}

出乎我的意料,cin仅仅用了6.38秒,比我想象的要快。cin慢是有原因的,其实默认的时候,cin与stdin总是保持同步的,也就是说这两种方法可以混用,而不必担心文件指针混乱,同时cout和stdout也一样,两者混用不会输出顺序错乱。正因为这个兼容性的特性,导致cin有许多额外的开销,如何禁用这个特性呢?只需一个语句std::iOS::sync_with_stdio(false);,这样就可以取消cin于stdin的同步了。程序如下:

const int MAXN = 10000000;int numbers[MAXN];void cin_read_nosync(){    freopen("data.txt","r",stdin);    std::ios::sync_with_stdio(false);    for (int i=0;i<MAXN;i++)        std::cin >> numbers[i];}

取消同步后效率究竟如何?经测试运行时间锐减到了2.05秒,与scanf效率相差无几了!有了这个以后可以放心使用cin和cout了。

接下来让我们测试一下读入整个文件再处理的方法,首先要写一个字符串转化为数组的函数,代码如下

const int MAXS = 60*1024*1024;char buf[MAXS];void analyse(char *buf,int len = MAXS){    int i;    numbers[i=0]=0;    for (char *p=buf;*p && p-buf<len;p++)        if (*p == ' ')            numbers[++i]=0;        else            numbers[i] = numbers[i] * 10 + *p - '0';}

把整个文件读入一个字符串最常用的方法是用fread,代码如下:

const int MAXN = 10000000;const int MAXS = 60*1024*1024;int numbers[MAXN];char buf[MAXS];void fread_analyse(){    freopen("data.txt","rb",stdin);    int len = fread(buf,1,MAXS,stdin);    buf[len] = '\0';    analyse(buf,len);}

上述代码有着惊人的效率,经测试读取这10000000个数只用了0.29秒,效率提高了几乎10倍!掌握着种方法简直无敌了,不过,我记得fread是封装过的read,如果直接使用read,是不是更快呢?代码如下:

const int MAXN = 10000000;const int MAXS = 60*1024*1024;int numbers[MAXN];char buf[MAXS];void read_analyse(){    int fd = open("data.txt",O_RDONLY);    int len = read(fd,buf,MAXS);    buf[len] = '\0';    analyse(buf,len);}

测试发现运行时间仍然是0.29秒,可见read不具备特殊的优势。到此已经结束了吗?不,我可以调用Linux的底层函数mmap,这个函数的功能是将文件映射到内存,是所有读文件方法都要封装的基础方法,直接使用mmap会怎样呢?代码如下:

const int MAXN = 10000000;const int MAXS = 60*1024*1024;int numbers[MAXN];char buf[MAXS];void mmap_analyse(){    int fd = open("data.txt",O_RDONLY);    int len = lseek(fd,0,SEEK_END);    char *mbuf = (char *) mmap(NULL,len,PROT_READ,MAP_PRIVATE,fd,0);        analyse(mbuf,len);}

经测试,运行时间缩短到了0.25秒,效率继续提高了14%。到此为止我已经没有更好的方法继续提高读文件的速度了。回头测一下Pascal的速度如何?结果令人大跌眼镜,居然运行了2.16秒之多。程序如下:

const    MAXN = 10000000;var    numbers :array[0..MAXN] of longint;    i :longint;begin    assign(input,'data.txt');    reset(input);    for i:=0 to MAXN do        read(numbers[i]);end.

为确保准确性,我又换到Windows平台上测试了一下。结果如下表:

方法/平台/时间(秒)Linux gccWindows mingwWindows VC2008scanf2.0103.7043.425cin6.38064.00319.208cin取消同步2.0506.00419.616fread0.2900.2410.304read0.2900.398不支持mmap0.250不支持不支持Pascal read2.1604.668 

从上面可以看出几个问题

  1. Linux平台上运行程序普遍比Windows上快。
  2. Windows下VC编译的程序一般运行比MINGW(MINimal Gcc for Windows)快。
  3. VC对cin取消同步与否不敏感,前后效率相同。反过来MINGW则非常敏感,前后效率相差8倍。
  4. read本是linux系统函数,MINGW可能采用了某种模拟方式,read比fread更慢。
  5. Pascal程序运行速度实在令人不敢恭维。

希望此文能对大家有所启发,欢迎与我继续讨论。

BYVoid原创 转载请注明



通过cin.tie与sync_with_stdio加速输入输出,可以将cin的速度接近scanf的速度,但具体要更具编译器的情况。

tie

tie是将两个stream绑定的函数,空参数的话返回当前的输出流指针。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#include <iostream>
#include <fstream>
 
///////////////////////////SubMain//////////////////////////////////
int main(int argc, char *argv[])
{
    std::ostream *prevstr;
    std::ofstream ofs;
    ofs.open("test.txt");
 
    std::cout << "tie example:\n"// 直接输出到屏幕
 
    *std::cin.tie() << "This is inserted into cout\n";  // 空参数调用返回默认的output stream,也就是cout
    prevstr = std::cin.tie(&ofs);                     // cin绑定ofs,返回原来的output stream
    *std::cin.tie() << "This is inserted into the file\n"// ofs,输出到文件
    std::cin.tie(prevstr);                                  // 恢复
 
    ofs.close();
    system("pause");
    return 0;
}
///////////////////////////End Sub//////////////////////////////////

输出:

1
2
3
tie example:
This is inserted into cout
请按任意键继续. . .

同时当前目录下的test.txt输出:

1
This is inserted into the file

sync_with_stdio

这个函数是一个“是否兼容stdio”的开关,C++为了兼容C,保证程序在使用了std::printfstd::cout的时候不发生混乱,将输出流绑到了一起。

应用

在ACM里,经常出现数据集超大造成 cin TLE的情况。这时候大部分人(包括原来我也是)认为这是cin的效率不及scanf的错,甚至还上升到C语言和C++语言的执行效率层面的无聊争论。其实像上文所说,这只是C++为了兼容而采取的保守措施。我们可以在IO之前将stdio解除绑定,这样做了之后要注意不要同时混用cout和printf之类。

在默认的情况下cin绑定的是cout,每次执行 << 操作符的时候都要调用flush,这样会增加IO负担。可以通过tie(0)(0表示NULL)来解除cin与cout的绑定,进一步加快执行效率。

如下所示:

1
2
3
4
5
6
7
#include <iostream>
int main() 
{
    std::ios::sync_with_stdio(false);
    std::cin.tie(0);
    // IO
}

reference:

http://meme.biology.tohoku.ac.jp/students/iwasaki/cxx/speed.html

http://www.hankcs.com/program/cpp/cin-tie-with-sync_with_stdio-acceleration-input-and-output.html

下面介绍最快的读取方法,将读入的直接转换为字符串
但一般题目很少卡这个,除非出题人故意卡你读入,这时候就需要开挂了....
[cpp] view plain copy
 print?在CODE上查看代码片派生到我的代码片
  1.  void scan_d(int &ret)  
  2. {  
  3.     char c;  
  4.     ret = 0;  
  5.     while((c=getchar())<'0' || c>'9');  
  6.     while(c>='0'&&c<='9') ret = ret*10 +(c-'0'),c=getchar();  
  7. }  

题目在acdream的oj上有1099
贴下AC代码
[cpp] view plain copy
 print?在CODE上查看代码片派生到我的代码片
  1. /* 
  2. * this code is made by ACXZZ 
  3. * Problem: 1099 
  4. * Verdict: Accepted 
  5. * Submission Date: 2014-06-14 21:57:31 
  6. * Time: 936MS 
  7. * Memory: 45084KB 
  8. */  
  9. #include<iostream>  
  10. #include <algorithm>  
  11. #include<cstring>  
  12. #include<cstdlib>  
  13. #include<queue>  
  14. #include<cstdio>  
  15. using namespace std;  
  16. const int N = 11111111;  
  17.  void scan_d(int &ret)  
  18. {  
  19.     char c;  
  20.     ret = 0;  
  21.     while((c=getchar())<'0' || c>'9');  
  22.     while(c>='0'&&c<='9') ret = ret*10 +(c-'0'),c=getchar();  
  23. }  
  24. int a[N];  
  25. int main()  
  26. {  
  27.     int n,k;  
  28.     cin>>n>>k;  
  29.     for(int i = 0 ; i<n;i++)  
  30.     {  
  31.            scan_d(a[i]);  
  32.     }  
  33.    
  34.     nth_element(a,a+n-k,a+n);  
  35.     cout<<a[n-k]<<endl;  
  36. }  
如果输出加速的话,也是差不多,数字转字符,puthcar输出就行
0 0
原创粉丝点击