关于curl，关于url分析

leader需要我从海量的url中选取url最多的1000个站点，每个站点再随机抽取100个url，分析url的质量，这里的质量，就是指是否死链，是否全部广告之类的

 

是否死链只要使用浏览器打开看看就OK了 然而 1000乘以100 ，一个一个去做的话，显然太傻，于是我使用了curl写个程序去获取http的头部信息，统计返回来的的状态码，程序再跑，可是异常的慢，现在终于明白为什么爬虫不可能使用curl去实现，效率是在太慢了，我现在打算修改一下curl的超时设置，但是还不清楚如何去做

 

还有，如何设置超时？如果不考虑curl的话？

 

 

至于可连接的url，分析广告之类的，我目前好像只有人工分析的办法了，想不到什么比较智能的办法。