Larbin网络爬虫在Linux下的配置 ——终于搞定了
来源:互联网 发布:齐鲁软件大赛2017 编辑:程序博客网 时间:2024/04/30 03:42
我主机是Windows XP系统,又装了ReaHat虚拟机在上边(Labin目前好像还不支持Windows,不得已而为之)
1. labin-2.6.2解压缩 (on Windows XP)
2. options.h 注释掉options.h中的这行:#define DEFAULT_OUTPUT // do nothing... 让SIMPLE_SAVE :生效 (on Windows XP using VC6.0)
3. ./adns/internal.h 568-571行注释掉;
#include <sys/poll.h>//added by chuyanli for struct pollfd on line 303
注释掉PRINTFFORMAT(4,5) on line 323 325 327
4. larbin.conf 在这个文件中可以修改starturl Proxy 连接数等等(on Windows XP using VC6.0)
5. VM->settings->share->add this file "larbin" in
6. on RedHat VM terminal
->cd /
->cd mnt
->cd hgfs
->cd larbin
->./configure (编译会有2个左右的error,没关系,继续往下进行)
->make (如果成功,则生成larbin文件)
->./larbin ()
中止 ->ctrl + c
重起 ->./larbin -scratch
我当时是第3条的最后一步没做好,导致编译了半天,也郁闷个半死。。。还好还好,爬虫开始爬了!
爬到的网页放在larbin->save文件夹中,每1000个网页为一个子文件夹,里边有index索引文件,记录了爬过的url序列,正好为我所用哈哈!
- Larbin网络爬虫在Linux下的配置 ——终于搞定了
- linux下爬虫larbin
- 爬虫larbin在Ubuntu下的编译
- 爬虫larbin在Ubuntu下的编译
- 网络爬虫的设计——参考larbin
- 爬虫Larbin解析(一)——Larbin配置与使用
- 爬虫Larbin解析(一)——Larbin配置与使用
- 开源网络爬虫Larbin的安装及配置
- 开源网络爬虫Larbin的安装及配置
- 终于搞定了hadoop集群的配置
- 使用larbin网络爬虫的问题
- 网络爬虫 Larbin 源码
- Larbin网络爬虫
- larbin网络爬虫分析
- 网络爬虫 larbin
- 爬虫larbin的运行配置说明
- Linux下tomcat设置jsp连接mysql 的问题忙了几天,终于搞定
- Larbin——一款c++编写的爬虫程序
- bsearch ()函数
- 使用windows api实现任意两种字符编码的转换
- 清华校长送给毕业生的五句话,值得一看
- 史上BT的挨踢对话
- 疯狂JAVA讲义---第三章(下):运算符
- Larbin网络爬虫在Linux下的配置 ——终于搞定了
- ORACLE中文排序方式 vs SQL Server 2005的中文排序问题
- 万能情书(杀伤力极大,大家快用,必杀!)
- 最小路径覆盖
- Java Object equals() & hashCode()
- 求素数
- 中国正在取代荷兰成为风车之国
- 一个Linux下C线程池的实现
- 有向图的极大强连通分量