ubuntu下编译、运行larbin

来源：互联网发布：刚进入金融行业知乎编辑：程序博客网时间：2024/04/29 05:14

larbin是一个法国人写的网络爬虫，在一台普通pc机上，只要带宽足够，可以一天爬500万网页。下面简单介绍在Ubuntu下的编译运行。

通过新立得或者命令行(sudo apt-get install softname)安装gcc、g++、make、xutils-dev。

注释掉adns下internal.h的569-571行。

下载larbin（http://larbin.sourceforge.net/index-eng.html），解压缩后进入该目录执行

./configure

make

通过./larbin执行。

默认情况下larbin不执行任何输出，可通过修改larbin.conf和option.h修改配置参数，部分参数亦可通过修改types.h文件。

修改option.h和types.h文件需要重新编译。

另：我通过Cygwin在windows上成功编译了larbin，虽然可以成功运行但是却不抓网页，初步判断是因为laibin所使用的adns异步DNS解析库不能解析，不知道是Cygwin的问题还是windows需要什么特别的设置~~~~~