怎样采集百家论坛MP3讲座

采集百家论坛MP3讲座

准备工作：

1：火车头采集器软件（推荐试用专业版）

2：安装采集器软件相关的配套软件：比如Framework 2.0，fiddler抓包工具等
3：网上搜索百家论坛相关的网站，发现百家讲坛网里面有大量的MP3讲座：

http://www.baijiajiangtan.org/MP3xiazai/zengguofanjiaxun/ 

 

分析网页

 要下载MP3，需要经历3个网页：
http://www.baijiajiangtan.org/MP3xiazai/zengguofanjiaxun/
http://www.baijiajiangtan.org/mp3/8994/
http://www.baijiajiangtan.org/e/DownSys/DownSoft/?classid=235&id=8994&pathid=0

然后再第三个网页里面截取到的MP3对应的下载网址为：
http://down.baijiajiangtan.org/808080/201201/曾国藩家训下部13流水高山心自知.mp3

 

附上javascript分析代码：

设置采集任务名

右键可以新增任务，具体操作：略

 

获取一级网址

 下面是网页的截图：

 

设置【采集网址规则】

 

 

设置OK后，可测试下采集网址规则

 

获取二级网址

 

在列表页采集到每个内容的详细页面地址，也就是第二个地址： 比如：http://www.baijiajiangtan.org/mp3/8994/

需要在内容页通过多页配置得到第三个页面的连接地址

 

设置多页管理后，可以做下【规则测试】：

 

修改内容标签，在采集器里截取到文件下载地址，然后勾选探测文件下载，请看下图：

开始采集

设置OK后，回到主界面，点击“开始”按钮，出现MP3批量下载的效果：