推荐一个curl库,实现整站克隆功能
来源:互联网 发布:各区县地图json 编辑:程序博客网 时间:2024/06/04 18:17
有时候经常会用到一些在线手册,比如国内或国外的,有些是访问速度慢,有些是作者直接吧网站关闭了,有些是服务器总是宕机,所以还是全盘克隆到自己服务器比较爽,
这里给大家推荐接触过的一个CURL库,可以实现整站克隆功能,对于复制一些手册站点还是非常实用的。
库特点:
给定一初始连接,初始链接以下的层级所有文件会拷贝到本地。
多次克隆可以配置是否覆盖。
可以配置是否下载图片。
所有链接替换为相对链接,所以可以随便rewrite。
绝对不会出现文件覆盖等问题。
克隆结果展示(这个克隆操作几秒钟就完成了):
克隆源网站:http://www.laruence.com/manual/
克隆结果:http://manual.phpdr.net/yaf/
技术交流: http://www.lai18.com/content/368643.html
<?php//author http://www.lai18.comclass Controller_Spider extends MyYaf_Controller_Base{ function init(){ parent::init(); if(!$this->getRequest()->isCli()){ Ares_Http::error403(); } include 'CurlMulti/CurlMulti.php'; include 'CurlMulti/MyCurl.php'; include 'phpQuery.php'; }}
<?php//author http://www.lai18.comclass YafdocController extends Controller_Spider { function init() { parent::init (); include 'CurlMulti/MyCurl/Clone.php'; } function indexAction() { $url = 'http://www.laruence.com/manual'; $dir = Yaf_Application::app ()->getAppDirectory () . '/data/manual'; $cacheDir = $this->getBaseDir () . '/cache/curl'; if (! is_dir ( $cacheDir )) { mkdir ( $cacheDir ); } $curl = new CurlMulti (); $curl->maxThread = 10; $curl->cache ['enable'] = true; $curl->cache ['enableDownload'] = true; $curl->cache ['dir'] = $cacheDir; $curl->cache ['compress'] = true; $clone = new MyCurl_Clone ( $curl, $url, $dir ); $clone->overwrite = true; $clone->start (); return false; }}
4 0
- 推荐一个curl库,实现整站克隆功能
- 自己写的php curl库实现整站克隆
- curl 实现sftp功能
- PHP-CURL库常用功能
- LinuxC语言实现下载功能(curl)
- LinuxC语言实现上传功能(curl)
- Lua自己实现深度克隆一个值
- 复制(克隆)一:dos功能---文件、分区复制(与ghost克隆功能一样)推荐首用
- 复制(克隆)一:dos功能---文件、分区复制(与ghost克隆功能一样)推荐首用
- 使用VMware克隆功能的一个网络配置问题
- Virtual box实现VMare的克隆虚拟机功能
- 一个在cocos2d-x上用curl 下载数据功能 .
- 使用curl静态库-http下载功能
- 如何实现一个功能
- C# 各种克隆功能
- c/c++/curl实现facebook上传图片等功能
- 【php】用curl实现校图书馆书籍查询功能
- PHP采用curl多线程抓取网页功能实现
- 第12周项目-程序阅读(2)
- 客户价格种类设置数据表
- 广州本田整车销售管理系统分析(一)
- 第十二周阅读程序(3)
- 数据开放接口第一弹:12306官网中全国火车站数据
- 推荐一个curl库,实现整站克隆功能
- 一些自学的html代码(html中table基本用法)
- 程序阅读
- 第一题 p033
- 大一第二学期第11周【项目1-存储班长信息的学生类】
- 第十二周 阅读程序(5)
- 哈希表
- 第12周项目1-教师兼干部类
- 数据库的优化方法