关于 ROBOTS.TXT一些看不明白的东东
来源:互联网 发布:手机破解软件论坛 编辑:程序博客网 时间:2024/04/30 08:07
Other issues with ROBOTS.TXT
These are issues recommended for future standards discussion that could not be resolved within the scope of this workshop.
These are issues recommended for future standards discussion that could not be resolved within the scope of this workshop.
- Ambiguities in the current specification http://www.kollar.com/robots.html
A means of canonicalizing sites, using: HTTP-EQUIV HOST ROBOTS.TXT ALIAS
ways of supporting multiple robots.txt files per site ("robotsN.txt")
ways of advertising content that should be indexed (rather than just restricting content that should not be indexed)
Flow control information: retrieval interval or maximum connections open to server
- 关于 ROBOTS.TXT一些看不明白的东东
- 关于robots.txt的书写
- 关于robots.txt 的用法
- 如何写robots.txt?关于robots.txt的制作
- 关于robots.txt
- 关于IPC$的一些东东
- 关于WPF的一些东东
- 关于一些内存的东东
- 关于Latex的一些东东
- 一些关于视图的东东
- 关于线程的一些东东
- 关于UG925的一些东东
- robots.txt的格式
- robots.txt 的作用
- robots.txt的作用
- 关于robots.txt无法禁止收录的小看法
- 关于 回调函数 的一些东东
- 关于SerialPort类的一些东东
- java中arraylist和一维数组,二维数组的转换
- Source Insight使用经验分享(有问有答)
- C++的可移植性和跨平台开发
- Fatal error: Call to undefined function
- (转)如何防止Android应用被反编译
- 关于 ROBOTS.TXT一些看不明白的东东
- Android教程示例BitmapFun分析
- 如何写sql语句
- 黑马程序员 Java网络编程
- Shell中命令行选项和参数的处理
- Hibernate 锁机制
- 五、CCNode
- 手动建 robots.txt
- Jolt奖2013年编码类奖优秀工具