谷歌管理员工具提示robots文件”?User-agent: *”语法有误解决办法
来源:互联网 发布:淘宝管控交易风险保障 编辑:程序博客网 时间:2024/05/22 01:37
今天我登陆谷歌管理员工具发现一个奇怪问题:
google给我站分析的robots.txt文件,在第一句话User-agent有个语法错误,纠结了,我认真的检查了一下,我的robots.txt里面却是没有第一个问号啊,也就是User-agent这么写的,然后我翻开了一下百度搜索帮助中心-禁止搜索引擎收录的方法发现我的robots语法没有写错啊,到底是怎么回事google管理员工具分析却是开头带“?”问号呢?
下面禁止的文件也都出现未指定 user-agent。
其实很简单,主要是因为文件编码格式错误。
谷歌网站管理员工具支持的编码是ANSI格式,我们电脑默认的*.txt文件是utf-8的编码,我把robots文件下载下来另存为的时候选择ansi格式就上传上去,过了一天再看就OK。
只需要把文件另存为ANSI格式就行了,然后重新上传到空间就可以了,等谷歌下一次抓取你的robots文件就会显示正常啦!
做SEO的一定要认真,SEO排名比的是细节上的操作!!!
本文网址:http://www.ios100.net/?p=2038
- 谷歌管理员工具提示robots文件”?User-agent: *”语法有误解决办法
- robots.txt 文件语法
- sudo+user+命令 提示user不在sudoers文件中的解决办法
- 工具------随机获取User-Agent
- 谷歌爬虫googlebot的User-Agent
- user-agent解析第三方工具类
- User Agent特征库和探测工具
- HTTP头文件User-Agent解读
- http头文件User-Agent详解
- User-Agent头部文件获取方法
- http头文件User-Agent详解
- User Agent
- user agent
- User Agent
- User Agent
- User Agent
- 'User-Agent
- user-Agent
- hibernate 类生成表 的实现源码
- 金山卫士开源软件之旅(八) netmon下netmon工程的解析---netmon.exe的启动过程分析
- 数据库之搜索效率及优化
- stream 、 string 、byte[] 间的相互转换 扩展方法
- 认识“数据可视化”和“信息可视化”
- 谷歌管理员工具提示robots文件”?User-agent: *”语法有误解决办法
- strace实现原理
- win7下android开发环境搭建(win7 64位)
- 今天你“导”了吗?
- dialog,activity 屏蔽Home键详解
- 移动性和IT技术缺口催生云统一通信
- WaitForSingleObject和CEvent的结合使用
- 指URL地址的 Facebook like 按钮
- Quartz.Net架构入门—开源的作业调度框架