关于百度蛛蛛日志分析对SEO的作用
来源:互联网 发布:陌陌网络主播收入 编辑:程序博客网 时间:2024/05/22 02:02
针对依面天小游戏网站 在百度收录量不断减少的问题,近日通过对APACHE的日志分析得出,百度基本上是10天左右才来访问一次,并且不收录任何数据,但是GOOGLE是每天都来访问一次,收录小量数据,现在要查这个原因。以下是对日志的分析命令,所有的APACEH默认日志文件在/var/log/apache/目录下。
1. 百度蜘蛛爬行的次数cat access.log | grep Baiduspider+ | wc
最左面的数值显示的就是爬行次数。
2. 百度蜘蛛的详细记录(Ctrl+C可以终止)
cat access.log | grep Baiduspider+
也可以用下面的命令:
cat access.log | grep Baiduspider+ | tail -n 10
cat access.log | grep Baiduspider+ | head -n 10
只看最后10条或最前10条,这用就能知道这个日志文件的开始记录的时间和日期。
3. 百度蜘蛛抓取首页的详细记录
cat access.log | grep Baiduspider+ | grep “GET / HTTP”
百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。
4. 百度蜘蛛派性记录时间点分布
cat access.log | grep “Baiduspider+” | awk ‘{print $4}’
5. 百度蜘蛛爬行页面按次数降序列表
cat access.log | grep “Baiduspider+” | awk ‘{print $7}’ | sort | uniq -c | sort -r
文中的Baiduspider+改成Googlebot都可以查看谷歌的数据,鉴于大陆的特殊性,大家应该对百度的log更为关注。
附:(Mediapartners-Google)Google adsense蜘蛛的详细爬行记录
cat access.log | grep Mediapartners
Mediapartners-Google是什么呢?Google adsense广告之所以能与内容相关,因为每个包含着adsense的广告被访问后,很快就有个Mediapartners-Google蜘蛛来到这个页面,所以几分钟后再刷新就能显示相关性广告了,真厉害啊!
- 关于百度蛛蛛日志分析对SEO的作用
- 文本链接与裸链对百度SEO的作用
- 刘贺稳专家解析2017年百度电脑下拉框对SEO排名推广的重大作用
- 聊聊百度联盟对SEO的影响
- 新闻源对SEO的作用
- 内链对seo的作用
- SEO优化的时分如何学会应用办法吸收蛛蛛抓取
- 蛛蛛
- 对"手机"的SEO案例分析
- 网站访问分析对SEO的好处
- seo - 如何彻底阻止百度对网站的爬行
- seo - 如何彻底阻止百度对网站的爬行
- 企业seo及百度知道对其流量的影响
- 360搜索引擎百度搜索大战对SEO的影响
- 百度站长俱乐部对部分SEO问题的答…
- HTTPS对谷歌百度SEO的影响
- 对网站的seo有作用的301重定向
- 原创的内容对SEO优化有多大的作用
- eclipse subversion native library not available
- Windows环境进程间通信(一):共享文件方式
- 怕忘记了。记录一下要采购的元件----1
- MySQL存储过程-插入后返回ID
- POJ 2155 二维线段树 书套树
- 关于百度蛛蛛日志分析对SEO的作用
- 软件测试方法汇总
- 异常: The Network Adapter could not establish the connection
- Android环境搭建(XP/Win7)
- Windows环境进程间通信(二):共享内存方式
- Java 14
- MySQL存储过程-批量插入
- 初学者VS2005 .Net WebService使用(二)- 调用WebService三步曲
- Oracle EBS中工单状态更改的几点说明