SEOer浅谈robots

三：写robots.txt文件要全面

　　robots.txt文件写作时也是需要规范的，不然就如同虚设，比如我们的网站上有的页面时动态化地址，我们知道这些动态化地址搜索引擎蜘蛛不能很好的抓取，于是我们在robots.txt文件里注明，有些SEOer在注明时会在第二行这样写：Disallow：/*?*，这就是不全面的。

　　我们都知道动态化网址的结尾都是有好多参数的，如?,%等，所以当我们不希望搜索引擎蜘蛛抓取动态网址的页面时，我们就要在robots.txt文件里注明自己网站动态化网址出现的所有参数。不然，搜索引擎蜘蛛还是能够抓取我们网站的动态化网址，我们的robots.txt文件就如同虚设。