robots.txt的写法

robots.txt的写法
2年前 (2017-03-01) dyfwind SEO技术, 那年那些 0评论 608℃

robots.txt的写法 第一:什么是robots.txt? 这是一个文本文件,是搜索引擎爬行网页要查看的第一个文件,你可以告诉搜索引擎哪些文件可以被查看,哪些禁止。当搜索机器人(也叫搜索蜘蛛)访问一个站点时,它首先会检查根目录是否存在r…Read more »