标签: robots.txt

1 篇文章

什么是robots.txt?
robots.txt是什么? 有没有想过,如果我们某个站点不让百度和google收录,那怎么办? 搜索引擎已经和我们达成一个约定,如果我们按约定那样做了,它们就不要收录。 这个写约定的的文件命名为:robots.txt。 robots.txt是一个最简单的.txt文件,用以告诉搜索引擎哪些网页可以收录,哪些不允许收录。 关于robots.txt一般…