为甚么写了robots阻拦蜘蛛抓取，内容仍是收录了
· 2026-08-02 00:02:35本节文章 ，甚写措置为甚么网站写了robots阻拦蜘蛛抓取 ，阻拦蜘蛛抓内容仍是内容收录了
有的时辰 ，我们想要阻拦搜刮引擎抓取全数网站的仍收内容 ，可是甚写写好了robots后，创作创造网站仍是阻拦蜘蛛抓收录了 ，好是内容没有效
为甚么会多么呢 ？因为robots有奏效时分 ，这个奏效时分不是仍收我们说了算，而是甚写百度说了算 ，rboots的阻拦蜘蛛抓奏效时分 ，快则几天 ，内容慢则1-2个月 ，仍收当我们阻拦抓取 ，甚写需求奏效时分 ，阻拦蜘蛛抓想让蜘蛛抓取 ，内容又需求时分 ，一来一回 ，就会招致我们的网站排名推迟 ，想想，假定一个网站做了一到二个月 ，收录都不收录或不好 ，那排名又甚么时辰会有。所以 ，不建议阻拦抓取全数网站 。
我们在来看一下上面的一段话 ：
"百度lee曾在悍然场合说过 ：不合的站点略有不合 ，但凡是在几天内延续奏效 。 真实我们可以想象下robots奏效的过程 ：
1. 蜘蛛创作创造robots文件改削并将信息传回 2.分化改削前后的robots文件 3.删除禁尽予被收录的索引数据 这个过程中肯能还会存在其他的一些法度圭表类型 ，可是因为每个网站蜘蛛爬的频率和网站的权重不合（网站的次要性）而招致蜘蛛创作创造robots变换的时分延时或被措置的优先性不合 ，幻想下场招致的下场就是robots的奏效时分不合。 经由过程以上分化我们可以得出robots的奏效时分真实不是必定的 ，假定你的robots变换后良久都没有奏效的话 ，可以往这里歌咏 ：tousu.百度.com 不雅不雅不雅不雅鉴赏本文的人还感欢欣乐乐喜悦爱好 ：搜刮引擎对网页的大年夜小有请求吗？robots.txt的写法为甚么网站有收录却没有排名?为甚么网页收录了又被删除 ？"
如今除夜白为甚么了吧 ？
文章推荐：