本节文章 ，甚写措置为甚么网站写了robots阻拦蜘蛛抓取，阻拦蜘蛛抓内容仍是内容收录了

有的时辰 ，我们想要阻拦搜刮引擎抓取全数网站的仍收内容 ，可是甚写写好了robots后，创作创造网站仍是阻拦蜘蛛抓收录了 ，好是内容没有效

为甚么会多么呢？因为robots有奏效时分
，这个奏效时分不是仍收我们说了算，而是甚写百度说了算 ，rboots的阻拦蜘蛛抓奏效时分 ，快则几天  ，内容慢则1-2个月，仍收当我们阻拦抓取，甚写需求奏效时分，阻拦蜘蛛抓想让蜘蛛抓取，内容又需求时分 ，一来一回 ，就会招致我们的网站排名推迟，想想，假定一个网站做了一到二个月 ，收录都不收录或不好 ，那排名又甚么时辰会有。所以，不建议阻拦抓取全数网站。

我们在来看一下上面的一段话 ：

"百度lee曾在悍然场合说过：不合的站点略有不合，但凡是在几天内延续奏效 。 真实我们可以想象下robots奏效的过程 ：

1. 蜘蛛创作创造robots文件改削并将信息传回 2.分化改削前后的robots文件 3.删除禁尽予被收录的索引数据 这个过程中肯能还会存在其他的一些法度圭表类型，可是因为每个网站蜘蛛爬的频率和网站的权重不合（网站的次要性）而招致蜘蛛创作创造robots变换的时分延时或被措置的优先性不合 
，幻想下场招致的下场就是robots的奏效时分不合。 经由过程以上分化我们可以得出robots的奏效时分真实不是必定的 ，假定你的robots变换后良久都没有奏效的话
，可以往这里歌咏 ：tousu.百度.com 不雅不雅不雅不雅鉴赏本文的人还感欢欣乐乐喜悦爱好
：搜刮引擎对网页的大年夜小有请求吗
 ？robots.txt的写法为甚么网站有收录却没有排名?为甚么网页收录了又被删除？"

如今除夜白为甚么了吧？

文章推荐：

暴雪将至女副角江一燕剧照海报暴光 为“最冷犯法片”添热色

海南电网优化节能发电调剂

钦州展开建筑节能和墙材更始下场展活动

芜湖 ：展开节能环保宣传活动 建议俭仆俭仆习尚

周云鹏龙虾刑警扮演贩毒团伙头子 演员的出世演技获倒是招认

低碳展开离不开风电 浙江十三五干净动力比重汲引至40%

云南履行百项重点节能示范项目 总投资33.89亿元

石景山区局限以上财富节能成效较着

徐浩峰导演受邀列席巴塞罗那荔枝片子节 徐氏武侠国外受热捧

酒泉阿克塞县节能环保更始掉落踪掉落踪较着成效

湖南输配电订价成本监审进点会在长沙召开

2016年广州节能行政功令宣传活动举办