您当前的位置: 首页 > 故事

次修改robots文件后百度百度谷歌

2018-11-01 22:18:42

做站也做了这么长时间,站长们能遇到的事情都遇到过了,常见无非就是站被降权,站快照不更新站主要关键字排名下降,,外链数量减少等等,这些问题往往就是由于站初期准备工作没准备好就上线的结果,导致后期更换站板块或者频繁修改其它蜘蛛经常爬行的文件所引起的,今天和大家探讨一下修改robots文件后对站的影响及一些搜索引擎的反应。

次修改robots文件后百度百度谷歌反应

快照更新了,发现了是4天一周期,每是收录已经超过12万,第二天没事继续以每天1000多收录的速度抓取,再看百度这方面,也没事。但不幸的事情还是发生了... 快照更新后再一次的site:域名发现,谷歌收录6万(原来是12万多),百度这方面也是变了,原来的3万5千600到更新快照后的4万9千整的收录,当时修改的是把robots文件写入屏蔽团购的页面(那个是调用的),当时感觉不知道是什么原因导致谷歌收录大减,百度收录大增的,但继续测试,才发现致命的原因...

二次修改robots文件惹怒蜘蛛,谷歌直接K站

刚开始站不是建立很久总是喜欢修改这修改那的,把首页都动起来了,我的站的保安robots也是被我装饰得极其丰富,事情发生在年底,把robots文件屏蔽了百度谷歌搜搜以外的蜘蛛(当时搜狗流氓抓取得导致站流量不够),修改后的第三天,从谷歌收录本一路下跌的淘宝广东站直到那天的6万多到1200条收录,看了心都当时凉了一截了,至今谷歌都不大抓取站了,收录在1000上下徘徊。

还有一个秒收的博客站也是因为修改了robots文件,谷歌直接K站,当时那个站修改robots文件太过频繁,导致适得其反的效果,百度也持续一周没更新快照,蜘蛛对robots文件极度敏感,这是新站不能碰的优化地雷区。

建站初期应当全面设置好robots文件,防止后期更改

后期对robots的修改是对各大搜索引擎的一种不友好的表现,特别是谷歌,随着引擎的人性化,搜索引擎也是有脾气的,当在你的站产生了一种习惯时,你站的稍微改动很有可能会引起搜索引擎的反感,就像修改了robots一样,robots的修改不仅对内容的收录有影响,对站的权重也有不可忽视的影响。修改robots会引起站快照不更新,收录减少,外链数目降低,站主要关键字下降甚至前几百名找不到关键字排名。

蜘蛛来你站首先就是看站根目录的robots文件,蜘蛛的时间也是很紧迫的,像谷歌这样的全球搜索引擎公司每天要去成千上万的站点抓取页内容,频繁地修改robots文件就是修改了你站与蜘蛛之间的协议,为了站安全,一般的蜘蛛都会遵守robots协议,根据你制定的规则来抓取允许的页文件及内容。

经过几个月的实战结果我建议:robots文件是在建站初期应该制定好,不要在站收录很多或权重上来了的时候想修改就去修改,除非你不在乎从搜索引擎来的那些流量。

开店省钱叶蔚卿原创文章 本文版权归叶蔚卿@开店省钱所有,欢迎转载,转载请注明作者和出处。谢谢

星力六狮
捕鱼游戏棋牌
带钢厂家
推荐阅读
图文聚焦