欢迎来到权重SEO优化网
首页 > SEO技术内容

robots协议最容易忽略却很致命的小细节

2022-01-20 06:00:00   来源:权重SEO优化网    点击:
作者:admin

我认为robots协议书便是网站站长行驶网址分配权的实行文档,这也是大家做为网站站长最主要的支配权。它是百度搜索引擎蜘蛛爬取网址以前要面临的第一道大关,因此robots协议书的必要性也是显而易见了。都说细节决定成败,那麼越关键的物品关键点就 […]

我认为robots协议书便是网站站长行驶网址分配权的实行文档,这也是大家做为网站站长最主要的支配权。它是百度搜索引擎蜘蛛爬取网址以前要面临的第一道大关,因此robots协议书的必要性也是显而易见了。都说细节决定成败,那麼越关键的物品关键点就变得至关重要,通常自身一不小心忽视的一个关键点到最终就有可能会变成你的致命一击。自己往往会如此说,是由于我差点儿就变成这个问题的反面典型了,还行发觉的立即也算得上亡羊补牢吧!往往想马上介绍给大伙儿,便是期待大伙儿之后自己做站的那时候要防止犯相近的不正确。

事儿实际上就产生在今天,通过是如此的:由于小亮seoblog也刚搞好没多久,前几日网址发布以后看到也有许多小问题必须解决,为了防止网址仍在调节的历程中就被百度搜索引擎获取到,因此我还在robots协议书里边写了严禁全部百度搜索引擎抓取网址一切一部分的命令,网址的调节一直不断了几日(往往会弄那么长期是由于我是一个无法容忍缺陷的人,不清楚这是否算强迫seo.cn/tag/siwei/ target=_blank class=infotextkey>思维的一种),直到昨日也就是2月3号才全方位完工,可是这期内我每日都是在坚持不懈加上原创文章内容。昨日网址查验结束,所有问题都处理好之后,我便把robots协议书再次拆换了回来,而且发过一篇贴子引了搜索引擎蜘蛛期待网络爬虫能快点儿回来爬一个网站。就是这样,到了今日上午发觉网址或是沒有被百度收录,因此我就去百度站长工具服务平台看一下一个网站到底是个什么原因,进来一看吓我一跳,由于我看到了下边一则(如下图所示)信息内容

robots协议


一个网站居然对百度搜索开展了全方位禁封,现场采样是在今日(2月4号)早晨零晨5点整的情况下,这要我像丈二的和尚摸不着头脑了,太不合理了,由于我还在昨日2月3号早上早已把网址的robots协议书变更过来了,真的是太古怪了。就在我迷惑不解的情况下终于是根据站长工具专用工具的“robots检验”找到回答,看下面的图:

robots检测


原先网络蜘蛛早已在我网址搜索引擎蜘蛛发布后的第三天爬取了我网址的robots协议书,因此当今起效的协议书也就是那时候它爬取到的我将搜索引擎蜘蛛所有屏蔽掉时的那一个,而本网站全新的robot协议书都还没起效。这一下我终于是懂了过来了,即然搞清楚了缘故那事儿就好弄了。因此我马上把协议书递交升级了一下,如下图:

更新


更新之后一分钟内协议书就升级过来了,如下图:

更新提交


能够看见,当今本网站全新的robots早已逐渐开始起效了,就是这样到了中午,在我再度进到百度站长平台就收到了最新动态,如下图所示:

<a href=https://www.pr-seo.cn/tag/wangzhan/ target=_blank class=infotextkey>网站</a>解封


至此网址早已消除了robots协议书对度娘的全方位禁封,现场采样表明的是今日下午二点整。到了夜里也类似便是在三个多钟头之前,在我再度查验百度收录状况的情况下,首页早已被百度收录了。如下图:

<a href=https://www.pr-seo.cn/tag/wangzhanshoulu/ target=_blank class=infotextkey><a href=https://www.pr-seo.cn/tag/wangzhan/ target=_blank class=infotextkey>网站</a>收录</a>


网址总算被百度收录了,但要我最开心的或是我根据自身的勤奋寻找问题并解决了问题,这才算是我今天较大的获得。当然假如这个问题我发现不上,很有可能网址再过十天十几天也会没什么盼头,因此我想提示大伙儿的便是有关robots协议书在禁封搜索引擎蜘蛛以后到中后期在解除限制的过程中一定要还记得立即更新robots协议书,这是一个不可被忽略的小关键点。或许依照自身的一贯基本常识感觉只需根据键入“http:\\网站域名\robots.txt看一下网址的协议书改回来了沒有就可以了,可是根据实践经验证明这个方法也不是彻底靠谱的,因此一定要记住此次的成功经验,robots一旦开展调节就一定要还记得立即递交升级,要不然被爬虫爬取了不应该抓的或是一直把搜索引擎蜘蛛避而不见耽搁了自个的時间那么就真的是追悔莫及了。


温暖小贴士:刚刚看过一下時间,早已转钟到了第二天了,写这篇文章的那时候是在2月4号,可是如今公布的时间段早已转点至2月5号了,因此文章内容提及的“今日”也就是2月4号,期待大伙儿别看迷糊了。

以上就是robots协议最容易忽略却很致命的小细节的全部内容,

www.pr-seo.cn

权重SEO优化网

您好,请关注上方二维码

回复关键词“SEO诊断”

即可诊断出网站目前实际优化情况!

并根据您的网站情况为您制定最

佳的SEO优化方案!