为什么Robots

有些基于seo事情总是容易被忽视，比如Robots.txt文件。在seo关于优化的文章多次提到Robots.txt文件的重要性。seo.cn/tag/wangzhanyouhua/ target=_blank class=infotextkey>网站优化的诊断方法之一是检查文档是否制作和标准化。如上所述，如果搜索引擎蜘蛛被禁止进入网站Robots.txt无论你如何优化协议文件，它都不会包括在内。  

Robots.txt写入协议文件  

如果您将Robots.txt将协议文件添加到您的网站上，并设置禁止搜索引擎蜘蛛的说明。您的网站内容不会被爬行，但可能会被包含（索引）。  

有些人可能会有问题，搜索引擎蜘蛛爬行网站页面，页面需要呈现蜘蛛的内容反馈，才能包括在内。那么，如果内容被禁止，它会被包括在内吗？这是什么意思？seo这个问题没有在这里解释。

为什么Robots.txt搜索引擎蜘蛛将在禁止协议文件后收录？  

这里有一个认知错误，也可能是惯性逻辑seo.cn/tag/siwei/ target=_blank class=infotextkey>思维的错误seo.cn/tag/siwei/ target=_blank class=infotextkey>思维。每个人都认为蜘蛛不能捕捉或包括在内。事实上，爬行、抓取和索引是不同的概念。很多人都在学习seo时，经常混淆一些seo概念，导致后续seo性能差。 

或者首先，Robots.txt协议文件在做什么？因为是协议，必须是双方同意和接受的规则。A和B自然是网站和搜索引擎(或搜索引擎蜘蛛)之间的协议。Robots.txt该协议文件将被放置在根目录中，蜘蛛将在第二次进入网站时访问该文件，然后检查协议中是否有页面无法爬行，如果禁止，则不会再爬行。  

Robots.txt协议文件的意义

如果一个页面想要被搜索引擎索引（包括），它应该被爬行器爬行和爬行。因为它没有爬上网，所以它自然不包括这个页面。这个想法是错误的，可以索引而不需要抓取。例如，淘宝是一个典型的案例，该网站添加了一个禁止协议，最终被包括在内。原因是百度从其他渠道平台推荐的外部链接中了解到了该网站。虽然禁止爬行，但可以通过标题和推荐链接的数据来判断页面对应的内容信息。

以上就是为什么Robots的全部内容，