怎样运用网站网络服务器日志

　　文中将教您怎样运用网站网络服务器日志做为seo分析工具，以更好的掌握百度搜索引擎智能机器人与网站的交互技术。在这篇文章中，大家将只关心Google的Googlebot和Googlebot Smartphone。因而，从今天开始，每每提及智能机器人时，是在指Google。（本实例教程适用百度搜索）

　　一样特别注意的是，网络服务器日志通常也包括别的互动数据信息，可是大家在这儿只涉及到百度搜索引擎智能机器人总流量。

什么是服务器日志文档？

　　简单点来说，网络服务器日志文档是网络服务器自动生成的纪录，列举了百度搜索引擎智能机器人与在其中含有的网页页面/資源的每一次互动。简单点来说，每一次数据漫游器要求网络服务器上的网页页面时，都是会建立一个日志项，在其中展示了各种各样数据信息点，例如：

　　*Warning: Jargon Zone*

　　要求了哪些网页页面或資源？

　　要求了哪一种資源？（HTML，JavaScript等）

　　应用什么方法？（获得或公布）

　　该要求什么时候产生？

　　要求的回应代码是什么？（200、301、404、500等）

　　也有最重要的信息点…* drumroll * …哪个百度搜索引擎智能机器人传出了要求及其传出了是多少要求！（Googlebot，Googlebot Smartphone，Bingbot，Baidu等）

为何智能机器人爬取如此关键？

　　可以一目了然地明确智能机器人在一段时间内已经要求什么网页页面，这使大家可以鉴别不确定性的“问题”网页页面。

什么叫“问题”网页页面？

　　我将这种网页页面界定为在一个特殊的时间段内（最少一个月或三个月）几乎沒有智能机器人要求的网页页面。为了更好地开展考量，假定在一个月内一切具备10个或更少的数据漫游器要求的界面全是潜在性的“问题”网页页面。因为这是一个可放缩的占比，请依据站点尺寸（例如，低于10，小于30，低于50等）随便此后数据逐渐并再次进到目录。

智能机器人总流量低的缘故有什么？

　　网页页面坐落于网站导航的最深处，造成智能机器人均值必须更长的时间段才可以抵达。

　　跨好几个网页页面的信息稀缺或反复，造成数据漫游器在申请网页页面时沒有那麼迫切性或必要性。

　　网页页面未包括在XMLsitmap中，造成数据漫游器仅借助当然爬网开展搜索。

　　缺乏偏向网页页面的内部结构/外链，进而使智能机器人寻找他们的方式少得多。

　　技术性问题，例如文件格式有误的robots.txt文件阻拦了bot爬取网址上的一些地区。

智能机器人总流量低有哪些危害？

　　网页页面压根沒有被捡取和数据库索引。

　　假如在数据库索引网页页面上升级网页页面內容，则更新后的信息很有可能要更长的时间段能够被查找和创建数据库索引，代表着网址的来访者很有可能会见到落伍的內容。

　　话虽如此说，关键的是要留意，具备低数据漫游器总流量的网页并不一直造成大家 重视的。这就是为了更好地协助鉴别潜在性问题网页页面的气象图，并不确保事实上有其他不正确。

网址尺寸怎样危害智能机器人爬取？

　　大中型 – 假如商业网站包括1000好几个网页页面，则智能机器人有可能会遇上一个问题，即利用大自然的爬网进展不断抵达较深的网页页面。这种可能是将与日志文档一起审批的网页页面，以明确必要性和优先。

　　大中小型网址 – 针对中小型网址和中小型网址来讲，其网页页面大概低于500页，因而数据漫游器应当可以没什么问题地爬取绝大多数网页页面。在这样的情况下，您也许已经审批日志文档，以搜索逻辑性应该更经常地开展爬网的网页页面。

运用网络服务器日志剖析seo

　　1.浏览网址的网络服务器日志

　　得到对网站日志文档的访问限制并将之分析后，逐渐审批潜在性的“问题”网页页面。（我将应用Screaming Frog的Log Analyzer专用工具开展此特殊演习）

　　就最好作法来讲，必须审批最少一个月的数据信息，以精确勾画出网址上智能机器人主题活动的情况。要研究的信息量事实上在于网站的尺寸，网页页面越多，将有着越多的“事情”，这事实上会缓减导进速率。

　　2.认证智能机器人

　　逐渐导进全过程后，将产生一个框，了解您是不是要在导进时“认证”智能机器人。该全过程本质上涉及到对向云服务器发出请求的每一个数据漫游器的IP地址实行反方向DNS搜索，以鉴别假智能机器人。（自然，还可以运用nslookup命令符开展鉴别IP）

　　3.挑选和过虑

　　导进要研究的日志文档信息量后，可以自己调节主视图构造，一定要注意下边提及的2个Googlebot列，这大家稍候将主要探讨的列。

　　下面导出数据，便于能够更好地过虑和解决数据信息，在“行”列上边的左边寻找导出来按键。

　　4.审批数据信息

　　数据另存到Excelexcel表后，可以根据Googlebot和Googlebot Smartphone过虑数据信息，将要求总数最大的网页页面过虑到总数至少的网页页面将防护潜在性的“问题”网页页面。

　　如下所示所显示，网址上面有许多网页页面，在一个月的时间段里，他们仅接到一个Googlebot要求！这可能是一个问题，可是大家必须进一步调研。

　　编译程序好要研究的网页页面目录后，就该再次探讨前边相关智能机器人总流量低的有可能缘故的一部分。

　　结果

　　网络服务器日志文档为大家出示了百度搜索引擎智能机器人怎样与特殊网址互动的主视图，为进一步的seo.cn/tag/seoyouhua/ target=_blank class=infotextkey>seo优化给予了必不可少的信息内容，以更好的掌握智能机器人为什么会忽视网址上的一些网页页面及其怎样开展最好提升。

以上就是怎样运用网站网络服务器日志的全部内容，