欢迎来到权重SEO优化网
首页 > SEO教程内容

seo文本robots文件调整-导哥seo培训-东泽seo

2022-02-13 06:00:00   来源:权重SEO优化网    点击:
作者:admin

robots.txt是一种储放于网址根目录下的文本文档,应用一切一个普遍的文字 编辑软件,例如Windows系统软件内置的Notepad,就可以建立和编写它。它用以告知 百度搜索引擎的网络爬虫(spider),网址中的什么內容不是应被数据库索引,什么是可以被数据库索引。 通常觉得,robots.txt文件用于百度搜索引擎对总体目标网页页面的爬取。因而,robots.txt会直 接危害到网址在百度搜索引擎百度收录状况。在写robots文件内,应遵循下列标准

1 )、robots.txt务必放进网址的根目录下

2) 、robots.txt务必选用全小写字母取名

3) 、不设定robots.txt文件,是默认设置搜索引擎蜘蛛爬取全站的。可是兼容全部百度搜索引擎 的网络爬虫(spider),提议即使必须全站爬取,都需按要求创建一个空的robots.txt 文档,达到百度搜索引擎的网络爬虫(spider)爬取标准。如果有xml站点地形图的,在robots.txt 文档中标出xml站点地形图文档的部位,一般也是网址网站根目录。

咪咕音乐网实例:robots.txt文件编码

User-agent: Baiduspider

Disallow:

User-agent: 360spider

Disallow:

User-agent: sogou spider

Disallow:

User-agent: Googlebot

Disallow:

User-agent: Bingbot

Disallow:

User-agent: yahoo-mmcrawler

Disallow:

User-agent: *

Disallow: /

Crawl-delay: 60

Disallow: /cms

Sitemap: http://www.migu.cn/sitemap.xml

47

以上为咪咕音乐网robots.txt代码,该标准只支持中国的网页搜索、360检索、 搜狗;及其海外的google检索、微软bing搜索、雅虎搜索的蜘蛛机器人开展 爬取;因为咪咕音乐网关键客户为中国,因此关键以国内搜索引擎的爬取为主导, 爬取頻率60秒,与此同时为了更好地增强安全系数,屏蔽网站cms文件目录控制模块的爬取。

5.4网址内链优化

互联网技术上存有被普遍连接的网址,这种网站搜索引擎会优先选择强烈推荐。这儿关键 讲一下内链优化,下列标准在提升历程中必须遵循:

1) 网址内所有子网页页面,都需要有偏向网站首页的连接。

2) 网页页面要有关键字,以用于连接有关主题风格网页页面。

3) 要有清楚的网站导航。

4) 创建可以展现网址所有内容的sitmap。

5) 站内全部关键网页页面中间,尽可能两组互连。

6) 常用文本连接,少用照片、按键、FLASH连接。

7) 网址不应该发生死链。

咪咕音乐网实例:头顶部导航代码,根据导航栏header文件,确保网址所属网页页面 无死链和独立页同,两组互连。

<!– header start –>

<div class=”head”>

<meta http-equiv=”Content-Type” content=”text/html; charset=utf-8″ />

<div class=”head_swap” style=”position:relative”>

<div class=”head_top”>

<span class=”slogan fl”><a href=”http://www.migu.cn“> 中国移动通信集团旗下音乐门户 </a>| <a href=”http://www.10086.cn/web_notice/navigation/” target=”_blank”> 集团公司商品 </a>|<a href=”javascript:;” class=”ml5 setHome_index”> 设 为主页 </a>| <a href=”javascript:;” class=”ml5 addFav_index”> 添加收藏</a> </span>

<ul class=”login fr m0″ id =”web_login”>

<li>

<em class=”sprt sprt_icon_user”></em> <a href=”javascript:;” id=”a_login” class=”mr5″>登陆</a><span class=”line”> | </span><a href=”javascript:;” target=”_blank” id=”a_register”> 申请注册 </a>

48

</li>

<li>

<em ciass=”sprt sprt_icon_memmber”></em>

<a href=”http://www.migu.cn/#/ringmonth/184_114.htmi” id =”a_usercenter” >会

员 </a>

</li>

<ii>

<a href=”” ciass=”mi20″> 挪动通行卡 </a>

<em ciass=”sprt sprt_icon_arrow_down”></em>

</li>

</ui>

</div>

<div ciass=”head_mid”>

<div ciass=”nav”>

<ui>

<ii><a ciass=”iist” href=”http://www.migu.cn“> 主页 </a></ii>

<ii><a ciass=”iist” href=”http://ent.migu.cn“> 咪咕新闻资讯 </a>

<ii><a ciass=”iist” href=”http://songs.migu.cn“> 音乐库 </a>

<ii><a ciass=”iist” href=”http://rank.migu.cn“> 排名榜 </a></ii>

<ii><a ciass=”iist” href=”http://cd.migu.cn“> 咪咕磁带 </a></ii>

<ii><a ciass=”iist” href=”http://ising.migu.cn“> 咪咕爱唱 </a></ii>

<ii><a ciass=”iist” href=”http://mciub.migu.cn“> 咪咕社区 </a>

</ui>

</div>

<!– header end –>

咪咕音乐网导航栏选用根据模版,根据header文件置放到站点的任意一个网页页面

上,使网址全部网页页面都能够在企业网站的频道栏目间互相转换,使两组互连。

以上就是seo文本robots文件调整-导哥seo培训-东泽seo的全部内容,

www.pr-seo.cn

权重SEO优化网

您好,请关注上方二维码

回复关键词“SEO诊断”

即可诊断出网站目前实际优化情况!

并根据您的网站情况为您制定最

佳的SEO优化方案!