seo文本robots文件调整-导哥seo培训-东泽seo
robots.txt是一种储放于网址根目录下的文本文档,应用一切一个普遍的文字 编辑软件,例如Windows系统软件内置的Notepad,就可以建立和编写它。它用以告知 百度搜索引擎的网络爬虫(spider),网址中的什么內容不是应被数据库索引,什么是可以被数据库索引。 通常觉得,robots.txt文件用于百度搜索引擎对总体目标网页页面的爬取。因而,robots.txt会直 接危害到网址在百度搜索引擎的百度收录状况。在写robots文件内,应遵循下列标准:
1 )、robots.txt务必放进网址的根目录下
2) 、robots.txt务必选用全小写字母取名
3) 、不设定robots.txt文件,是默认设置搜索引擎蜘蛛爬取全站的。可是兼容全部百度搜索引擎 的网络爬虫(spider),提议即使必须全站爬取,都需按要求创建一个空的robots.txt 文档,达到百度搜索引擎的网络爬虫(spider)爬取标准。如果有xml站点地形图的,在robots.txt 文档中标出xml站点地形图文档的部位,一般也是网址网站根目录。
咪咕音乐网实例:robots.txt文件编码
User-agent: Baiduspider
Disallow:
User-agent: 360spider
Disallow:
User-agent: sogou spider
Disallow:
User-agent: Googlebot
Disallow:
User-agent: Bingbot
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: *
Disallow: /
Crawl-delay: 60
Disallow: /cms
Sitemap: http://www.migu.cn/sitemap.xml
47
以上为咪咕音乐网robots.txt代码,该标准只支持中国的网页搜索、360检索、 搜狗;及其海外的google检索、微软bing搜索、雅虎搜索的蜘蛛机器人开展 爬取;因为咪咕音乐网关键客户为中国,因此关键以国内搜索引擎的爬取为主导, 爬取頻率60秒,与此同时为了更好地增强安全系数,屏蔽网站cms文件目录控制模块的爬取。
互联网技术上存有被普遍连接的网址,这种网站搜索引擎会优先选择强烈推荐。这儿关键 讲一下内链优化,下列标准在提升历程中必须遵循:
1) 网址内所有子网页页面,都需要有偏向网站首页的连接。
2) 网页页面要有关键字,以用于连接有关主题风格网页页面。
3) 要有清楚的网站导航。
4) 创建可以展现网址所有内容的sitmap。
5) 站内全部关键网页页面中间,尽可能两组互连。
6) 常用文本连接,少用照片、按键、FLASH连接。
7) 网址不应该发生死链。
咪咕音乐网实例:头顶部导航代码,根据导航栏header文件,确保网址所属网页页面 无死链和独立页同,两组互连。
<!– header start –>
<div class=”head”>
<meta http-equiv=”Content-Type” content=”text/html; charset=utf-8″ />
<div class=”head_swap” style=”position:relative”>
<div class=”head_top”>
<span class=”slogan fl”><a href=”http://www.migu.cn“> 中国移动通信集团旗下音乐门户 </a>| <a href=”http://www.10086.cn/web_notice/navigation/” target=”_blank”> 集团公司商品 </a>|<a href=”javascript:;” class=”ml5 setHome_index”> 设 为主页 </a>| <a href=”javascript:;” class=”ml5 addFav_index”> 添加收藏</a> </span>
<ul class=”login fr m0″ id =”web_login”>
<li>
<em class=”sprt sprt_icon_user”></em> <a href=”javascript:;” id=”a_login” class=”mr5″>登陆</a><span class=”line”> | </span><a href=”javascript:;” target=”_blank” id=”a_register”> 申请注册 </a>
48
</li>
<li>
<em ciass=”sprt sprt_icon_memmber”></em>
<a href=”http://www.migu.cn/#/ringmonth/184_114.htmi” id =”a_usercenter” >会
员 </a>
</li>
<ii>
<a href=”” ciass=”mi20″> 挪动通行卡 </a>
<em ciass=”sprt sprt_icon_arrow_down”></em>
</li>
</ui>
</div>
<div ciass=”head_mid”>
<div ciass=”nav”>
<ui>
<ii><a ciass=”iist” href=”http://www.migu.cn“> 主页 </a></ii>
<ii><a ciass=”iist” href=”http://ent.migu.cn“> 咪咕新闻资讯 </a>
<ii><a ciass=”iist” href=”http://songs.migu.cn“> 音乐库 </a>
<ii><a ciass=”iist” href=”http://rank.migu.cn“> 排名榜 </a></ii>
<ii><a ciass=”iist” href=”http://cd.migu.cn“> 咪咕磁带 </a></ii>
<ii><a ciass=”iist” href=”http://ising.migu.cn“> 咪咕爱唱 </a></ii>
<ii><a ciass=”iist” href=”http://mciub.migu.cn“> 咪咕社区 </a>
</ui>
</div>
<!– header end –>
咪咕音乐网导航栏选用根据模版,根据header文件置放到站点的任意一个网页页面
上,使网址全部网页页面都能够在企业网站的频道栏目间互相转换,使两组互连。
以上就是seo文本robots文件调整-导哥seo培训-东泽seo的全部内容,