SEO之sitemap.xml与robots.txt的应用

时间:2011-03-24 20:59:56

sitemap.xml,看文件名就知道他是网站地图的意思,但它是给搜索引擎看的网站索引地图,我们只能看到一排排的代码。

Sitemap的作用是方便管理员通知搜索引擎他们网站上有哪些可供抓取的网页。一般就是“sitemap.xml”这种形式,文件中列出网站中的网址以及关于每个网址的其他相关数据(例如文章更新时间和重要程度等等),方便搜索引擎可以更加智能地抓取网站页面。

大家都知道中国人搜索资料大多都是使用百度的,因此本文只介绍百度sitemap文件的写法

sitemap文件生成后格式示范如下:
<?xml version="1.0" ?>
- <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
- <url>
  <loc>https://www.huceo.com/</loc>
  <changefreq>daily</changefreq>
  <lastmod>2010-01-01</lastmod>
  <priority>1.0</priority>
  </url>
</urlset>
具体可参考本站:https://www.huceo.com/sitemap.xml,大家可以参照本站的百度网站地图就可以了。

编写好以后可以去《百度站长平台》提交文件验证。http://sitemap.baidu.com/(内测期间需邀请码)

关于每行代码的具体意思,大家可在网上查查就知道了。。

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 相当于网站和和搜索引擎之间的协议。。。。

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt文件,如果存在,搜索引擎就会按照该文件中的内容来确定访问的范围。如果该文件不存在,所有的搜索引擎将能够访问网站上所有没有被保护的页面。

robots.txt的编写时非常简单的,以下是robots.txt的通常应用方式

(例如本站):https://www.huceo.com/robots.txt

User-agent: *
Disallow: /CACHE/  表示禁止搜索引擎抓取CACHE目录下的内容
Disallow: /ADMIN/
Disallow: /SCRIPT/
Disallow: /function/
Disallow: /cmd.asp  表示禁止搜索引擎抓取该网页
Sitemap: https://www.huceo.com/sitemap.xml   网站地图文件
.........
以上两个应用对于网站优化来说虽然不是必要的,但有绝对比没好。。大家有时间的话,视情况花费一点时间在自己的站点添加以上两个应用。。。
 

本站所有文章均为天行博客原创,转载请注明来源及出处!

作者:宇天行 (关于我

本文首发地址:https://www.huceo.com/post/126.html

或许您还会喜欢这些文章:

Tags: 作者:宇天行 | 分类:网络运营 | 评论:36 | 浏览:9306