合理利用robots.txt来优化SEO

首先，我来介绍一下什么是robots.txt： robots.txt是搜索引擎中访问网站的时候要查 看的首要文件，Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看什么东西不能被查看。当一个搜索蜘蛛访问一个网站的时候，首先检查该站点根目录下是 否存在robots.txt，如果存在，他就会按照robots.txt的规则进行操作;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有 被口令保护的页面（很可能会让你泄密）。 最后，robots.txt必须放置在一个站点的根目录下。 写法方面各位可以参考各大网站的 http://url/robots.txt url改成你要的网站 （里面或许能看到某些不可告人的秘密捏！） 那么说了那么多robots.txt到底可以做什么捏? 1、用robots.txt屏蔽不想被抓取的页面。 2、用robots.txt来屏蔽死链 3、告诉搜索引擎你的站点地图在哪里(sitemap) 这个很重要 以上就是robots.txt的基本用法，一个好的网站必定会有一个好的robots.txt，因为robots.txt是可以优化SEO。 另外还有什么不懂的 可以参考下我的robots.txt 位置是 http://xloli.net/robots.txt 里面的一些备注信息希望不要改掉哟-0- 最后附上一句，还没去Google网站管理员工具的提交的朋友速度去提交咯，这个关系你的收录！ 另外Zmsky好期待百度的…