合理利用robots.txt来优化SEO

首先,我来介绍一下什么是robots.txt: robots.txt是搜索引擎中访问网站的时候要查 看的首要文件,Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看什么东西不能被查看。当一个搜索蜘蛛访问一个网站的时候,首先检查该站点根目录下是 否存在robots.txt,如果存在,他就会按照robots.txt的规则进行操作;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有 被口令保护的页面(很可能会让你泄密)。 最后,robots.txt必须放置在一个站点的根目录下。 继续阅读合理利用robots.txt来优化SEO