robots.txt 是存放在网站根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。搜索引擎蜘蛛在抓取网站页面前,会先看一下robots.txt的内容,哪些页面可以抓取,哪些页面被站长禁止抓取。当然,是否遵守robots文件的规则就靠自觉了,某些坏蜘蛛就不遵守,站长是没办法的,比如采集内容的、克隆网站的。
robots文件还可以屏蔽网站内的死链接。屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。阻止搜索引擎索引网站隐私性的内容等。
因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。
ZBlogPHP博客的robots.txt文件的写法
User-agent: * Disallow: /zb_system/ Disallow: search.php Disallow: /zb_users/data/ Disallow: /zb_users/language/ Disallow: /zb_users/logs/ Sitemap:https://www.lihaiblog.cn/sitemap.xml
注意:sitemap.xml 为网站的地图文件,可以在ZBlog应用中心搜索相关的插件。
robots.txt文件的安装与效验
robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的,否则是没有什么作用的。
安装方法:
1、本地新建‘文本文档’并命名为 "robots.txt"把上面的内容复制,保存即可。
2、把"robots.txt"文件上传到服务器的网站根目录即可。
rotots.txt文件效验:
可以通过百度搜索资源平台进行效验。
还没有评论,来说两句吧...