robots.txt文件应该如何使用?


    robots.txt是网站与浏览器之间不成文的协议,虽然没有明文去规定,但双方都会遵守这个协议。通过robots.txt文件我们可以限制搜索引擎蜘蛛的抓取轨迹,对seo来说有着比较重要的意义,然后还是有很    多人并未引起重视,而且很多人也不会使用,下面我们一起来介绍一下吧。

   robots.txt文件的使用

    每个网站在每个阶段都有一个体量(内容量级,流量等),这是搜索引擎对这个网站的认知,根据这个体量,搜索引擎每天会派出一定数量的蜘蛛对网站进行爬行,所以每个网站的蜘蛛数量,在每个阶段都是有限的。

robots.txt文件应该如何使用?

    假设我们不想网站被搜索引擎收录,我们可以将所有搜索引擎进行屏蔽。可以这样写:

    User-agent:*

    Disallow:/

    如果我们不想百度搜索引擎蜘蛛访问,我们可以这样写,如不允许百度蜘蛛访问:

    User-agent:baiduspider

    Disallow:/

    如果不想蜘蛛访问网站的某些文件我们可以这样写,如下:

    不允许访问图片

    User-agent:*

    Disallow:*.jpg$

    不允许访问css文件

    User-agent:*

    Disallow:*.css$

    不允许访问123目录

    User-agent:*

    Disallow:/123/

    不允许访问123形式的文件(包括目录)

    User-agent:*

    Disallow:/123

    让蜘蛛抓取网站地图

    User-agent:*

    Disallow:http://www.xxx.com/sitemap.xml

    robots.txt文件我们写好后,将robots.txt文件放入网站的根目录,通常搜索引擎蜘蛛会第一时间先抓取这个文件,根据文件的说明,再去抓取其它内容。

Copyright © 2020 - 2021.【一起链】 版权所有