<option id="oeug0"><wbr id="oeug0"></wbr></option>
<optgroup id="oeug0"><small id="oeug0"></small></optgroup>
<samp id="oeug0"></samp>
<code id="oeug0"></code>
?
我们的客户
2000年-今天

我们一直与时代同行,做有价值的互联网品牌传播者

08 18

robots.txt写法大全

发布者:深圳网站建设 来源:www.42358407.com时间: 2018-11-08 15:38

robots文件是每个网站必备的文件,但是很多小伙伴有时会比较懵,下面就让小编来教大家一下这个文件要如何写:

robots.txt写法大全:

1如果?#24066;?#25152;有搜索引擎访问网站的所有部分的话 我?#24378;?#20197;建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可。
robots.txt写法如下:
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
2如果我们禁止所有搜索引擎访问网站的所有部分的话
robots.txt写法如下:
User-agent: *
Disallow: /
3如果我们需要某一个搜索引擎的抓取的话,比如百度,禁止百?#20154;?#24341;我们的网站的话
robots.txt写法如下:
User-agent: Baiduspider
Disallow: /
4如果我们禁止Google索引我们的网站的话,其实跟示例3一样,就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
即可
robots.txt写法如下:
User-agent: Googlebot
Disallow: /
5如果我们禁止除Google外的一?#20852;?#32034;引擎索引我们的网站话
robots.txt写法如下:
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
6如果我们禁止除百度外的一?#20852;?#32034;引擎索引我们的网站的话
robots.txt写法如下:
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
7如果我们需要禁止蜘蛛访问某个目录,比如禁止admin、css、images等目录被索引的话
robots.txt写法如下:
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
8如果我们?#24066;?#34584;蛛访?#39280;?#20204;网站的某个目录中的某些特定网址的话
robots.txt写法如下:
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/
9我?#24378;?#26576;些网站的robots.txt里的Disallow或者Allow里会看很多的符号,比如问号星号什么的,如果使用“*”,主要是限?#21697;?#38382;某个后缀的域名,禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。
robots.txt写法如下:
User-agent: *
Disallow: /html/*.htm
10如果我们使用“$”的话是仅?#24066;?#35775;问某目录下某个后缀的文件
robots.txt写法如下:
User-agent: *
Allow: .asp$
Disallow: /

11如果我们禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,例如index.asp?id=1)
robots.txt写法如下:
User-agent: *
Disallow: /*?*
有些时候,我们为了节省服务器资源,需要禁止各类搜索引擎来索引我们网站上的?#35745;?#36825;里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外,还可以采取直接屏蔽?#35745;?#21518;缀名的方式。
示例12
如果我们禁止Google搜索引擎抓取我们网站上的所有?#35745;?如果你的网站使用其他后缀的?#35745;?#21517;称,在这里也可以直接添加)
robots.txt写法如下:
User-agent: Googlebot
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
13如果我们禁止百?#20154;?#32034;引擎抓取我们网站上的所有?#35745;?#30340;话
robots.txt写法如下:
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
14除了百度之外和Google之外,禁止其他搜索引擎抓取你网站的?#35745;?br /> (注意,在这里为了让各位看的更明白,因此使用一个比较笨的办法——对于单个搜索引擎单独定义。)
robots.txt写法如下:
User-agent: Baiduspider
Allow: .jpeg$
Allow: .gif$
Allow: .png$
Allow: .bmp$
User-agent: Googlebot
Allow: .jpeg$
Allow: .gif$
Allow: .png$
Allow: .bmp$
User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

15仅仅?#24066;?#30334;度抓取网站上的“JPG”格式文件
(其他搜索引擎的办法也和这个一样,只是修改一下搜索引擎的蜘蛛名称即可)
robots.txt写法如下:
User-agent: Baiduspider
Allow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
16仅仅禁止百度抓取网站上的“JPG”格式文件
robots.txt写法如下:
User-agent: Baiduspider
Disallow: .jpg$
17如果 ? 表示一个会话 ID,您可排除所有包含该 ID 的网址,确保 Googlebot 不会抓取重复的网页。但是,以 ? 结尾的网址可能是您要包含的网页版本。在此情况下,沃恩可将与 Allow 指令配合使用。
robots.txt写法如下:
User-agent:*
Allow:/*?$
Disallow:/*?
Disallow:/ *?
一行将拦截包含 ? 的网址(具体而言,它将拦截所有以您的域名开头、后接?#25105;?#23383;符串,然后是问号 (?),而后又是?#25105;?#23383;符串的网址)。Allow: /*?$ 一行将?#24066;?#21253;含任何以 ? 结尾的网址(具体而言,它将?#24066;?#21253;含所有以您的域名开头、后接?#25105;?#23383;符串,然后是问号 (?),问号之后没有任何字符的网址)。

18如果我们想禁止搜索引擎对一些目录或者某些URL访问的话,可以截取部分的名字
robots.txt写法如下:
User-agent:*
Disallow: /plus/feedback.php?

其实robots.txt并不难,但是一但写错后果会很严重,所以大家要引起重视。

  • 最新文章 LATEST ARTICLES
企业QQ咨询:642767003
服务咨询?#35748;擼?/span>

0755-824849660755-82484966

立刻在线咨询

建站案例

COMSTRUCTION CASE

  • 网站建设案例?#33322;?#24453;专家

  • 网站建设案例?#21495;?#29983;集团

  • 网站建设案例:超纯环保

  • 网站建设案例:多丽产业园

  • 网站建设案例:深圳市蓝凌软件股份有限公司

  • 网站建设案例:鸦片战争博物馆

  • 网站建设案例:港中旅(中国)投资有限公司

  • 网站建设案例:嘉里建设

  • 网站建设案例:小牛?#26102;?/p>

  • 网站建设案例:深圳市卫生监督局

  • 网站建设案例:深圳肿瘤医院

  • 网站建设案例:美的

  • 网站建设案例:中石化

  • 网站建设案例:招商局集团

  • 网站建设案例?#20309;?#23572;玛

  • 网站建设案例:人人乐集团

  • 网站建设案例:香港大学深圳医院

  • 网站建设案例:中广核

  • 网站建设案例:中国科学院

  • 网站建设案例:鑫根?#26102;?/p>

?

点击咨询

0755-82484966

联系我们

您好HELLO!
?#34892;?#24744;来到深圳网站设计公司,若您有合作意向,请您为我们留言或使用以下方式联系我们,
我们将尽快给你回复,并为您提供真诚的设?#21697;?#21153;,谢谢。

电话:0755-82484966??82481178

商务合作邮箱:[email protected]

合作QQ:642767003

深圳总公司地址:罗湖区北站路1号中贸大厦202-208室

在线提交需求

...您也可发需求信息至邮箱:[email protected]
陕西快乐十分玩法
<option id="oeug0"><wbr id="oeug0"></wbr></option>
<optgroup id="oeug0"><small id="oeug0"></small></optgroup>
<samp id="oeug0"></samp>
<code id="oeug0"></code>
<option id="oeug0"><wbr id="oeug0"></wbr></option>
<optgroup id="oeug0"><small id="oeug0"></small></optgroup>
<samp id="oeug0"></samp>
<code id="oeug0"></code>