仅当您的网站里面含有不期望被搜索引擎网站收录的内部实质意义时，才需求运用robots.txt文件。假如您期望搜索引擎网站收录网站上全部内部实质意义，请勿树立robots.txt文件。
查缉该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中开创一个robots.txt，在文件中声明 该网站中没想到被搜索引擎网站收录的局部还是指定搜索引擎网站只收录特别指定的局部。
例1.严禁全部搜索引擎网站过访网站的不论什么局部 下载该robots.txt文件User-agent:* Disallow:/
例2.准许全部的robot过访 (还是也可以建一个具文件"/robots.txt")User-agent:* Allow:/
例3.仅严禁Baiduspider过访您的网站User-agent:Baiduspider Disallow:/
例4.仅准许Baiduspider过访您的网站User-agent:Baiduspider Allow:/ User-agent:* Disallow:/
例5.仅准许Baiduspider以及Googlebot过访User-agent:Baiduspider Allow:/ User-agent:Googlebot Allow:/ User-agent:* Disallow:/ 例6.严禁spider过访特别指定目次 在这个例子中，该网站有三个目次对搜索引擎网站的过访做了限止，即robot不会过访这三个目次。需求注意的是对每一个目次务必分开声明，而不可以写成"Disallow:/cgi-bin//tmp/"。User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例7.准许过访特别指定目次中的局部urlUser-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例8.运用"*"限止过访url 严禁过访/cgi-bin/目次下的全部以".htm"为后缀的URL(里面含有细目录)。User-agent:* Disallow:/cgi-bin/*.htm
例9.运用"$"限止过访url 仅准许过访以".htm"为后缀的URL。User-agent:* Allow:/*.htm$ Disallow:/
例10.严禁过访网站中全部的动态页面User-agent:* Disallow:/*?*
例11.严禁Baiduspider抓取网站上全部图片 仅准许抓取网页，严禁抓取不论什么图片。User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$
例12.仅准许Baiduspider抓取网页和.gif款式图片 准许抓取网页和gif款式图片，不准许抓取其它款式图片User-agent:Baiduspider Allow:/*.gif$ Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.png$ Disallow:/*.bmp$
例13.仅严禁Baiduspider抓取.jpg款式图片User-agent:Baiduspider Disallow:/*.jpg$
robots常见用处
- 2025年8省份将不再分文理科 具体都有哪些省份？
0评论2025-02-21
小年到，迎新春：南北方小年为何相差一天?
1月22日，腊月二十三，北方迎来了传统的小年，而南方的小年则在腊月二十四。这一天标志着甲辰龙年即将别去，乙巳蛇年日渐临近，天南海北的人们都在高高兴兴地迎新春。小年的到来，意味着农历新年的脚步越来越近，人们开始忙碌起来，准备迎接新的一年。
0评论2025-01-2290
红到发黑的车厘子真的更有营养吗？《生命时报》邀请专家为你解读！
近日，车厘子因临近春节和价格“跳水”成为热门水果。其色泽艳丽、汁多肉厚、清甜爽口，深受消费者喜爱。然而，车厘子为什么会红到发黑？包装上的“J”又代表什么？《生命时报》邀请专家为你解读。
0评论2025-01-2299
站长基础交流之 网站关键词排名不上去的原因
1、网站方向定位问题。建设网站之前,首先要了解用户人群以及自己能够提供的服务,同时结合行业特点定制适合自己风格的网站类型;
0评论2017-12-20146