该广告由百度联盟提供,不代表本站立场。

如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可。

robots.txt写法如下:

User-agent: *
Disallow:

或者

User-agent: *
Allow: /

如果我们禁止所有搜索引擎访问网站的所有部分的话

robots.txt写法如下:

User-agent: *
Disallow: /

如果我们需要某一个搜索引擎的抓取的话,比如百度,禁止百度索引我们的网站的话

robots.txt写法如下:

User-agent: Baiduspider
Disallow: /

如果我们禁止Google索引我们的网站的话,其实跟示例3一样,就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot即可

robots.txt写法如下:

User-agent: Googlebot
Disallow: /

如果我们禁止除Google外的一切搜索引擎索引我们的网站话

robots.txt写法如下:

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

如果我们禁止除百度外的一切搜索引擎索引我们的网站的话

robots.txt写法如下:

User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /

如果我们需要禁止蜘蛛访问某个目录,比如禁止admin、css、images等目录被索引的话

robots.txt写法如下:

User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/

如果我们允许蜘蛛访问我们网站的某个目录中的某些特定网址的话

robots.txt写法如下:

User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/

我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号,比如问号星号什么的,如果使用“*”,主要是限制访问某个后缀的域名,禁止访问/html/目录下的所有以”.html”为后缀的URL(包含子目录)。

robots.txt写法如下:

User-agent: *
Disallow: /html/*.html

如果我们使用“$”的话是仅允许访问某目录下某个后缀的文件



robots.txt写法如下:

User-agent: *
Allow: .asp$
Disallow: /

如果我们禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,例如index.asp?id=1)

robots.txt写法如下:

User-agent: *
Disallow: /*?*

有些时候,我们为了节省服务器资源,需要禁止各类搜索引擎来索引我们网站上的图片,这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外,还可以采取直接屏蔽图片后缀名的方式。

如果我们禁止Google搜索引擎抓取我们网站上的所有图片(如果你的网站使用其他后缀的图片名称,在这里也可以直接添加)

robots.txt写法如下:

User-agent: Googlebot
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

如果我们禁止百度搜索引擎抓取我们网站上的所有图片的话

robots.txt写法如下:

User-agent: Baidus
pider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

除了百度之外和Google之外,禁止其他搜索引擎抓取你网站的图片

注意,在这里为了让各位看的更明白,因此使用一个比较笨的办法——对于单个搜索引擎单独定义。

robots.txt写法如下:

User-agent: Baiduspider
Allow: .jpeg$
Allow: .gif$
Allow: .png$
Allow: .bmp$
User-agent: Googlebot
Allow: .jpeg$
Allow: .gif$
Allow: .png$
Allow: .bmp$
User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

仅仅允许百度抓取网站上的“JPG”格式文件

其他搜索引擎的办法也和这个一样,只是修改一下搜索引擎的蜘蛛名称即可。

robots.txt写法如下:

User-agent: Baiduspider
Allow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

仅仅禁止百度抓取网站上的“JPG”格式文件

robots.txt写法如下:

User-agent: Baiduspider
Disallow: .jpg$

如果 ? 表示一个会话 ID,您可排除所有包含该 ID 的网址,确保 Googlebot 不会抓取重复的网页。但是,以 ? 结尾的网址可能是您要包含的网页版本。在此情况下,可与 Allow 指令配合使用。

robots.txt写法如下:

User-agent:*
Allow:/*?$
Disallow:/*?
Disallow:/ *?

一行将拦截包含 ? 的网址(具体而言,它将拦截所有以您的域名开头、后接任意字符串,然后是问号 (?),而后又是任意字符串的网址)。Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址(具体而言,它将允许包含所有以您的域名开头、后接任意字符串,然后是问号 (?),问号之后没有任何字符的网址)。

如果我们想禁止搜索引擎对一些目录或者某些URL访问的话,可以截取部分的名字

robots.txt写法如下:

User-agent:*
Disallow: /plus/feedback.php?
该广告由百度联盟提供,不代表本站立场。
64位Linux系统 API数据分析 Android应用市场 Android开发 Android电视盒子 Android签名证书生成 Apk上架应用商店 Aplayer报错解决方案 Aplayer播放器 App Store CDN DSDT Django Excel FM发射器 Git GitHub GitHub page Github Git用户名邮箱修改 Google Analytics Google Play Google/Baidu search Google插件 H5与CSS3 HBuilder HBuilder打包APP HBuilder打包ipa Hexo Hexo-neat插件 Homebrew Cask JavaScript学习笔记 Linux常见命令 MySQL数据库 Python Python爬虫 SEO优化 Videoscribe Vue Vue电商 Windows10 api接口搭建 console css特效 git clone 速度过慢 hexo hexo-admin插件 hexo-sakura主题 hexo-tag-aplayer插件 hexo主题 hexo博客美化 homebrew iOS iOS开发 js用法、范例 koolshare live2d看板动画 node.js npm 安装踩过的坑 oc引导 openwrt软路由系统 python qlv视频下载 robots.txt valine评论 win10 wx-server-sdk 个人主页 个人开发者 中国移动魔百盒 中文免费版 中文破解版 云函数 优化访问速度 傻瓜EXE 全球加速 博客 又拍云 反编译 和风天气 国内CODing托管 图床 域名加速 学习笔记 宝塔 实践项目 小技巧 小程序开发 开源小游戏 微信公众号 微信小程序 微信小程序开发 微擎 必应每日一图 抖音小程序 教程 数据可视化 本地打包iOS包 机械革命 树莓派 树莓派4b 爱奇艺下载器 电池补丁 百度云cdn 百度地图api 百度搜索 百度收录 百度权重 百度统计 突发奇想 站点地图 笔记 腾讯广告 腾讯视频 腾讯视频下载 自制小玩意儿 访问者地图 谷歌Adsense 软路由 静态数据库 面试题 黑苹果

等待也是约会的一部分嘛