阅读478 返回首页    go 其它帮助


robots.txt文件URL匹配举例


Allow或Disallow的值 URL 匹配结果
/tmp /tmp yes
/tmp /tmp.html yes
/tmp /tmp/a.html yes
/tmp/ /tmp no
/tmp/ /tmphoho no
/tmp/ /tmp/a.html yes
/Hello* /Hello.html yes
/He*lo /Hello,lolo yes
/Heap*lo /Hello,lolo no
html$ /tmpa.html yes
/a.html$ /a.html yes
htm$ /a.html no

最后更新:2011-05-25 21:05:24

  上一篇:go robots.txt文件用法举例
  下一篇:go robots.txt文件支持什么格式?