如何巧妙写robots文件,既禁止指定目录抓取又不让别人看到你的禁止目录

  • 时间:
  • 浏览:2
  • 来源:松果娱乐网 - 专注共享吾爱分享资讯
  1.  Home
  2. Text  

robots文件,另有一一两个 多说难没能,说易嘛,真要用到特殊情况汇报的事先可是我我容易,另有一一两个 多让SEO又爱又恨的东西。比较最近提交robots文件,既想要让蜘蛛抓取我的指定目录,又想要被别人通过robots文件看完我的目录。常见的robots文件无非也就随便allow,disallow一下,当然今天用的你这个 依据也是巧妙的disallow了一下。很多说,直接上栗子:

User-agent: *
Disallow: /*admi*
Disallow: /*dat*
Disallow: /*inclu*
Disallow: /*instal*
Disallow: /*logrepor*
Disallow: /plus
Disallow: /style
Disallow: /*templet*

这里巧妙的使用了号,Disallow: /admi,意思是蕴含“admi”的 目录或域名 后会 能被抓取,而admi*,可不可以够 是admin,admin123,admin444,admin_2baa ... 可不可以够 是无数的想要,好多好多 几乎能够 猜得出来,也就共要禁止别人看完你的目录了,从而起到安全作用。(robots文件参考:http://zhanzhang.baidu.com/college/courseinfo?id=267&page=12#h2_article_title28)


本文链接:https://www.mosq.cn/post-134.html

本博客所有文章除有点痛 声明外,均采用CC BY-NC-SA 4.0许可协议。转载请注明出处!

If you think my article is useful to you, please feel free to appreciate