目前网站的robots协议变成了这个，这个到底是允许还是不允许啊？
|
|
User-agent: GoogleBotDisallow: *
User-agent: googleBotDisallow: *
User-agent: BaiduspiderDisallow: *
User-agent: baiduspiderDisallow:
我问了周围的人，有人说是允许，有人说是不允许，求大神们赐教！
|
|
|
|
|
|
发表于 2024-3-16 21:56:29
举报
回复
分享
|
|
|
|
|
|
|
1、当前规则语法错误、大小写问题、不必要的重复；
2、你的规则是允许抓取，还是不允许抓取，首先要明白这个；
3、整站禁止（谷歌和百度的抓取）
User-agent: Googlebot
Disallow: /
User-agent: Baiduspider
Disallow: /
4、正常Robots里使用的都是禁止每个栏目被抓取，不禁止的，就是默认允许。 |
|
|
|
|
|
发表于 2024-3-16 21:56:48
举报
回复
|
|
|
|
|
