论坛 › Web技术 › 限制单ip每分钟请求数，会不会影响搜索引擎收录

binghe 发表于 2018-5-20 19:22:01

限制单ip每分钟请求数，会不会影响搜索引擎收录

比如我设置了一个规则，单个ip每60秒访问数超过100次，就会封禁5分钟。那么搜索引擎在爬取的过程中，会不会因为触发规则而爬取失败？

administratorA 发表于 2018-5-20 19:26:45

什么搜索引擎60秒爬100次？

binghe 发表于 2018-5-20 19:33:58

"
我不是很懂搜索引擎，所以来问一下，只要不会出现这种情况就好。我之前一直很信任Cloudflare，直到昨天晚上我随手对签名站来了一发CC，结果真是一打就挂，看来免费版对CC没有半点防护能力，还是在服务器做防护靠谱。

qccj001 发表于 2018-5-20 19:26:00

小站可以这样做 大站的话现在很多地方都是共用出口 会误封
搜索引擎不是同一IP爬站，是N个IP爬 一般不会影响蜘蛛

小夜 发表于 2018-5-20 19:55:06

蜘蛛一般不会影响，以百度为例，都是整个段来爬的。每个IP，要好久才能轮一次。

yugan300 发表于 2018-5-20 19:58:25

不用吊搜索。淘宝就不叼搜索

hundouluo 发表于 2018-5-20 20:04:44

"
那是你策略不对，CF可不背这个锅！

yangen 发表于 2018-5-20 20:40:00

搜索引擎正常是没事，不会一个ip一直爬，都是非常多ip分布式的爬取

查看完整版本: 限制单ip每分钟请求数，会不会影响搜索引擎收录