英语实在不好 发表于 2017-3-18 00:04:04

谷歌蜘蛛坑爹啊，抓取页面的时候直接导致网站崩溃

查询了下日志，104: Connection reset by peer，http请求超时，然后网站无法访问了。

是不是应该把它关进小黑屋去？

lkcvuuidh 发表于 2017-3-18 00:18:13

这都能崩溃？

njav 发表于 2017-3-18 00:19:46

我用2歐建站都因此被它弄死了數次
每個BOT IP 1000+ 爬得好厲害
之後轉去用vultr
static/image/smiley/default/lol.gif

dream7758521 发表于 2017-3-18 08:33:10


static/image/smiley/default/lol.gif
有办法利用搜索引擎的蜘蛛做放大cc的
页: [1]
查看完整版本: 谷歌蜘蛛坑爹啊，抓取页面的时候直接导致网站崩溃