icefog 发表于 2017-9-27 11:32:04

一个网站可以正常访问但是不能用火车头采集

用浏览器打开可以正常打开，但是一用火车头采集就提示DNS错误
采集内容也为空
谁碰到过这种防采集的吗

hdwz 发表于 2017-9-27 11:32:33


static/image/smiley/default/lol.gif
static/image/smiley/default/lol.gif
见过。所以不采了

大腿 发表于 2017-9-27 11:33:24

很多 可以用 referer cookie ua ip 综合试一下

cdwyd 发表于 2017-9-27 12:07:24

这种全是简单的了

倾城翻翻 发表于 2017-9-27 12:11:37

改UA导入cookie 上代理 IP

suwubee 发表于 2017-9-27 12:12:03

改下所有火车头采集器里的浏览器参数

icefog 发表于 2017-9-27 13:05:10


大腿 发表于 2017-9-27 11:33

很多 可以用 referer cookie ua ip 综合试一下
请问有什么教程吗？

icefog 发表于 2017-9-27 11:33:00


suwubee 发表于 2017-9-27 12:12

改下所有火车头采集器里的浏览器参数
cookie和user-agent吗？改成什么比较好？

free9901 发表于 2017-9-27 15:22:32

网址给出来，我帮你采

suwubee 发表于 2017-9-27 12:12:00


icefog 发表于 2017-9-27 15:22

cookie和user-agent吗？改成什么比较好？
用你浏览器正常访问的参数，你可以打开浏览器看下开发者工具
页: [1]
查看完整版本: 一个网站可以正常访问但是不能用火车头采集