三一土白 发表于 2018-1-14 00:17:04

爬个数据就挂掉一个网站

我一直使用python的requests爬取数据,有个网站的数据单线程,5分钟可以爬完.

刚才用了nodejs的request库, 从启动任务到结束10秒钟结束,以为自己眼瞎, 但是数据确实下载成功了.
然后那个网站离线了.
static/image/smiley/default/shocked.gif


从来不知道nodejs这么牛叉.

三一土白 发表于 2018-1-14 09:55:48

数据都入库了，没报错，10秒钟，42万行数据。

nodejs的异步第一次领略，确实很牛逼。
static/image/smiley/default/lol.gif

jhsyue 发表于 2018-1-15 11:28:27

python写得慢 是你技术有问题。。


https://luodaoyi.com/p/python-yi-bu-duo-xian-cheng-chao-gao-xing-neng-pa.html

cszlxl 发表于 2018-1-16 09:10:00

应该不会是完全都爬完了吧。。。

yjsx86 发表于 2018-1-14 08:12:49

不会那么巧 等你把数据爬完了再挂吧?
看看你的数据完整不?

foboy 发表于 2018-1-14 04:54:13

我的想法是：你10秒并没有爬完。因为它网站不会等你爬完了才挂。

jarvan 发表于 2018-1-14 00:37:48

不太懂爬虫，能科普下吗，主要爬去什么数据?

wfion 发表于 2018-1-14 00:18:51

"
大姐姐

风铃 发表于 2018-1-14 00:19:17

这说明
python垃圾, js牛逼
static/image/smiley/default/lol.gif

三一土白 发表于 2018-1-14 00:18:00


jarvan 发表于 2018-1-14 00:18

不太懂爬虫，能科普下吗，主要爬去什么数据?
彩票历史开奖数据,

用途:反正不是买彩票
页: [1] 2
查看完整版本: 爬个数据就挂掉一个网站