eqblog 发表于 2018-2-4 14:20:43

【爬虫开源】91+1024+mm131爬虫

static/image/smiley/yct/006.gif
早上差点被吓死。。mjj。。

项目全部整理到了Github:
91视频解析:https://github.com/eqblog/91_**_video_url
91视频爬虫:https://github.com/eqblog/91_**_spider
1024图片爬虫:https://github.com/eqblog/1024_img_spider_threads
mm131图片爬虫:https://github.com/eqblog/mm131_spider_threading


注意:仅支持python3
注意:仅支持python3
注意:仅支持python3


python需要requests库
请使用pip安装
pip3 install requests


修改目录出现的错误,请自行看代码修改。。本人精力有限(没入股营养快线),精力不足啊
至于我是哪学的爬虫吗。。
python3基础是网上随便找的教程看的。
其实不需要基础也可以学爬虫的。。有其它语言入门水平即可
我是从网上下的免费教程
是崔庆才的,他博客有付费教程,当然你也可以像我一样从网上下载免费的
我只学到了正则。。第10课时左右。。

ecosway598 发表于 2018-2-4 14:22:50

大佬python2.7你放弃了么

oldj 发表于 2018-2-4 14:23:44

py3 才好,py2还需要自己转编码

倾城翻翻 发表于 2018-2-4 14:27:56

91 video spider
static/image/smiley/default/lol.gif

fl20002 发表于 2018-2-4 14:27:58

91视频的只爬了54G就自己退了难道91只有这么多 ?

不可能吧   退出也没提示

1024爬的吊炸天   2500个目录

eqblog 发表于 2018-2-4 14:29:24

本帖最后由 eqblog 于 2018-2-4 14:30 编辑

fl20002 发表于 2018-2-4 14:27

91视频的只爬了54G就自己退了难道91只有这么多 ?

不可能吧   退出也没提示


static/image/smiley/yct/006.gif
你应该是用windows吧? 建议你拿cmd用用python命令执行脚本
这样你会看到报什么错

对了。。默认只爬100页哦。。你把flag改下

while flag
ecosway598 发表于 2018-2-4 14:22

大佬python2.7你放弃了么

static/image/smiley/yct/011.gif
python2太麻烦了。。中文字符还得自己转。。还不如用python3。。方便点

nerlnsqy 发表于 2018-2-4 14:27:00


eqblog 发表于 2018-2-4 14:29

你应该是用windows吧? 建议你拿cmd用用python命令执行脚本
这样你会看到报什么错
用的window用Linux 好多502

100页54G 差不多

大佬还是入股营养快线吧

稳赚不赔
页: [1]
查看完整版本: 【爬虫开源】91+1024+mm131爬虫