[已解决]求教采集过程中链接抓取的方法

frogjy

本帖最后由 frogjy 于 2018-5-9 16:19 编辑

先在有链接列表页格式如:list1234(*).htm
里面的链接格式如：goods1345452.html
我想获取的goods链接大概2000个左右，有没有什么办法能一次提取出来？
目前用wp的autopost来提取，但是一次只能分析一个list页面，得到40来个goods链接，太慢了。

求一个小白能看懂的最简单的方法


用火车头解决了，感谢

钱多多

直接上链接，不然看不懂

helwo

火车采集适合你。搜下7.6版本。好像就可以了

gakki

直接连他数据库想怎么查就怎么查。

全球资源提供商

php curl 异步模式了解下?

先生成 url 链接数组 比如
url/1.html
url/2.html
url/n.html

然后异步模式 把这些内容全部抓取回来
返回的是数组 每个数组值 就是网页内容
然后 implode() 把所有内容合并为一个

在match里面的链接
就可以提取了

这个模式取决于对方的并发
如果对方并发小 需要range生成 追加到数组里 比如url有2000个 每次采100个处理一次 然后追加

PHP是最好的语言 手动滑稽....

hundouluo

玩点骚的 xpath, css Selector,  re,  dom tree

frogjy

hundouluo 发表于 2018-5-9 14:51

玩点骚的 xpath, css Selector,  re,  dom tree
大佬，完全看不懂，我连小白都算不上

frogjy

全球资源提供商 发表于 2018-5-9 14:47

php curl 异步模式了解下?

先生成 url 链接数组 比如
小白都算不上的人一脸懵逼，不过还是谢谢大佬的耐心解答，我先试试3楼的火车头看看能不能解决

frogjy

helwo 发表于 2018-5-9 14:05

火车采集适合你。搜下7.6版本。好像就可以了
很久以前用过，还以为也是只能单页获取链接，我再去看看，谢谢