本帖最后由 wshdliu 于 2019523 14:55 编辑
看到刚才有人发爬虫，原链接，这里我也发个修改的，自己爬了大概70G太大了也有部分重复所以暂时没时间上传，把python源码发出来，好孩子看这里。
2楼：擦眼，等待分享
3楼：可以用 phash算法 做图片重复判断
4楼：什么网站都可以吗？
5楼：不知道如何使用，求教
6楼：有没有老司机下好分享下，跪谢
7楼：我是来看代码的，哈哈
8楼：我就看看 我不用
9楼：求大神指导，如何运行代码
10楼：楼主用的SCRAYP框架吗
11楼：heagle 发表于 2019521 07:01
楼主用的SCRAYP框架吗
是的 这个不是我写的，稍微改了下拿来用
12楼：这个就很技术了
13楼：技术引领福利创新思维
14楼：框架已经安装了，但，是还是提示报错！
15楼：from OpenSSL import crypto
ImportError: DLL load failed: %1 不是有效的 Win32 应用程序。
16楼：halrj 发表于 2019521 15:06
from OpenSSL import crypto
ImportError: DLL load failed: %1 不是有效的 Win32 应用程序。
用的python3 你pyopenssl 模块有问题吧
17楼：wshdliu 发表于 2019521 15:26
用的python3 你pyopenssl 模块有问题吧
安装了几遍还是不行，郁闷！
18楼：过期了 ！个锤子！ 紫薯布丁！
19楼：文件过期了 麻烦补一下 谢谢
20楼：洛克 发表于 2019523 14:38
文件过期了 麻烦补一下 谢谢
https://ct.work/s/d5218346b96949
21楼：slimei 发表于 2019523 14:27
过期了 ！个锤子！ 紫薯布丁！
https://ct.work/s/d5218346b96949
22楼：这个怎么用？
23楼：滄老师 发表于 2019523 17:49
这个怎么用？
安装py3.7后 现在python很好安装的然后安装scrapy、beautiful、soup4、fake_useragent
24楼：有教程吗？小白啥都不懂！
25楼：太高端，不会用
26楼：wshdliu 发表于 2019523 18:13
安装py3.7后 现在python很好安装的然后安装scrapy、beautiful、soup4、fake_useragent
好的，原来还有几个擦件，刚接触，不懂
27楼：wshdliu 发表于 2019523 18:13
安装py3.7后 现在python很好安装的然后安装scrapy、beautiful、soup4、fake_useragent
现在已经安装好了，但有不知道下一步怎么做了！
28楼：我爬完才50多g
29楼：洛克 发表于 2019524 11:15
我爬完才50多g
运行提示错误
30楼：我测试了一下 每个文件夹就12张图片 是我的问题还是漏图严重的
