
好久没有发帖子了,写一个爬虫送给福娃吧。关于2的10次方是多少来着?心算好的福娃自己算吧。
需要Python环境。100页爬下来大概是8个多G吧……可以慢慢欣赏了。
本来打算贴代码的,但是好像缩进不能对齐。我上传到全球最大基佬交友社区上面了。。
地址:https://github.com/thompson1966/spider/tree/master/1024
2楼:挺多的,先谢谢楼主分享,再看看资源怎么样
3楼:值得借鉴!
4楼:谢谢分享
5楼:感谢楼主分享!
6楼:这东西怎么使用的啊,进去了一脸懵逼,出来还是
7楼:为了不让你们看出来我是懵逼的,我也吆喝个好。
感谢楼主分享!
楼主很厉害
8楼:老了!不懂! .
9楼:呃…虽然知道需要工具,但老了不想折腾了
10楼:我之前也写过爬数字社区的爬虫,用正则。后来感觉只看图片没有什么意思了,还是喜欢看小黄文。
11楼:求技术宅知道怎么上车
12楼:多线程不如多进程。。
13楼:应该是用python爬图片吧,可惜没研究过
14楼:为啥好多网站都提示 此网站无法提供安全连接
hh.flexui.win 使用了不受支持的协议。
15楼:老了,现在很少看图。
16楼:返回来的一直是错误,不知道那里错了
17楼:没弄daili库吧,这网站有反爬虫机制的,短时间内下载大量图片会大概率封IP,要不就下一张图间隔一段时间,再下下一张
18楼:大哥,不如你爬出来放在盘里吧。这个不能断点下载有点麻烦
19楼:我去,https://hh.flexui.win,1024
20楼:高手就是多啊
21楼:老哥一直except错误什么原因呢
22楼:本帖最后由 tanry 于 20181213 14:59 编辑
成功了 不过中途会经常报 远程主机强迫关闭了一个现有的连接错误 可能某些帖子会缺图
23楼:kylin 发表于 20181213 10:00
老哥一直except错误什么原因呢
你看看地址你是否需要daili
24楼:tanry 发表于 20181213 14:40
成功了 不过中途会经常报 远程主机强迫关闭了一个现有的连接错误 可能某些帖子会缺图
老的帖子会出现缺图
25楼:Kanye 发表于 20181212 09:14
求技术宅知道怎么上车
Python3.5
26楼:谢谢楼主分享谢谢楼主分享
27楼:没装soup模块可以吗?
28楼:Jayson 发表于 20181213 16:20
你看看地址你是否需要daili
好使了老哥,我手动过了一次验证就好了,可真麻烦哈哈哈,下载下来验证码再post上去
29楼:真棒,真的特别好,好久没出现过这么牛逼的帖子了,这么长时间了,这是唯一一个一点都看不懂的,
