爬个数据就挂掉一个网站

三一土白 · 发表于 2018-1-14 00:17:04

我一直使用python的requests爬取数据,有个网站的数据单线程,5分钟可以爬完.

刚才用了nodejs的request库, 从启动任务到结束10秒钟结束,以为自己眼瞎, 但是数据确实下载成功了.
然后那个网站离线了.

从来不知道nodejs这么牛叉.

三一土白 · 发表于 2018-1-14 09:55:48

数据都入库了，没报错，10秒钟，42万行数据。

nodejs的异步第一次领略，确实很牛逼。

jhsyue · 发表于 2018-1-15 11:28:27

python写得慢是你技术有问题。。

https://luodaoyi.com/p/python-yi-bu-duo-xian-cheng-chao-gao-xing-neng-pa.html

cszlxl · 发表于 2018-1-14 08:12:49

应该不会是完全都爬完了吧。。。

yjsx86 · 发表于 2018-1-14 04:54:13

不会那么巧等你把数据爬完了再挂吧?
看看你的数据完整不?

jarvan · 发表于 2018-1-14 00:18:51

不太懂爬虫，能科普下吗，主要爬去什么数据?

显示全部楼层 · 发表于 2018-1-14 00:19:17

提示: 作者被禁止或删除内容自动屏蔽

风铃 · 发表于 2018-1-14 00:20:02

这说明
python垃圾, js牛逼

三一土白 · 发表于 2018-1-14 00:20:15

jarvan 发表于 2018-1-14 00:18
不太懂爬虫，能科普下吗，主要爬去什么数据?

彩票历史开奖数据,

用途:反正不是买彩票

jarvan · 发表于 2018-1-14 00:26:09

wfion 发表于 2018-1-14 00:19
大姐姐

那东西有毛用

黑街天祖 · 发表于 2018-1-14 00:27:29

提示: 作者被禁止或删除内容自动屏蔽

video4sex · 发表于 2018-1-14 00:29:11

然而你把人家搞挂了，速度快得不道德

J3n5en · 发表于 2018-1-14 00:31:11

估计是因为nodejs是异步，然后你没控制好并发，，，，，，，一下子几百个几千个请求过去，，，

kyotrue · 发表于 2018-1-14 00:37:26

其实楼主可以把这个改成网站并发量测试工具。。。

		自动登录	找回密码
密码			注册

wfion 该用户已被删除	发表于 2018-1-14 00:19:17 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
wfion 该用户已被删除
	回复支持反对举报

黑街天祖黑街天祖当前离线积分 6192	发表于 2018-1-14 00:27:29 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
黑街天祖黑街天祖当前离线积分 6192
	回复支持反对举报