小盘鸡挂载onedrive爬javhd和91

sm1314 · 发表于 2018-3-14 17:36:56

@eqblog大神的脚本大盘鸡用起来美滋滋，但是广大mjj都是几十G的小盘鸡，怎么办呢？简单，使用rcloned挂载5T版的onedrive即可。

挂载之后你会发现在onedrive挂载盘直接运行spider.py是不行滴，会报错，估计创建文件和rcloned的同步线程冲突了。

解决办法是修改带码，使用本地磁盘做缓存。。。缓存之后把文件路径添加到队列里，多线程mv到OneDrive即可，这样做的好处一是可以破OneDrive的限速（10线程200Mbps左右上传），而是不需要大盘鸡，稍好一点的小时计费vps即可。当然同时你还要处理因为centos中出现的mv用多了内存不会回收的问题，py进程cpu/内存占用率过高导致的被系统oom killed问题。。解决之后就可以美滋滋地下载了

又机智地水了一帖

木易酱 · 发表于 2018-3-14 17:38:22

你以为你这样说我就会了？哼~凡人

qccj001 · 发表于 2018-3-14 17:52:08

说的好但是并没有5Tod用

左手写爱 · 发表于 2018-3-14 17:55:14

干货贴楼主太低调了

savior · 发表于 2018-3-14 17:55:42

是不是运行spider的人太多了，为什么我的一直报错，大佬账号哪里搞的

sm1314 · 发表于 2018-3-14 18:00:11

savior 发表于 2018-3-14 17:55
是不是运行spider的人太多了，为什么我的一直报错，大佬账号哪里搞的

报错是因为你用的账号已经过期了。。。

半潜军长 · 发表于 2018-3-14 18:31:27

大佬博客写个图文教程可以不我等凡人完全不会啊

ogrish · 发表于 2018-3-14 18:47:00

提示: 作者被禁止或删除内容自动屏蔽

savior · 发表于 2018-3-14 21:15:30

sm1314 发表于 2018-3-14 18:00
报错是因为你用的账号已经过期了。。。

那大佬能给个试用账号获取的路子吗T_T

sm1314 · 发表于 2018-3-14 21:16:51

savior 发表于 2018-3-14 21:15
那大佬能给个试用账号获取的路子吗T_T

我买的账号，不过不带那个登录字符串，只有用户名密码，eqblob大佬的脚本需要改成post方式登录。。。

		自动登录	找回密码
密码			注册

ogrish ogrish 当前离线积分 8602	发表于 2018-3-14 18:47:00 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
ogrish ogrish 当前离线积分 8602
	回复支持反对举报

[疑问] 小盘鸡挂载onedrive爬javhd和91