python3一个简单爬虫程序。。目标站是mm131

eqblog

程序只会爬一个分类 具体原因是懒的再写获取分类了
新手上路，代码很糙，大神勿喷
效果图：

用了requests库，而且是用python3写的
所以 提前安装requests
pip install requests
代码如下：
直链下载：https://eqblog.com/script/base_spider.py
论坛附件： base_spider.zip (965 Bytes, 下载次数: 458)

2018-2-1 01:04 上传

点击文件名下载附件

1. import requests
   
2. import re
   
3. import os
   
4. def download_pic(b,dir):
   
5.     headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36Name','Referer':'http://www.mm131.com'}
   
6.     a=1
   
7.     while True:
   
8.         url='http://img1.mm131.me/pic/'+str(b)+'/'+str(a)+'.jpg'
   
9.         req=requests.get(url=url,headers=headers)
   
10.         if req.status_code==200:
    
11.             with open(str(dir)+'/'+str(a)+'.jpg','wb') as f:
    
12.                 f.write(req.content)
    
13.                 a=a+1
    
14.         else:
    
15.             break
    
16. flag=1
    
17. while True:
    
18.     if flag==1:
    
19.         get=requests.get('http://www.mm131.com/xinggan/')
    
20.         b=re.findall(r'<dd><a target="_blank" href="http://www.mm131.com/xinggan/([0-9]*).html"><img src=',get.text)
    
21.         for a in b:
    
22.             getpage=requests.get('http://www.mm131.com/xinggan/'+str(a)+'.html')
    
23.             tittle=re.findall(r'<h5>(.*)</h5>',str(getpage.content,'gb2312',errors='ignore'))
    
24.             for t in tittle:
    
25.                 if os.path.exists(t)==False:
    
26.                     os.makedirs(t)
    
27.                     print('开始下载：'+t)
    
28.                     download_pic(a,t)
    
29.                     print('下载完成')
    
30.                 else:
    
31.                     print('文件夹已存在，跳过')
    
32.         flag=flag+1
    
33.         print('这一页的任务已经完成了')
    
34.     else:
    
35.         get=requests.get('http://www.mm131.com/xinggan/list_6_'+str(flag)+'.html')
    
36.         if get.status_code==200:
    
37.             b=re.findall(r'<dd><a target="_blank" href="http://www.mm131.com/xinggan/([0-9]*).html"><img src=',get.text)
    
38.             for a in b:
    
39.                 getpage=requests.get('http://www.mm131.com/xinggan/'+str(a)+'.html')
    
40.                 tittle=re.findall(r'<h5>(.*)</h5>',str(getpage.content,'gb2312',errors='ignore'))
    
41.                 for t in tittle:
    
42.                     if os.path.exists(t)==False:
    
43.                         os.makedirs(t)
    
44.                         print('开始下载：'+t)
    
45.                         download_pic(a,t)
    
46.                         print('下载完成')
    
47.                     else:
    
48.                         print('文件夹已存在，跳过')
    
49.             flag=flag+1
    
50.             print('这一页的任务已经完成了')
    
51.         else:
    
52.             break

复制代码

redalfa

支持 爬虫 程序员的第一步...

bbqbbqtt

火车头一开。。呜呜叫

eqblog

ecosway598 发表于 2018-2-1 02:21
爬图片有啥用啊。。？

爬点图片 自己看呗。。。

cnly1987

支持！

yjsx86

大佬666的

秋风下的落叶

营养快跟不上了。

左手写爱

楼主把爬好的图片百度网盘分享下吧

飝闛

支持，支持~