爬虫程序改进，python爬虫，爬取图片网站的美女壁纸

爬虫程序改进，python爬虫，爬取图片网站的美女壁纸

目录
一。爬虫报错
二。加上路径判断语句，方便多次执行
三。源代码，
四。修改后的代码

一。爬虫程序报错：偶然看到天极网ivsky的爬虫，拿出来试了一下，网上搜索学习pycharm 列编辑 （Alt+Shift+insert)，改了下缩进，就pass了。
否则总是报错 如，IndentationError: unindent does not match any outer indentation level

二。加上路径判断语句，方便多次执行。
if not ists(’./壁纸’): # 壁纸 to bizi
os.makedirs (’./壁纸’) # os库建立文件夹
注意，由于我修改后的代码默认加上了中文支持，所以这个目录建立才可行。为了防止相对引用’./壁纸’和绝对引用 切换时（如 r’D:壁纸‘）出错，使用了makedirs, 不用mkdir.
中文支持 3句话：
import sys

reload(sys)
sys.setdefaultencoding(“utf-8”)

三。源代码，
原文链接

import requests
from bs4 import BeautifulSoup
import os
a=[]
def get_img():for i in range(32):#因为我这图一共有31个图片，所以要循环31次pice=914994#这是url变化的那部分，每次加一，所以可以把他设置成一个数，然后再组装到url中。url=''+str(pice+i)+'.html'r&#(ding=r.apparent_encodingsoup=,'html.parser')#这是requests库和BeatifulSoup库的基本用法，不懂可以百度搜一下div=soup.find_all('img',id='imgis')for each in div:a.append(each['src'])return adef main():os.mkdir ('壁纸')#os库建立文件夹os.chdir ('壁纸')a=get_img()for i in a:f=i.split('/')[-1]#分割字符串作为图片的名字with open(f,'wb')as f:r&#('https:'+i)#这里访问图片具体地址要加上https:头，不然列表为空。f.t)#写入图片，二进制写入main()

四。修改后的代码

#!/usr/bin/env python
#-*- coding:utf-8 -*-
# author:StevenC
# datetime:2021/5/5 0:27
# software: PyCharm , Python2.7.14
import sysreload(sys)
sys.setdefaultencoding("utf-8")
import requests
from bs4 import BeautifulSoup
import os
a=[]
def get_img():for i in range(32):#因为我这图一共有31个图片，所以要循环31次pice=914994#这是url变化的那部分，每次加一，所以可以把他设置成一个数，然后再组装到url中。url=''+str(pice+i)+'.html'r&#(ding=r.apparent_encodingsoup=,'html.parser')#这是requests库和BeatifulSoup库的基本用法，不懂可以百度搜一下div=soup.find_all('img',id='imgis')for each in div:a.append(each['src'])return a
def main():if not ists('./壁纸'):       # 壁纸 to bizios.makedirs ('./壁纸')   # os库建立文件夹os.chdir ('./壁纸')#os.mkdir ('壁纸')    #   os库建立文件夹#os.chdir ('壁纸')a=get_img()for i in a:f=i.split('/')[-1]  #   分割字符串作为图片的名字with open(f,'wb')as f:r&#('https:'+i)  #   这里访问图片具体地址要加上https:头，不然列表为空。f.t)  #   写入图片，二进制写入
main()
""""""