python IO编程（文件读写、StringIO和BytesIO、操作文件和目录、序列化）

python IO编程（文件读写、StringIO和BytesIO、操作文件和目录、序列化）

学习目标：

python学习十二、

---

学习内容：

1、文件读写
2、StringIO和BytesIO
3、操作文件和目录
4、序列化

---

1、文件读写

读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）

1、读文件

• Python内置的open()函数，传入文件名和标示符，读文件的模式打开一个文件对象
• 调用read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示
<当我没有加路径时时默认当前路径，在前也可与加上路径
• encoding可以选择文件的编码方式
• 在最后记得用close关闭文件，否则会占用系统内存，操作系统能同时打开的文件是有限的

f = open(&#','r',encoding='utf-8')
ad())
f.close()
输出：
欢迎来到德莱联盟！！！

• 由于读取文件时可能会报错，就不会调用后面的close函数，于是就可以用try…finally来实现最后都会实现close函数
• 调用read()会一次性读取文件的全部内容，可以调用read(size)方法，每次最多读取size个字节的内容
• 调用readline()可以每次读取一行内容，调用readlines()一次读取所有内容并按行返回list
• 如果有字符编码的错误，可以在encoding后面接一个errors='ignore’忽略掉

try:f = open(&#','r',encoding='utf-8')ad())
finally:if f:f.close()
输出：
欢迎来到德莱联盟！！！

with open(&#', 'r') as f:ad())
输出：
欢迎来到德莱联盟！！！

读取二进制文件，比如图片、视频等等，用’rb’模式打开文件

try:f = open('1.jpg','rb')ad())
finally:if f:f.close()
输出：
5(xd9xd5xa4xe1M87x18xc63U%x05-fx94x1a_x...        

2、写文件
写文件与读文件差不多，只不过传入标识符’w’覆盖写入或者’wb’表示写文本文件或写二进制文件，'w+'覆盖写入并且可读，'a+'追加写入并且可读(a写入时光标默认在尾部，可以用.seek()函数把光标移动位置)

• close函数在写入函数时，操作系统才保证把没有写入的数据全部写入磁盘
• 如果没有调用时，close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了
• seek()函数可以移动光标的位置，因为r读取文件时光标会在最后，根本无法读取到文件，所以需要移动光标位置

f = open(&#', 'w')
f.write('Hello, world!')
f.close()

with open(&#', 'a+') as f:f.write('Hello, world!')

a = &#'
with open(a, 'a+') as f:f.write('hello world !!!')f.seek(0)c = f.read()print(c)
运行了四次f的输出：
hello world !!!hello world !!!hello world !!!hello world !!!

从网上下载图片到默认目录

import requests
source = ('.jpg').content
print(source)
yyt = open('yt.jpg','wb')
yyt.write(source)
yyt.close()

import requests
response = ('.gif')
with open('a.gif','wb') as f:f.t)

从网上某个页面提取某些信息

import requests
import json
source = json.('=JSON&CATALOGID=1803&loading=first&random=0.5255326853258788').text)
for i in source[0]['data']:print(i['zbmc'],i['brsz'],i['bsrzj'])
输出：
深证成指 14,026.66 55.97
深证综指 2,301.83 11.49
中小板指 9,273.68 67.74
创业板指 2,730.84 18.31
上市公司数 2,336 1
上市证券数 11,374 -3
股票总股本（亿） 22,753.28 41.90
股票流通股本（亿） 18,748.88 1.20
股票总市值（亿元） 335,779.03 1965.38
股票流通市值（亿元） 259,774.23 1183.62
股票成交金额（亿元） 4,204.59 -554.64
平均股票价格（元） 14.75 0.05
股票平均市盈率 33.89 0.18
股票平均换手率 1.72 -0.30

---

2、StringIO和BytesIO

数据读写不一定是文件，也可以在内存中读写
1、StringIO
StringIO在内存中读写str

先创建一个StringIO，然后，像文件一样写入，getvalue()方法用于获得写入后的str

from io import StringIO
f = StringIO()
f.write('hello')
value())
输出:
hello

读取StringIO，可以用一个str初始化StringIO，然后，像读文件一样读取

from io import StringIO
f = StringIO('Hello!nHi!nGoodbye!')
while True:s = f.readline()if s == '':breakprint(s.strip())输出：
Hello!
Hi!
Goodbye!    

2、BytesIO
BytesIO实现了在内存中读写bytes

创建一个BytesIO，然后写入一些bytes，二进制字符编码一般是utf-8

from io import BytesIO
f = BytesIO()
f.write('hello world'.encode('utf-8'))
value())
输出：
b'hello world'

StringIO类似，可以用一个bytes初始化BytesIO，然后，像读文件一样读取

from io import BytesIO
f = BytesIO(b'xe4xb8xadxe6x96x87')
ad())
输出：
b'xe4xb8xadxe6x96x87'

---

3、操作文件和目录

操作系统提供的命令简单地调用了操作系统提供的接口函数，Python内置的os模块也可以直接调用操作系统提供的接口函数

查看主机操作系统

import os
print(os.name)
输出：
nt

查看、创建和删除、重命名目录

import os.path
print(os.path.abspath('.')) #查看当前目录的绝对路径
print(os.path.join('F:pycharmproject','testdir')) #创建一个新目录，首先把新目录的完整路径表示出来
print(os.mkdir('F:/pycharm/project/testdir')) #创建一个目录
os.remove('F:/pycharm/project/testdir') #删除目录
ame('testdir','yyt'))  #重命名
os.remove('yyt')   #删除目录

创建一个29的文件夹，并检查是否有文件夹29

import os
if os.path.isdir('29'):pass
else:os.mkdir('29')

列出当前目录下的所有目录

import os
print([x for x in os.listdir('.') if os.path.isdir(x)])

找出目录下的.py文件

import os
print([x for x in os.listdir('.') if os.path.isfile(x) and os.path.splitext(x)[1]=='.py']) #os.path.splitext()可以直接让你得到文件扩展名，一般为两部分第二部分为[1]
输出：
['eleven.py', 'six.py', 'test.py', 'twelve.py']

• os.path.join()函数，把两个路径合成一个
• os.path.split()函数，把一个路径拆分为两部分，后一部分总是最后级别的目录或文件名
• os.path.splitext()可以直接让你得到文件扩展名，一般为两部分第二部分为[1]

---

4、序列化

把变量从内存中变成可存储或传输的过程称之为序列化，序列化在Python中叫pickling

序列化（pickling）：就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上
反序列化（unpikling）：把变量内容从序列化的对象重新读到内存里

• Python提供了pickle模块来实现序列化

1、pickle.dumps/pickle.dump（向本地写入文件）

pickle.dumps()方法把任意对象序列化成一个bytes，把这个bytes写入文件
pickle.dump()直接把对象序列化后写入一个file-like Object

import pickle
d = dict(name='Bob',age=36,source=88)
print(pickle.dumps(d))
输出：
b'x80x04x95%x00x00...

import pickle
d = dict(name='Bob',age=36,source=88)
f = open(&#', 'wb') #会写入一个二进制文件
pickle.dump(d, f)
f.close()

2、pickle.loads()/pickle.load()（读取本地文件）

• pickle.loads():把对象从磁盘读到内存时，可以先把内容读到一个bytes，然后反序列化出对象
• pickle.load():直接从一个file-like Object中直接反序列化出对象

import pickle
f = open(&#','rb')
d=pickle.load(f)
f.close()
print(d)
输出：
{'name': 'Bob', 'age': 36, 'source': 88}

3、JSON
JSON是一个序列化标准，JSON表示出来就是一个字符串，可以被所有语言读取，也可以方便地存储到磁盘或者通过网络传输，比XML更快，而且可以直接在Web页面中读取

• JSON和Python内置的数据类型对应如下：

• python内置的json模块提供了非常完善的Python对象到JSON格式的转换
• JSON编码是UTF-8，所以我们总是能正确地在Python的str与JSON的字符串之间转换

dumps()方法返回一个str，内容就是标准的JSON；dump()方法也可以直接把JSON写入一个file-like Object（存入一个文件）

import json
d = dict(name='Bob', age=20, score=88)
print(json.dumps(d))
输出：
{"name": "Bob", "age": 20, "score": 88}

JSON反序列化为Python对象，用loads()或者对应的load()方法，前者把JSON的字符串反序列化，后者从file-like-Object中读取字符串并反序列化（读出一个文件）

import json
d = '{"name": "Bob", "age": 20, "score": 88}'
print(json.loads(d))
输出：
{'name': 'Bob', 'age': 20, 'score': 88}

import json
lists = [{'wang':'ning','水果':['大蒜','姜','萝卜']},{'error':0}]
a = json.dumps(lists)
print(a)
b = json.loads(a)
print(b)

• JSON进阶：Python的dict对象可以直接序列化为JSON的{}，常用class表示对象，比如定义Student类，然后序列化

首先写一个类，再写一个函数把类转换为dict，因为JSON无法把class序列化并且class自带dict属性

一般形式：

import jsonclass Student(object):def __init__(self, name, age, score):self.name = nameself.age = ageself.score = scores = Student('Bob', 20, 88)
def student2dict(std):return {'name': std.name,'age': std.age,'score': std.score}print(json.dumps(s, default=student2dict))

以为类一直可以变化所以把任意class的实例变为dict

import json
class Student(object):def __init__(self, name, age, score):self.name = nameself.age = ageself.score = score
s = Student('Bob', 20, 88)
print(json.dumps(s, default=lambda obj: obj.__dict__)) #把任意class的实例变为dict
输出:
{"name": "Bob", "age": 20, "score": 88}