Keras教学(9):Keras的图像预处理，看这一篇就够了

Keras教学(9):Keras的图像预处理，看这一篇就够了

【写在前面】：大家好，我是【猪葛】
一个很看好AI前景的算法工程师
在接下来的系列博客里面我会持续更新Keras的教学内容（文末有大纲）
内容主要分为两部分
第一部分是Keras的基础知识
第二部分是使用Keras搭建FasterCNN、YOLO目标检测神经网络
代码复用性高
如果你也感兴趣，欢迎关注我的动态一起学习
学习建议：
有些内容一开始学起来有点蒙，对照着“学习目标”去学习即可
一步一个脚印，走到山顶再往下看一切风景就全明了了

本篇博客学习目标：1、掌握Keras中使用ImageDataGenerator 类进行图像预处理的方法；2、理解如何给模型喂数据进行训练的方法（先理解一次，以后会继续讲解的）

文章目录

• 一、ImageDataGenerator 类
• 二、ImageDataGenerator 类的类方法
• • 2-1、flow函数
  • 2-2、flow_from_directory函数
• 三、结合model.fit_generator()函数演示如何给模型喂数据
• • 3-1、fit_generator()函数
  • 3-2、给模型喂数据（实现mnist手写数字的分类识别）

一、ImageDataGenerator 类

import tensorflow.keras as keras# 函数作用：通过实时数据增强生成张量图像数据批次。数据将不断循环（按批次）。
keras.preprocessing.image.ImageDataGenerator(featurewise_center=False,samplewise_center=False,featurewise_std_normalization=False,samplewise_std_normalization=False,zca_whitening=False,zca_epsilon=1e-06,rotation_range=0,width_shift_range=0.0,height_shift_range=0.0,brightness_range=None,shear_range=0.0,zoom_range=0.0,channel_shift_range=0.0,fill_mode='nearest',cval=0.0,horizontal_flip=False,vertical_flip=False,rescale=None,preprocessing_function=None,data_format=None,validation_split=0.0,dtype=None)

函数作用：

通过实时数据增强生成张量图像数据批次。数据将不断循环（按批次）。

参数提示：

因为这参数比较多，而且比较难以理解，我会在下面解释小例子的时候结合实例来解释这些参数，所以大家一开始看不懂没关系，先跳过也行。一般这些参数都选择默认值，然后对图片的处理使用这个类的方法来实现

常见参数：

• horizontal_flip: 布尔值。随机水平翻转。
• vertical_flip: 布尔值。随机垂直翻转。
• rescale: 重缩放因子。默认为 None。如果是 None 或 0，不进行缩放，否则将数据乘以所提供的值（在应用任何其他转换之前）。
• preprocessing_function: 应用于每个输入的函数。这个函数会在任何其他改变之前运行。这个函数需要一个参数：一张图像（秩为 3 的 Numpy 张量），并且应该输出一个同尺寸的 Numpy 张量。
• data_format: 图像数据格式，{“channels_first”, “channels_last”} 之一。"channels_last" 模式表示图像输入尺寸应该为 (samples, height, width, channels)，"channels_first" 模式表示输入尺寸应该为 (samples, channels, height, width)。默认为 在 Keras 配置文件 ~/.keras/keras.json 中的 image_data_format 值。如果你从未设置它，那它就是 “channels_last”。
• validation_split: 浮点数。Float. 保留用于验证的图像的比例（严格在0和1之间）。
• dtype: 生成数组使用的数据类型。
• rotation_range: 整数。随机旋转的度数范围。
• featurewise_center: 布尔值。将输入数据的均值设置为 0，逐特征进行。
• samplewise_center: 布尔值。将每个样本的均值设置为 0。
• featurewise_std_normalization: 布尔值。将输入除以数据标准差，逐特征进行。
• samplewise_std_normalization: 布尔值。将每个输入除以其标准差。
• zca_epsilon: ZCA 白化的 epsilon 值，默认为 1e-6。
• zca_whitening: 布尔值。是否应用 ZCA 白化。
• width_shift_range: 浮点数、一维数组或整数，宽度缩放比例
• height_shift_range: 浮点数、一维数组或整数，高度缩放比例
• shear_range: 浮点数。剪切强度（以弧度逆时针方向剪切角度）。
• zoom_range: 浮点数 或 [lower, upper]。随机缩放范围。如果是浮点数，[lower, upper] = [1-zoom_range, 1+zoom_range]。

二、ImageDataGenerator 类的类方法

2-1、flow函数

flow(x,y=None,batch_size=32,shuffle=True,sample_weight=None,seed=None,save_to_dir=None,save_prefix='',save_format='png',subset=None)

函数作用：采集数据和标签数组，生成批量增强数据。

参数：

• x: 输入数据。秩为 4 的 Numpy 矩阵或元组。如果是元组，第一个元素应该包含图像，第二个元素是另一个 Numpy 数组或一列 Numpy 数组，它们不经过任何修改就传递给输出。可用于将模型杂项数据与图像一起输入。对于灰度数据，图像数组的通道轴的值应该为 1，而对于 RGB 数据，其值应该为 3。
• y: 标签。
• batch_size: 整数 (默认为 32)。
• shuffle: 布尔值 (默认为 True)。
• sample_weight: 样本权重。
• seed: 整数（默认为 None）。
• save_to_dir: None 或 字符串（默认为 None）。这使您可以选择指定要保存的正在生成的增强图片的目录（用于可视化您正在执行的操作）。
• save_prefix: 字符串（默认 ‘’）。保存图片的文件名前缀（仅当 save_to_dir 设置时可用）。
• save_format: “png”, “jpeg” 之一（仅当 save_to_dir 设置时可用）。默认：“png”。
• subset: 数据子集 (“training” 或 “validation”)，如果 在 ImageDataGenerator 中设置了 validation_split。

运行一个小例子就明白了：

from keras.utils import np_utils
from dels import Sequential
from tensorflow.keras.layers import Conv2D, Flatten, Dense
from tensorflow.keras.datasets import mnist
from tensorflow.keras.preprocessing.image import ImageDataGenerator
import numpy as npmodel = Sequential([Conv2D(4, (3, 3), 2, 'same', input_shape=(28, 28, 1)),Flatten(),Dense(10, activation='softmax')
])(x_train, y_train), (x_test, y_test) = mnist.load_data()  # 加载一些数据来进行验证，假设我们有的全部数据就是这么多
x_train = np.reshape(x_train, (60000, 28, 28, 1))  # 是np数组，重设shape
x_test = np.reshape(x_test, (10000, 28, 28, 1))  # 是np数组，重设shape
y_train = _categorical(y_train, 10)  # 是np数组，one_hot表示
y_test = _categorical(y_test, 10)  # 是np数组，one_hot表示datagen = ImageDataGenerator()  # 实例化一个对象
a = datagen.flow(x_train, y_train, batch_size=5)  # 生成一个生成器(batch_x, batch_y) = next(a)  # 展示变量值pass

运行完之后你可以看到batch_x.shape=(5, 28, 28, 1)，batch_y.shape=(5, 10)

返回值：

一个生成元组 (x, y) 的 Iterator

2-2、flow_from_directory函数

flow_from_directory(directory,target_size=(256, 256),color_mode='rgb',classes=None,class_mode='categorical',batch_size=32,shuffle=True,seed=None,save_to_dir=None,save_prefix='',save_format='png',follow_links=False,subset=None,interpolation='nearest')

函数作用：一个生成 (x, y) 元组的 DirectoryIterator，其中 x 是一个包含一批尺寸为 (batch_size, *target_size, channels)的图像的 Numpy 数组，y 是对应标签的 Numpy 数组

参数：

• directory: 目标目录的路径。每个类应该包含一个子目录。任何在子目录树下的 PNG, JPG, BMP, PPM 或 TIF 图像，都将被包含在生成器中。更多细节，详见 此脚本。
• target_size: 整数元组 (height, width)，默认：(256, 256)。所有的图像将被调整到的尺寸。
• color_mode: "grayscale", "rbg" 之一。默认："rgb"。图像是否被转换成 1 或 3 个颜色通道。
• classes: 可选的类的子目录列表（例如 [‘dogs’, ‘cats’]）。默认：None。如果未提供，类的列表将自动从 directory 下的 子目录名称/结构 中推断出来，其中每个子目录都将被作为不同的类（类名将按字典序映射到标签的索引）。包含从类名到类索引的映射的字典可以通过 class_indices 属性获得。
• class_mode: “categorical”, “binary”, “sparse”, “input” 或 None 之一。默认：“categorical”。决定返回的标签数组的类型：
  1、"categorical" 将是 2D one-hot 编码标签，
  2、"binary" 将是 1D 二进制标签，“sparse” 将是 1D 整数标签，
  3、"input" 将是与输入图像相同的图像（主要用于自动编码器）。
  如果为 None，不返回标签（生成器将只产生批量的图像数据，对于 model.predict_generator(), model.evaluate_generator() 等很有用）。请注意，如果 class_mode 为 None，那么数据仍然需要驻留在 directory 的子目录中才能正常工作。
• batch_size: 一批数据的大小（默认 32）。
• shuffle: 是否混洗数据（默认 True）。
• seed: 可选随机种子，用于混洗和转换。
• save_to_dir: None 或 字符串（默认 None）。这使你可以最佳地指定正在生成的增强图片要保存的目录（用于可视化你在做什么）。
• save_prefix: 字符串。 保存图片的文件名前缀（仅当 save_to_dir 设置时可用）。
• save_format: “png”, “jpeg” 之一（仅当 save_to_dir 设置时可用）。默认：“png”。
• follow_links: 是否跟踪类子目录中的符号链接（默认为 False）。
• subset: 数据子集 (“training” 或 “validation”)，如果 在 ImageDataGenerator 中设置了 validation_split。
• interpolation: 在目标大小与加载图像的大小不同时，用于重新采样图像的插值方法。 支持的方法有 “nearest”, “bilinear”, and “bicubic”。 如果安装了 1.1.3 以上版本的 PIL 的话，同样支持 “lanczos”。 如果安装了 3.4.0 以上版本的 PIL 的话，同样支持 “box” 和 “hamming”。 默认情况下，使用 “nearest”。

返回：

一个生成 (x, y) 元组的 DirectoryIterator，其中 x 是一个包含一批尺寸为 (batch_size, *target_size, channels)的图像的 Numpy 数组，y 是对应标签的 Numpy 数组。

小例子：建立自己运行一遍，更改更改参数也就明白里面的意思了，代码已经给你们码好拉，如下

from keras.utils import np_utils
from dels import Sequential
from tensorflow.keras.layers import Conv2D, Flatten, Dense
from tensorflow.keras.datasets import mnist
from tensorflow.keras.preprocessing.image import ImageDataGenerator
import numpy as npmodel = Sequential([Conv2D(4, (3, 3), 2, 'same', input_shape=(28, 28, 1)),Flatten(),Dense(10, activation='softmax')
])(x_train, y_train), (x_test, y_test) = mnist.load_data()  # 加载一些数据来进行验证，假设我们有的全部数据就是这么多
x_train = np.reshape(x_train, (60000, 28, 28, 1))  # 是np数组，重设shape
x_test = np.reshape(x_test, (10000, 28, 28, 1))  # 是np数组，重设shape
y_train = _categorical(y_train, 10)  # 是np数组，one_hot表示
y_test = _categorical(y_test, 10)  # 是np数组，one_hot表示datagen = ImageDataGenerator()  # 实例化一个对象
a = datagen.flow_from_directory(directory='/home/huangjx/图片/cifar2/test', batch_size=5)  # 生成一个生成器(batch_x, batch_y) = next(a)  # 展示b的值pass

三、结合model.fit_generator()函数演示如何给模型喂数据

3-1、fit_generator()函数

fit_generator(generator,steps_per_epoch=None,epochs=1,verbose=1,callbacks=None,validation_data=None,validation_steps=None,validation_freq=1,class_weight=None,max_queue_size=10,workers=1,use_multiprocessing=False,shuffle=True,initial_epoch=0):

函数作用：

使用 Python 生成器或 Sequence 实例逐批生成的数据，按批次训练模型。

生成器与模型并行运行，以提高效率。 例如，这可以让你在 CPU 上对图像进行实时数据增强，以在 GPU 上训练模型。

keras.utils.Sequence 的使用可以保证数据的顺序， 以及当 use_multiprocessing=True 时 ，保证每个输入在每个 epoch 只使用一次。

参数：

• generator: 一个生成器或 Sequence (keras.utils.Sequence) 对象的实例，以避免在使用多进程时出现重复数据。 生成器的输出应该为以下之一：
  一个 (inputs, targets) 元组
  一个 (inputs, targets, sample_weights) 元组。 这个元组（生成器的单个输出）表示一个独立批次。因此，此元组中的所有数组必须具有相同的长度（等于此批次的大小）。不同的批次可能具有不同的大小。例如，如果数据集的大小不能被批量大小整除，则最后一批时期通常小于其他批次。生成器将无限地在数据集上循环。当运行到第 steps_per_epoch 时，记一个 epoch 结束。
• steps_per_epoch: 整数。在声明一个 epoch 完成并开始下一个 epoch 之前从 generator 产生的总步数（批次样本）。它通常应该等于你的数据集的样本数量除以批量大小。可选参数 Sequence：如果未指定，将使用 len(generator) 作为步数。
• epochs: 整数，数据的迭代总轮数。一个 epoch 是对所提供的整个数据的一轮迭代，由 steps_per_epoch 所定义。请注意，与 initial_epoch 一起，参数 epochs 应被理解为 「最终轮数」。模型并不是训练了 epochs 轮，而是到第 epochs 轮停止训练。
• verbose: 日志显示模式。0，1 或 2。0 = 安静模式，1 = 进度条，2 = 每轮一行。
• callbacks: keras.callbacks.Callback 实例列表。在训练时调用的一系列回调。
• validation_data: 它可以是以下之一：
  验证数据的生成器或 Sequence 实例
  一个 (inputs, targets) 元组
  一个 (inputs, targets, sample_weights) 元组。
• validation_steps: 仅当 validation_data 是一个生成器时才可用。 每个 epoch 结束时验证集生成器产生的步数。它通常应该等于你的数据集的样本数量除以批量大小。可选参数 Sequence：如果未指定，将使用 len(generator) 作为步数。
• class_weight: 可选的字典，用来映射类索引（整数）到权重（浮点）值，用于加权损失函数（仅在训练期间）。这可能有助于告诉模型 「更多关注」来自代表性不足的类的样本。
• max_queue_size: 整数。生成器队列的最大尺寸。如果未指定，max_queue_size 将默认为 10。
• workers: 整数。使用基于进程的多线程时启动的最大进程数。如果未指定，worker 将默认为 1。如果为 0，将在主线程上执行生成器。
• use_multiprocessing: 如果 True，则使用基于进程的多线程。如果未指定，use_multiprocessing 将默认为 False。请注意，因为此实现依赖于多进程，所以不应将不可传递的参数传递给生成器，因为它们不能被轻易地传递给子进程。
• shuffle: 布尔值。是否在每轮迭代之前打乱 batch 的顺序。只能与 Sequence (keras.utils.Sequence) 实例同用。在 steps_per_epoch 不为 None 是无效果。
• initial_epoch: 整数。开始训练的轮次（有助于恢复之前的训练）。

返回：

一个 History 对象。其 History.history 属性是连续 epoch 训练损失和评估值，以及验证集损失和评估值的记录（如果适用）。

例子：

def generate_arrays_from_file(path):while True:with open(path) as f:for line in f:# 从文件中的每一行生成输入数据和标签的 numpy 数组x1, x2, y = process_line(line)yield ({'input_1': x1, 'input_2': x2}, {'output': y})model.fit_generator(generate_arrays_from_file('/'),steps_per_epoch=10000, epochs=10)

我们现在就可以通过前面2-1小节和2-2小节学习得到的生成器来给模型喂数据啦

3-2、给模型喂数据（实现mnist手写数字的分类识别）

首先我们先顺便定义一个模型用于测试，这个过程好比自己在搭建神经网络一样，可以参见我本系列的其它文章：

【Keras教学(2)】:使用Sequence搭建LeNet-5卷积神经网络

【Keras教学(3)】:使用函数式API搭建AlexNet、VGG系列卷积神经网络

from keras.utils import np_utils
from dels import Sequential
from tensorflow.keras.layers import Conv2D, Flatten, Dense, MaxPooling2D
from tensorflow.keras.datasets import mnist
from tensorflow.keras.preprocessing.image import ImageDataGenerator
import numpy as np
from tensorflow.keras.losses import categorical_crossentropymodel = Sequential([Conv2D(16, (3, 3), 2, 'same', input_shape=(28, 28, 1), activation='relu'),MaxPooling2D((2, 2), 2, 'same'),Conv2D(8, (3, 3), 2, 'same', activation='relu'),MaxPooling2D((2, 2), 2, 'same'),Flatten(),Dense(10, activation='softmax')
])

然后给这个模型顺便配置一个优化器和损失函数

modelpile(optimizer='sgd', loss='categorical_crossentropy')

然后准备所有待会要喂进去的数据

(x_train, y_train), (x_test, y_test) = mnist.load_data()  # 加载一些数据来进行验证，假设我们有的全部数据就是这么多
x_train = np.reshape(x_train, (60000, 28, 28, 1))  # 是np数组，重设shape
x_test = np.reshape(x_test, (10000, 28, 28, 1))  # 是np数组，重设shape
y_train = _categorical(y_train, 10)  # 是np数组，one_hot表示
y_test = _categorical(y_test, 10)  # 是np数组，one_hot表示

开始喂数据

datagen = ImageDataGenerator()  # 实例化一个对象
gen = datagen.flow(x=x_train, y=y_train, batch_size=32)  # 生成一个生成器
model.fit_generator(gen, steps_per_epoch=10, epochs=10)  # 训练

完整代码如下：

from keras.utils import np_utils
from dels import Sequential
from tensorflow.keras.layers import Conv2D, Flatten, Dense, MaxPooling2D
from tensorflow.keras.datasets import mnist
from tensorflow.keras.preprocessing.image import ImageDataGenerator
import numpy as np
from tensorflow.keras.losses import categorical_crossentropymodel = Sequential([Conv2D(16, (3, 3), 2, 'same', input_shape=(28, 28, 1), activation='relu'),MaxPooling2D((2, 2), 2, 'same'),Conv2D(8, (3, 3), 2, 'same', activation='relu'),MaxPooling2D((2, 2), 2, 'same'),Flatten(),Dense(10, activation='softmax')
])
modelpile(optimizer='sgd', loss='categorical_crossentropy')(x_train, y_train), (x_test, y_test) = mnist.load_data()  # 加载一些数据来进行验证，假设我们有的全部数据就是这么多
x_train = np.reshape(x_train, (60000, 28, 28, 1))  # 是np数组，重设shape
x_test = np.reshape(x_test, (10000, 28, 28, 1))  # 是np数组，重设shape
y_train = _categorical(y_train, 10)  # 是np数组，one_hot表示
y_test = _categorical(y_test, 10)  # 是np数组，one_hot表示datagen = ImageDataGenerator()  # 实例化一个对象
gen = datagen.flow(x=x_train, y=y_train, batch_size=32)  # 生成一个生成器
model.fit_generator(gen, steps_per_epoch=10, epochs=10)  # 开始训练pass

运行结果：

Epoch 1/10
10/10 [==============================] - 0s 33ms/step - loss: 13.8101
Epoch 2/10
10/10 [==============================] - 0s 31ms/step - loss: 13.4682
Epoch 3/10
10/10 [==============================] - 0s 31ms/step - loss: 12.3496
Epoch 4/10
10/10 [==============================] - 0s 31ms/step - loss: 12.3210
Epoch 5/10
10/10 [==============================] - 0s 31ms/step - loss: 11.6730
Epoch 6/10
10/10 [==============================] - 0s 31ms/step - loss: 8.8682
Epoch 7/10
10/10 [==============================] - 0s 32ms/step - loss: 3.5756
Epoch 8/10
10/10 [==============================] - 0s 31ms/step - loss: 2.3343
Epoch 9/10
10/10 [==============================] - 0s 31ms/step - loss: 2.3085
Epoch 10/10
10/10 [==============================] - 0s 31ms/step - loss: 2.2269Process finished with exit code 0

发现loss还真的会下降哦，如果我加个评价指标上去看看准确率，我猜准确率还挺高哈哈哈（别忘了这只是我顺便写的模型，足以见的神经网络的神奇）

大家也可以自己调节参数去玩一玩。本期的内容就这么多，文末附上本系列keras教学内容，欢迎关注我的动态一起学习呀