python 连续矫正

python 连续矫正

问题描述

在做人脸识别的时候，前期的数据处理过程中可能会遇到一个问题，即将人脸从不同尺寸的图像中截取出来，再进行“对齐”操作。这样可以使每一个截取的人脸中的眼睛等位置处于同一位置，会对后面的识别算法起到一定的优化作用。

比如，下面 3 张图片所示，人脸的位置，图像的大小各不一样。我们所需要做的就是，将人脸从各个图片中截取出来，再旋转进行校正，使得眼睛在同一位置上，最后将图片的大小也统一调整为 224 x 224。

校正的效果如下图所示：

实现步骤

前提：已经提取出每张图片里眼睛的坐标，只需要读取数据就行

整个过程遵循以下几个步骤：

找两眼间的直线距离并计算该直线与水平线之间的夹角，即倾斜角度

根据找到的倾斜角度旋转图片

在旋转后的图片中找到眼睛的位置

根据眼睛坐标找到包含面部的框的宽度和高度

调整图片的尺寸

1. 计算直线距离及倾斜角度

计算两眼之间的距离很简单，只要找出两个向量的坐标就可以计算出来。计算两眼之间的距离直线的倾斜角度，就是将两个向量相减，得到一组横纵坐标，然后利用 arctan 的公式求解角度，公式如下所示：

大多数 sin / cos 等函数要求角度为弧度，可以使用这个转换公式：angle = angle * 180 / π。

"""

1.找到眼睛倾斜的角度和两眼距离

"""

p1 = np.array(eye[0])[::-1] # 左眼坐标

p2 = np.array(eye[1])[::-1] # 右眼坐标

dist = np.sqrt(np.sum(p1-p2)**2) # 两只眼睛之间的距离

dp = p1 - p2

angle = np.arctan(dp[0] / dp[1])

2. 根据找到的角度旋转图片

上一步骤中，求出了眼睛的倾斜角度，这一步就可以使用该角度来旋转图片了。这里方便地调用 ate 来旋转图片。之后再计算出旋转后图片的中点。

"""

2. 旋转图片

"""

from scipy import ndimage

# 旋转图片

rot_img = ate(face, angle=+angle*180/np.pi)

# 旋转后图像的中点

rot_image_center = np.array((np.array(rot_img.shape[:2]) - 1) / 2,

dtype=np.int)

3. 寻找旋转后眼睛的位置

寻找旋转后眼睛的位置，就是寻找旋转后两个点的坐标。旋转的时候，我们是以图片中点为原点来旋转的，因而需要先求解出原图片的原点，也就是图片的中心点。下面是以原点 (x0, y0) 为中心旋转后，求坐标的公式：

"""

3. 在旋转后的图片中找到眼睛的坐标

"""

# 原两眼距离的中点

org_eye_center = np.array((p1 + p2) / 2, dtype=np.int)

# 原图像的中点

org_image_center = np.array((np.array(face.shape[:2]) - 1) / 2, dtype=np.int)

# 以图片中心进行旋转，在旋转后的图片中找到眼睛的中点

R = np.array([[np.cos(angle), np.sin(angle)], [-np.sin(angle), np.cos(angle)]])

rot_eye_center = np.dot(R, org_eye_center[::-1]

-org_image_center[::-1])[::-1] + rot_image_center

rot_eye_center = np.array(rot_eye_center, dtype=int)

4. 根据眼睛坐标找到包含面部的框的宽度和高度

找到旋转后眼睛的坐标，可以利用眼睛的坐标来框出人脸的大致范围。这里就直接看代码，从代码中比较好理解。

"""

4. 根据眼睛坐标找到包含面部的框的宽度和高度

"""

mid_y, mid_x = rot_eye_center

MUL = 2

y_top = int(max(mid_y - MUL * dist, 0))

y_bot = int(min(mid_y + MUL * dist, rot_img.shape[0]))

x_left = int(max(mid_x - MUL * dist, 0))

x_right = int(min(mid_x + MUL * dist, rot_img.shape[1]))

cropped_img = rot_img[y_top:y_bot+1, x_left:x_right+1, :]

5. 裁剪图片

将旋转并框出的人脸进行裁剪，将其设定为统一的尺寸。

"""

5. 裁剪图像的尺寸为 224x224

"""

ansform as transform

scaled_img = size(cropped_img, [224, 224], mode='constant')

plt.imshow(scaled_img)

参考文献