微小运动检测（一）欧拉运动放大算法

微小运动检测（一）欧拉运动放大算法

一、关于微小运动

     自然界中包含很多形式的运动，很多是肉眼不可见的，比如人脸面部血液的流动，然而这种微小运动却包含了很多信息，比如我们可以通过分析面部血液流动的频率，进而得到心率。MIT提出的欧拉算法可以放大这种不可见的运动，使之清晰的呈现在我们面前。

二、欧拉运动放大算法的基本原理

     在视频中，微小的的动作人眼虽然不可见，但却可以体现在像素的变化上。欧拉算法正是通过放大亮度的变化来近似代替放大运动。定性的想一下，一个白色的（255）像素点，可以把它想象为一个小方块，作为背景，开始时这个像素内一半是黑色的（0）运动物体，另一半是没有遮住的白色背景。这个物体进行微小的移动，移动的幅度越大，则运动前后该像素点的亮度差越大。亮度的变化与运动的大小呈现的这种正相关，解释了欧拉算法这种看似“无理”的运动放大。

三、算法步骤及数学原理解释

     1、算法框图如下：
（1）空间分解:这里的空间分解，是为输入视频的每帧建立拉普拉斯或高斯金字塔，不同级具有不同的空间频率以及信噪比，从上到下，空间频率逐渐减小。空间分解的目的在于，当空间频率高到一定程度时，以亮度变化代替运动的这种近似便不再成立，所以后面放大的时候，空间频率高的级对应的放大系数就小。
（2）时域滤波：所谓时域滤波，是指对某一固定像素点，它的亮度随时间的变化作为输入信号，进行傅里叶变换到频域。在频域保留需要放大的频段，其他频段置0，即带通滤波。
（3）放大：经过时域滤波后的部分，即是包含了我们感兴趣的运动的部分。对每一级进行放大，放大后叠加到经过时域滤波之前的部分。放大系数随空间频率变化。

（4）重建：对每一级都经过放大后的金字塔进行重建，得到最终的放大后的视频。

2、原理的数学解释如下：
     令 I ( x , t ) I(x,t) I(x,t)表示在位置x处、时间t上像素点的亮度， δ ( t ) delta (t) δ(t)表示物体的位移， α alpha α表示放大系数。有 I ( x , 0 ) = f ( x ) I(x,0)=f(x) I(x,0)=f(x), I ( x , t ) = f ( x + δ ( t ) ) I(x,t)=f(x+delta (t)) I(x,t)=f(x+δ(t))。我们的目的是放大运动，所以希望合成的目标函数为
I ∧ ( x , t ) = f ( x + ( 1 + α ) δ ( t ) ) mathop Ilimits^ wedge (x,t) = f(x + (1 + alpha )delta (t)) I∧​(x,t)=f(x+(1+α)δ(t))
     将 I ( x , t ) I(x,t) I(x,t)用一阶泰勒级数展开为
I ( x , t ) ≈ f ( x ) + δ ( t ) ∂ f ( x ) ∂ x I(x,t)approx{f(x)+delta(t)frac{{partial f(x)}}{{partial x}}} I(x,t)≈f(x)+δ(t)∂x∂f(x)​
     注意这里的泰勒级数展开是有一定条件的，对于高空间频率并不适用。在前面算法步骤中的空间分解也说到。经过时域滤波后得到的即为
B ( x , t ) = δ ( t ) ∂ f ( x ) ∂ x B(x,t) = delta (t)frac{{partial f(x)}}{{partial x}} B(x,t)=δ(t)∂x∂f(x)​
     经过放大和叠加后得到
I ∼ ( x , t ) = f ( x ) + ( 1 + α ) B ( x , t ) mathop Ilimits^ sim (x,t) = f(x) + (1 + alpha )B(x,t) I∼​(x,t)=f(x)+(1+α)B(x,t)
     即
I ∼ ( x , t ) = f ( x ) + ( 1 + α ) δ ( t ) ∂ f ( x ) ∂ x mathop Ilimits^ sim (x,t) = f(x) + (1 + alpha )delta (t)frac{{partial f(x)}}{{partial x}} I∼​(x,t)=f(x)+(1+α)δ(t)∂x∂f(x)​
     又由一阶泰勒级数展开有
I ∼ ( x , t ) = f ( x + ( 1 + α ) δ ( t ) ) = I ∧ ( x , t ) mathop Ilimits^ sim (x,t) = f(x + (1 + alpha )delta (t))=mathop Ilimits^ wedge (x,t) I∼​(x,t)=f(x+(1+α)δ(t))=I∧​(x,t)
     最终得到的放大后函数与目标相等。
     用简单的一维函数表示如图，亮度在空域上呈现余弦方式变化。每条不同颜色的线所代表的含义图中给出了说明。

     重点观察图中的直角三角形。其底边表示运动 δ ( t ) delta (t) δ(t)，竖边表示 B ( x , t ) B(x,t) B(x,t),斜边表示梯度 ∂ f ( x ) ∂ x frac{{partial f(x)}}{{partial x}} ∂x∂f(x)​。我们的目的原本是放大运动，即 δ ( t ) delta (t) δ(t)，但我们实际放大的是 B ( x , t ) B(x,t) B(x,t)，正因为二者之间存在 B ( x , t ) ≈ δ ( t ) ∂ f ( x ) ∂ x B(x,t) approx delta (t)frac{{partial f(x)}}{{partial x}} B(x,t)≈δ(t)∂x∂f(x)​这样的关系，使得这种近似放大得以成立。