矩阵范数学习

矩阵范数学习

矩阵范数

定义

设 A ∈ C m × n Ain mathbb{C}^{mtimes n} A∈Cm×n,按某一法则在 C m × n mathbb{C}^{mtimes n} Cm×n上规定 A A A的一个实值函数，记作 ∥ A ∥ Vert A Vert ∥A∥,它满足下面4个条件：
（1）非负性：如果 A ≠ 0 Aneq 0 A​=0，则 ∥ A ∥ > 0 Vert A Vert>0 ∥A∥>0;如果 A = 0 A=0 A=0，则 ∥ A ∥ = 0 Vert A Vert=0 ∥A∥=0
（2）齐次性：对于任意的 k ∈ C , ∥ k A ∥ = ∣ k ∣ ∥ A ∥ k in mathbb{C}, Vert kA Vert=left| k right| Vert A Vert k∈C,∥kA∥=∣k∣∥A∥
（3）三角不等式： ∀ A , B ∈ C m × n , ∥ A + B ∥ ≤ ∥ A ∥ ∥ B ∥ forall A,B in mathbb{C}^{mtimes n}, Vert A+B Vert le Vert A Vert Vert B Vert ∀A,B∈Cm×n,∥A+B∥≤∥A∥∥B∥
（4）次乘性：当矩阵乘积 A B AB AB有意义时，若有
∥ A B ∥ ≤ ∥ A ∥ ∥ B ∥ Vert AB Vert le Vert A Vert Vert B Vert ∥AB∥≤∥A∥∥B∥

则称 ∥ A ∥ Vert A Vert ∥A∥为矩阵范数

（如果次乘性的不等号反向，则幂等矩阵的矩阵范数为0，与非负性矛盾；
次乘性保证了矩阵幂级数的敛散性的“合理性”）

常用的矩阵范数

设 A ∈ C m × n Ain C^{mtimes n} A∈Cm×n
∥ A ∥ m 1 = ∑ i = 1 m ∑ i = 1 n ∣ a i j ∣ ∥ A ∥ m ∞ = n ⋅ max ⁡ i , j ∣ a i j ∣ ∥ A ∥ F = ∥ A ∥ m 2 = ( ∑ i = 1 m ∑ i = 1 n ∣ a i j 2 ∣ 2 ) 1 2 Vert A Vert_{m_1}=sum_{i=1}^{m}sum_{i=1}^{n}left|a_{ij}right|\ Vert A Vert_{m_infty}=ncdot max limits_{i,j}left|a_{ij}right|\ Vert A Vert_F=Vert A Vert_{m_2}=(sum_{i=1}^{m}sum_{i=1}^{n}left| a_{ij}^2right|^2)^{frac{1}{2}} ∥A∥m1​​=i=1∑m​i=1∑n​∣aij​∣∥A∥m∞​​=n⋅i,jmax​∣aij​∣∥A∥F​=∥A∥m2​​=(i=1∑m​i=1∑n​∣∣​aij2​∣∣​2)21​

等价

设 A ∈ C m × n Ain mathbb{C}^{mtimes n} A∈Cm×n, ∥ A ∥ Vert A Vert ∥A∥是 C m × n mathbb{C}^{mtimes n} Cm×n上的矩阵范数，则 C m × n mathbb{C}^{mtimes n} Cm×n上的任意两个矩阵范数等价

相容

设 A ∈ C m × n , x ∈ C n Ain mathbb{C}^{mtimes n},x in mathbb{C}^{n} A∈Cm×n,x∈Cn,如果取定的向量范数 ∥ x ∥ Vert x Vert ∥x∥和矩阵范数 ∥ A ∥ Vert AVert ∥A∥满足
∥ A x ∥ ≤ ∥ A ∥ ∥ x ∥ Vert Ax Vert le Vert A VertVert x Vert ∥Ax∥≤∥A∥∥x∥
则称矩阵范数 ∥ A ∥ Vert A Vert ∥A∥与向量范数 ∥ x ∥ Vert x Vert ∥x∥是相容的

算子范数

设 A ∈ C m × n , x = ( x 1 , ⋯ , x n ) T ∈ C n Ain mathbb{C}^{mtimes n},x=(x_1,cdots,x_n)^T in mathbb{C}^{n} A∈Cm×n,x=(x1​,⋯,xn​)T∈Cn,且在 C n mathbb{C}^{n} Cn中已规定了向量的范数（即 C n mathbb{C}^{n} Cn是 n n n维赋范线性空间），定义
∥ A ∥ = sup ⁡ ∥ x ∥ ≠ 0 ∥ A x ∥ ∥ x ∥ = max ⁡ ∥ x ∥ = 1 ∥ A x ∥ Vert A Vert = sup limits_{Vert x Vert neq 0} frac{Vert Ax Vert}{Vert x Vert}=max limits_{Vert x Vert =1}Vert Ax Vert ∥A∥=∥x∥​=0sup​∥x∥∥Ax∥​=∥x∥=1max​∥Ax∥
则上式定义了一个与向量范数 ∥ ⋅ ∥ Vert cdot Vert ∥⋅∥相容的矩阵范数，称为向量范数 ∥ ⋅ ∥ Vert cdot Vert ∥⋅∥诱导的矩阵范数或算子范数

证明：
需要证明这个矩阵范数满足4条性质以及相溶性

相溶性：
设 y ≠ 0 , x = 1 ∥ y ∥ y , ∥ x ∥ = 1 yneq 0,x=frac{1}{Vert y Vert} y,Vert x Vert =1 y​=0,x=∥y∥1​y,∥x∥=1
∥ A y ∥ = ∥ A ( ∥ y ∥ ) x ∥ = ∥ y ∥ ∥ A x ∥ ≤ ∥ y ∥ ∥ A ∥ = ∥ A ∥ ∥ y ∥ begin{aligned} &quad Vert Ay Vert \ &= Vert A(Vert y Vert) x Vert\ &= Vert y Vert Vert Ax Vert\ &le Vert y Vert Vert A Vert\ &= Vert A Vert Vert y Vert end{aligned} ​∥Ay∥=∥A(∥y∥)x∥=∥y∥∥Ax∥≤∥y∥∥A∥=∥A∥∥y∥​
非负性：
若 A ≠ 0 Aneq 0 A​=0，则可以找到 ∥ x ∥ = 1 Vert x Vert=1 ∥x∥=1的向量 x x x，使得 A x ≠ 0 Ax neq 0 Ax​=0,从而 ∥ A x ∥ ≠ 0 Vert Ax Vert neq 0 ∥Ax∥​=0
所以 ∥ A ∥ = max ⁡ ∥ x ∥ = 1 ∥ A x ∥ > 0 Vert A Vert=max limits_{Vert x Vert=1} Vert Ax Vert>0 ∥A∥=∥x∥=1max​∥Ax∥>0
当 A = 0 A=0 A=0,一定有 ∥ A ∥ = max ⁡ ∥ x ∥ = 1 ∥ 0 x ∥ = 0 Vert A Vert=max limits_{Vert x Vert=1} Vert 0x Vert=0 ∥A∥=∥x∥=1max​∥0x∥=0

齐次性：
对于 ∀ k ∈ C forall k in mathbb{C} ∀k∈C,有
∥ k A ∥ = max ⁡ ∥ x ∥ = 1 ∥ k A x ∥ = ∣ k ∣ max ⁡ ∥ x ∥ = 1 ∥ A x ∥ = ∣ k ∣ ∥ A ∥ Vert kA Vert=max limits_{Vert x Vert=1} Vert kAx Vert = left|k right| max limits_{Vert x Vert=1} Vert Ax Vert=left|k right| Vert A Vert ∥kA∥=∥x∥=1max​∥kAx∥=∣k∣∥x∥=1max​∥Ax∥=∣k∣∥A∥

三角不等式：
对于矩阵 A + B A+B A+B，可以找到向量 x 0 x_0 x0​,使得
∥ A + B ∥ = ∥ ( A + B ) x 0 ∥ ( ∥ x 0 ∥ = 1 ) Vert A+B Vert= Vert (A+B)x_0 Vert quad (Vert x_0 Vert=1) ∥A+B∥=∥(A+B)x0​∥(∥x0​∥=1)
于是
∥ A + B ∥ = ∥ ( A + B ) x 0 ∥ = ∥ A x 0 + B x 0 ∥ ≤ ∥ A x 0 ∥ + ∥ B x 0 ∥ ≤ ∥ A ∥ ∥ x 0 ∥ + ∥ B ∥ ∥ x 0 ∥ = ∥ A ∥ + ∥ B ∥ begin{aligned} &quad Vert A+B Vert\ &= Vert (A+B)x_0 Vert\ &=Vert Ax_0+Bx_0 Vert\ &le Vert Ax_0 Vert+ Vert Bx_0 Vert\ &le Vert A Vert Vert x_0 Vert+ Vert B Vert Vert x_0 Vert\ &= Vert A Vert + Vert B Vert end{aligned} ​∥A+B∥=∥(A+B)x0​∥=∥Ax0​+Bx0​∥≤∥Ax0​∥+∥Bx0​∥≤∥A∥∥x0​∥+∥B∥∥x0​∥=∥A∥+∥B∥​

次乘性：
对于矩阵 A B AB AB，可以找到向量 x 0 x_0 x0​,使得
∥ A B x 0 ∥ = ∥ A B ∥ ( ∥ x 0 ∥ = 1 ) Vert ABx_0 Vert = Vert AB Vert quad (Vert x_0 Vert=1) ∥ABx0​∥=∥AB∥(∥x0​∥=1)
于是
∥ A B ∥ = ∥ A B x 0 ∥ = ∥ A ( B x 0 ) ∥ ≤ ∥ A ∥ ∥ B x 0 ∥ ≤ ∥ A ∥ ∥ B ∥ ∥ x 0 ∥ = ∥ A ∥ ∥ B ∥ begin{aligned} &quad Vert AB Vert\ &= Vert ABx_0 Vert\ &=Vert A(Bx_0) Vert\ &le Vert A Vert Vert Bx_0 Vert\ &le Vert A Vert Vert B Vert Vert x_0Vert\ &= Vert A Vert Vert B Vert end{aligned} ​∥AB∥=∥ABx0​∥=∥A(Bx0​)∥≤∥A∥∥Bx0​∥≤∥A∥∥B∥∥x0​∥=∥A∥∥B∥​
证毕

常见的算子范数

设 A ∈ C m × n , x ∈ C n Ain mathbb{C}^{mtimes n},xin mathbb{C}^{n} A∈Cm×n,x∈Cn,则从属于向量 x x x的三种范数 ∥ x ∥ 1 , ∥ x ∥ 2 , ∥ x ∥ ∞ Vert x Vert_1,Vert x Vert_2 , Vert x Vert_infty ∥x∥1​,∥x∥2​,∥x∥∞​的算子范数依次是
（1）
∥ A ∥ 1 = max ⁡ j ∑ i = 1 m ∣ a i j ∣ Vert A Vert_1=max limits_{j} sum_{i=1}^{m} left| a_{ij}right| ∥A∥1​=jmax​i=1∑m​∣aij​∣
称为列范数
（2）
∥ A ∥ 2 = λ max ⁡ ( A H A ) Vert A Vert_2 =sqrt{lambda_{max}(A^HA)} ∥A∥2​=λmax​(AHA) ​
称为谱范数
（3）
∥ A ∥ ∞ = max ⁡ i ∑ j = 1 n ∣ a i j ∣ Vert A Vert_infty =max limits_{i} sum_{j=1}^{n}left|a_{ij}right| ∥A∥∞​=imax​j=1∑n​∣aij​∣
称为行范数

证明：
（1）
对于任何非零向量 x x x，设 ∥ x ∥ 1 = 1 Vert x Vert_1 =1 ∥x∥1​=1,则
∥ A x ∥ 1 = ∑ i = 1 m ∣ ∑ j = 1 n a i j x j ∣ ≤ ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ ∣ x j ∣ = ∑ j = 1 n ∑ i = 1 m ∣ a i j ∣ ∣ x j ∣ = ∑ j = 1 n ( ∑ i = 1 m ∣ a i j ∣ ) ∣ x j ∣ ≤ max ⁡ j ∑ i = 1 m ∣ a i j ∣ ∑ j = 1 n ∣ x j ∣ = max ⁡ j ∑ i = 1 m ∣ a i j ∣ begin{aligned} &quad Vert Ax Vert_1\ &=sum_{i=1}^{m}left|sum_{j=1}^{n} a_{ij} x_jright|\ &lesum_{i=1}^{m}sum_{j=1}^{n}left| a_{ij}right|left| x_jright|\ &=sum_{j=1}^{n}sum_{i=1}^{m}left| a_{ij}right|left| x_jright|\ &=sum_{j=1}^{n}(sum_{i=1}^{m}left| a_{ij}right|)left| x_jright|\ &le maxlimits_{j}sum_{i=1}^{m}left| a_{ij}right| sum_{j=1}^{n}left| x_jright|\ &=maxlimits_{j}sum_{i=1}^{m}left| a_{ij}right| end{aligned} ​∥Ax∥1​=i=1∑m​∣∣∣∣∣​j=1∑n​aij​xj​∣∣∣∣∣​≤i=1∑m​j=1∑n​∣aij​∣∣xj​∣=j=1∑n​i=1∑m​∣aij​∣∣xj​∣=j=1∑n​(i=1∑m​∣aij​∣)∣xj​∣≤jmax​i=1∑m​∣aij​∣j=1∑n​∣xj​∣=jmax​i=1∑m​∣aij​∣​
所以
∥ A x ∥ 1 ≤ max ⁡ j ∑ i = 1 m ∣ a i j ∣ quad Vert Ax Vert_1le maxlimits_{j}sum_{i=1}^{m}left| a_{ij}right| ∥Ax∥1​≤jmax​i=1∑m​∣aij​∣
设在 j = j 0 j=j_0 j=j0​时， ∑ i = 1 m ∣ a i j ∣ sum_{i=1}^{m}left|a_{ij}right| ∑i=1m​∣aij​∣达到最大值，即
∑ i = 1 m ∣ a i j 0 ∣ = max ⁡ 1 ≤ j ≤ n ∑ i = 1 m ∣ a i j ∣ sum_{i=1}^{m}left|a_{ij_0}right|=maxlimits_{1le j le n}sum_{i=1}^{m}left| a_{ij}right| i=1∑m​∣aij0​​∣=1≤j≤nmax​i=1∑m​∣aij​∣
去向量 x 0 = ( 0 , ⋯ , 0 , 1 , 0 , ⋯ 0 ) T x_0=(0,cdots,0,1,0,cdots 0)^T x0​=(0,⋯,0,1,0,⋯0)T
其中第 j 0 j_0 j0​个分量为 1 1 1,其余为 0 0 0，显然 ∥ x ∥ 1 = 1 Vert x Vert_1 =1 ∥x∥1​=1
∥ A x 0 ∥ 1 = ∑ i = 1 m ∣ ∑ j = 1 n a i j x j ∣ = ∑ i = 1 m ∣ a i j 0 ∣ = max ⁡ j ∑ i = 1 m ∣ a i j ∣ Vert Ax_0 Vert_1=sum_{i=1}^{m}left|sum_{j=1}^{n}a_{ij}x_jright|=sum_{i=1}^{m}left|a_{ij_0}right|=maxlimits_{j}sum_{i=1}^{m}left|a_{ij}right| ∥Ax0​∥1​=i=1∑m​∣∣∣∣∣​j=1∑n​aij​xj​∣∣∣∣∣​=i=1∑m​∣aij0​​∣=jmax​i=1∑m​∣aij​∣
于是
∥ A ∥ 1 = max ⁡ ∥ x ∥ 1 = 1 ∥ A x ∥ 1 = max ⁡ j ∑ i = 1 m ∣ a i j ∣ Vert A Vert_1=maxlimits_{Vert x Vert_1=1} Vert Ax Vert_1=maxlimits_{j} sum_{i=1}^{m}left| a_{ij} right| ∥A∥1​=∥x∥1​=1max​∥Ax∥1​=jmax​i=1∑m​∣aij​∣

(2)
∥ A ∥ 2 = max ⁡ ∥ x ∥ 2 = 1 ∥ A x ∥ 2 Vert A Vert_2=maxlimits_{Vert x Vert_2 =1} Vert Ax Vert_2 ∥A∥2​=∥x∥2​=1max​∥Ax∥2​
因为
∥ A x ∥ 2 2 = ( A x , A x ) = ( x , A H A x ) Vert Ax Vert_2^2 =(Ax ,Ax)=(x,A^H Ax) ∥Ax∥22​=(Ax,Ax)=(x,AHAx)
显然，矩阵 A H A A^HA AHA是埃尔米特矩阵（复数版实对称矩阵），且非负，从而他的特征值都是非负实数
设 λ 1 ≥ λ 2 ≥ ⋯ ≥ λ n ≥ 0 lambda_1ge lambda_2 ge cdots ge lambda_n ge 0 λ1​≥λ2​≥⋯≥λn​≥0为 A H A A^HA AHA的特征值，
而 x 1 , x 2 , ⋯ , x n x_1,x_2,cdots,x_n x1​,x2​,⋯,xn​为这些特征值对应的一组标准正交特征向量，任何一个范数为 1 1 1的向量 x x x都可以表示为
x = a 1 x 1 + ⋯ a n x n x=a_1x_1+cdots a_nx_n x=a1​x1​+⋯an​xn​
则
( x , x ) = ∣ a 1 ∣ 2 + ⋯ ∣ a n ∣ 2 = 1 (x,x)=left|a_1right|^2+cdots left|a_nright|^2=1 (x,x)=∣a1​∣2+⋯∣an​∣2=1
又因为
∥ A x ∥ 2 2 = ( x , A H A x ) = ( a 1 x 1 + ⋯ a n x n , λ 1 a 1 x 1 + ⋯ λ n a n x n ) = λ 1 ∣ a 1 ∣ 2 + ⋯ λ n ∣ a n ∣ 2 ≤ λ 1 ( ∣ a 1 ∣ 2 + ⋯ ∣ a n ∣ 2 ) = λ 1 = λ max ⁡ ( A H A ) begin{aligned} &quad Vert Ax Vert_2^2 \ &=(x,A^H Ax)\ &=(a_1x_1+cdots a_n x_n,lambda_1 a_1 x_1+cdots lambda_n a_n x_n)\ &=lambda_1left|a_1right|^2+cdots lambda_n left|a_nright|^2\ &le lambda_1(left|a_1right|^2+cdots left|a_nright|^2)\ &=lambda_1\ &=lambda_{max}(A^HA) end{aligned} ​∥Ax∥22​=(x,AHAx)=(a1​x1​+⋯an​xn​,λ1​a1​x1​+⋯λn​an​xn​)=λ1​∣a1​∣2+⋯λn​∣an​∣2≤λ1​(∣a1​∣2+⋯∣an​∣2)=λ1​=λmax​(AHA)​

取向量 x = x 1 x=x_1 x=x1​,有
∥ A x 1 ∥ 2 2 = ( x 1 , A H A x 1 ) = ( x 1 λ 1 x 1 ) = λ 1 ‾ ( x 1 , x 1 ) = λ 1 = λ max ⁡ ( A H A ) begin{aligned} &quad Vert Ax_1 Vert_2^2\ &=(x_1,A^H Ax_1)\ &=(x_1 lambda_1 x_1)\ &=overline{lambda_1}(x_1,x_1)\ &=lambda_1\ &=lambda_{max}(A^HA) end{aligned} ​∥Ax1​∥22​=(x1​,AHAx1​)=(x1​λ1​x1​)=λ1​​(x1​,x1​)=λ1​=λmax​(AHA)​
所以
∥ A ∥ 2 = max ⁡ ∥ x ∥ 2 = 1 ∥ A x ∥ 2 = λ max ⁡ ( A H A ) Vert A Vert_2= maxlimits_{Vert x Vert_2=1}Vert Ax Vert_2=sqrt{lambda_{max}(A^HA)} ∥A∥2​=∥x∥2​=1max​∥Ax∥2​=λmax​(AHA) ​

(3)设 ∥ x ∥ ∞ = 1 Vert x Vert_infty=1 ∥x∥∞​=1,则
∥ A x ∥ ∞ = max ⁡ i ∣ ∑ j = 1 n a i j x j ∣ ≤ max ⁡ i ∑ j = 1 n ∣ a i j ∣ ∣ x j ∣ ≤ max ⁡ i ∑ j = 1 n ∣ a i j ∣ begin{aligned} &quad Vert Ax Vert_infty\ &=maxlimits_{i}left|sum_{j=1}^{n}a_{ij}x_jright|\ &le maxlimits_{i}sum_{j=1}^{n}left|a_{ij}right|left|x_jright|\ &le maxlimits_{i}sum_{j=1}^{n}left|a_{ij}right| end{aligned} ​∥Ax∥∞​=imax​∣∣∣∣∣​j=1∑n​aij​xj​∣∣∣∣∣​≤imax​j=1∑n​∣aij​∣∣xj​∣≤imax​j=1∑n​∣aij​∣​
所以
max ⁡ ∥ x ∥ ∞ = 1 ∥ A x ∥ ∞ ≤ max ⁡ i ∑ j = 1 n ∣ a i j ∣ maxlimits_{Vert x Vert_infty=1}Vert Ax Vert_infty le maxlimits_{i}sum_{j=1}^{n}left|a_{ij}right| ∥x∥∞​=1max​∥Ax∥∞​≤imax​j=1∑n​∣aij​∣

设 ∑ j = 1 n ∣ a i j ∣ sum_{j=1}^{n}left|a_{ij}right| ∑j=1n​∣aij​∣在 i = i 0 i=i_0 i=i0​是取到最大值，取向量
x 0 = ( x 1 , ⋯ , x n ) T x_0=(x_1,cdots,x_n)^T x0​=(x1​,⋯,xn​)T
其中 x j = { ∣ a i 0 j ∣ a i 0 j , a i 0 j = 0 1 , a i 0 j = 0 x_j=begin{cases} frac{left|a_{i_0 j}right|}{a_{i_0 j}},a_{i_0 j}=0\ 1,a_{i_0 j} =0 end{cases} xj​=⎩⎨⎧​ai0​j​∣ai0​j​∣​,ai0​j​=01,ai0​j​=0​
易知
∥ x 0 ∥ ∞ = 1 Vert x_0 Vert_infty=1 ∥x0​∥∞​=1
且当 i = i 0 i=i_0 i=i0​时
∣ ∑ j = 1 n a i j x j ∣ = max ⁡ i ∑ j = 1 n ∣ a i j ∣ left|sum_{j=1}^{n}a_{ij}x_jright|=maxlimits_{i}sum_{j=1}^{n}left|a_{ij}right| ∣∣∣∣∣​j=1∑n​aij​xj​∣∣∣∣∣​=imax​j=1∑n​∣aij​∣
从而
∥ A x 0 ∥ ∞ = max ⁡ i ∑ j = 1 n ∣ a i j ∣ Vert Ax_0 Vert_infty=maxlimits_{i}sum_{j=1}^{n}left| a_{ij}right| ∥Ax0​∥∞​=imax​j=1∑n​∣aij​∣
所以
∥ A ∥ ∞ = max ⁡ ∥ x ∥ ∞ = 1 ∥ A x ∥ ∞ = max ⁡ i ∑ j = 1 n ∣ a i j ∣ Vert A Vert_infty=maxlimits_{Vert x Vert_infty=1} Vert Ax Vert_infty=maxlimits_{i}sum_{j=1}^{n}left| a_{ij}right| ∥A∥∞​=∥x∥∞​=1max​∥Ax∥∞​=imax​j=1∑n​∣aij​∣

F范数性质

F范数又叫做费罗贝尼乌斯（Frobenius）范数
设 A ∈ C m × n Ainmathbb{C}^{mtimes n} A∈Cm×n，而 U ∈ C m × m , V ∈ C n × n Uin mathbb{C}^{mtimes m} ,V in mathbb{C}^{ntimes n} U∈Cm×m,V∈Cn×n都是酉矩阵
则
∥ U A ∥ F = ∥ A ∥ F = ∥ A V ∥ F Vert UA Vert_F= Vert A Vert_F= Vert AV Vert_F ∥UA∥F​=∥A∥F​=∥AV∥F​

证明：
设 A = ( α 1 , ⋯ , α n ) A=(alpha_1,cdots,alpha_n) A=(α1​,⋯,αn​),则
∥ U A ∥ F 2 = ∥ U ( α 1 , ⋯ , α n ) ∥ F 2 = ∑ i = 1 n ∥ U α i ∥ 2 2 = ∑ i = 1 n ∥ α i ∥ 2 2 = ∥ A ∥ F 2 begin{aligned} &quad Vert UA Vert_F^2\ &= Vert U(alpha_1,cdots ,alpha_n) Vert_F^2\ &=sum_{i=1}^{n}Vert Ualpha_iVert_2^2\ &=sum_{i=1}^{n}Vertalpha_i Vert_2^2\ &=Vert A Vert_F^2 end{aligned} ​∥UA∥F2​=∥U(α1​,⋯,αn​)∥F2​=i=1∑n​∥Uαi​∥22​=i=1∑n​∥αi​∥22​=∥A∥F2​​
于是
∥ U A ∥ F = ∥ A ∥ F Vert UA Vert_F= Vert A Vert_F ∥UA∥F​=∥A∥F​
而
∥ A V ∥ F = ∥ ( A V ) H ∥ F = ∥ V H A H ∥ F = ∥ A H ∥ F = ∥ A ∥ F Vert AV Vert_F = Vert (AV)^H Vert_F= Vert V^H A^H Vert_F=Vert A^H Vert_F = Vert A Vert_F ∥AV∥F​=∥(AV)H∥F​=∥VHAH∥F​=∥AH∥F​=∥A∥F​

推论

与 A A A酉相似的矩阵的F范数相同
即 B = U H A U B=U^HAU B=UHAU，则 ∥ B ∥ F = ∥ A ∥ F Vert B Vert_F= Vert A Vert_F ∥B∥F​=∥A∥F​,其中 U U U是酉矩阵

谱范数的性质和谱半径

定理1

设 A ∈ C m × n Ain mathbb{C}^{mtimes n} A∈Cm×n,则
（1） ∥ A ∥ 2 = max ⁡ ∥ x ∥ 2 = ∥ y ∥ 2 = 1 ∣ y H A x ∣ , x ∈ C n , y ∈ C m Vert A Vert_2 =maxlimits_{Vert x Vert_2=Vert y Vert_2=1} left| y^H Axright|,x in mathbb{C}^{n},yin mathbb{C}^{m} ∥A∥2​=∥x∥2​=∥y∥2​=1max​∣∣​yHAx∣∣​,x∈Cn,y∈Cm
（2） ∥ A H ∥ 2 = ∥ A ∥ 2 Vert A^H Vert_2= Vert A Vert_2 ∥AH∥2​=∥A∥2​
（3） ∥ A H A ∥ 2 = ∥ A ∥ F 2 Vert A^H A Vert_2 = Vert AVert_F^2 ∥AHA∥2​=∥A∥F2​
证明：
（1）对满足 ∥ x ∥ 2 = ∥ y ∥ 2 = 1 Vert x Vert_2=Vert y Vert_2=1 ∥x∥2​=∥y∥2​=1的 x , y x,y x,y,有
∣ y H A x ∣ ≤ ∥ y ∥ 2 ∥ A x ∥ 2 ≤ ∥ A ∥ 2 left| y^H Ax right| le Vert y Vert_2 Vert Ax Vert_2 le Vert A Vert_2 ∣∣​yHAx∣∣​≤∥y∥2​∥Ax∥2​≤∥A∥2​
设有 ∥ x ∥ 2 = 1 Vert x Vert_2=1 ∥x∥2​=1，使得 ∥ A x ∥ 2 = ∥ A ∥ 2 ≠ 0 Vert Ax Vert_2= Vert A Vert_2 neq 0 ∥Ax∥2​=∥A∥2​​=0
令 y = A x ∥ A x ∥ 2 y=frac{Ax}{Vert Ax Vert_2} y=∥Ax∥2​Ax​,就有
∣ y H A x ∣ = ∥ A x ∥ 2 2 ∥ A x ∥ 2 = ∥ A x ∥ 2 = ∥ A ∥ 2 left|y^H Axright|=frac{Vert Ax Vert_2^2}{Vert Ax Vert_2}= Vert Ax Vert_2=Vert A Vert_2 ∣∣​yHAx∣∣​=∥Ax∥2​∥Ax∥22​​=∥Ax∥2​=∥A∥2​
从而
max ⁡ ∥ x ∥ 2 = ∥ y ∥ 2 = 1 ∣ y H A x ∣ = ∥ A ∥ 2 maxlimits_{Vert x Vert_2=Vert y Vert_2=1}left| y^H Ax right|= Vert A Vert_2 ∥x∥2​=∥y∥2​=1max​∣∣​yHAx∣∣​=∥A∥2​
（2）
∥ A ∥ 2 = max ⁡ ∥ x ∥ 2 = ∥ y ∥ 2 = 1 ∣ y H A x ∣ = max ⁡ ∥ x ∥ 2 = ∥ y ∥ 2 = 1 ∣ x H A H y ∣ = ∥ A H ∥ 2 begin{aligned} &quad Vert A Vert_2\ &=maxlimits_{Vert x Vert_2=Vert y Vert_2=1} left| y^H Ax right|\ &=maxlimits_{Vert x Vert_2=Vert y Vert_2=1}left| x^H A^H y right|\ &=Vert A^H Vert_2 end{aligned} ​∥A∥2​=∥x∥2​=∥y∥2​=1max​∣∣​yHAx∣∣​=∥x∥2​=∥y∥2​=1max​∣∣​xHAHy∣∣​=∥AH∥2​​
（3）
由 ∥ A H A ∥ 2 ≤ ∥ A H ∥ 2 ∥ A ∥ 2 , ∥ A H ∥ 2 = ∥ A ∥ 2 Vert A^H AVert_2 le Vert A^H Vert_2 Vert A Vert_2,Vert A^H Vert_2= Vert A Vert_2 ∥AHA∥2​≤∥AH∥2​∥A∥2​,∥AH∥2​=∥A∥2​,有
∥ A H A ∥ 2 ≤ ∥ A ∥ 2 2 Vert A^HA Vert_2 le Vert A Vert_2^2 ∥AHA∥2​≤∥A∥22​
令 ∥ x ∥ 2 = 1 Vert x Vert_2=1 ∥x∥2​=1,使得 ∥ A x ∥ 2 = ∥ A ∥ 2 Vert Ax Vert_2= Vert A Vert_2 ∥Ax∥2​=∥A∥2​,于是
∥ A H A ∥ 2 ≥ max ⁡ ∥ x ∥ 2 = 1 ∣ x H A H A x ∣ = max ⁡ ∥ x ∥ 2 = 1 ∥ A x ∥ 2 2 = ∥ A ∥ 2 2 begin{aligned} &quad Vert A^HA Vert_2\ &gemaxlimits_{Vert xVert_2=1}left|x^HA^H Axright|\ &=maxlimits_{Vert x Vert_2=1} Vert Ax Vert_2^2\ &= Vert A Vert_2^2 end{aligned} ​∥AHA∥2​≥∥x∥2​=1max​∣∣​xHAHAx∣∣​=∥x∥2​=1max​∥Ax∥22​=∥A∥22​​

定理2

设 A ∈ C m × n , U ∈ C m × n , V ∈ C n × n Ain mathbb{C}^{mtimes n},Uin mathbb{C}^{mtimes n},V in mathbb{C}^{ntimes n} A∈Cm×n,U∈Cm×n,V∈Cn×n,且 U H U = I m , V H V = I n U^HU=I_m,V^HV=I_n UHU=Im​,VHV=In​,则
∥ U A V ∥ 2 = ∥ A ∥ 2 Vert UAV Vert_2 = Vert A Vert_2 ∥UAV∥2​=∥A∥2​

证明：
令 v = V H x , u = U y v=V^Hx,u=Uy v=VHx,u=Uy,则
∥ x ∥ 2 = 1 ⇔ ∥ v ∥ 2 = 1 Vert x Vert_2=1 Leftrightarrow Vert v Vert_2=1 ∥x∥2​=1⇔∥v∥2​=1
∥ y ∥ 2 = 1 ⇔ ∥ u ∥ 2 = 1 Vert y Vert_2 =1 Leftrightarrow Vert u Vert_2=1 ∥y∥2​=1⇔∥u∥2​=1
于是
∥ A ∥ 2 = max ⁡ ∥ x ∥ 2 = ∥ y ∥ 2 = 1 ∣ y H A x ∣ = max ⁡ ∥ v ∥ 2 = ∥ u ∥ 2 = 1 ∣ u H U A V v ∣ = ∥ U A V ∥ 2 begin{aligned} &quad Vert A Vert_2\ &=maxlimits_{Vert x Vert_2=Vert y Vert_2=1}left| y^H Ax right|\ &=max limits_{Vert v Vert_2 =Vert u Vert_2=1}left|u^HUAVvright|\ &=Vert UAV Vert_2 end{aligned} ​∥A∥2​=∥x∥2​=∥y∥2​=1max​∣∣​yHAx∣∣​=∥v∥2​=∥u∥2​=1max​∣∣​uHUAVv∣∣​=∥UAV∥2​​

定理3

设 A ∈ C n × n A in mathbb{C}^{ntimes n} A∈Cn×n,若 ∥ A ∥ < 1 Vert A Vert<1 ∥A∥<1,则 I − A I-A I−A为非奇异矩阵，且
∥ ( I − A ) − 1 ∥ ≤ ( 1 − ∥ A ∥ ) − 1 Vert (I-A)^{-1} Vertle (1- Vert A Vert)^{-1} ∥(I−A)−1∥≤(1−∥A∥)−1
证明：
设 x x x为任一非零向量，则
∥ ( I − A ) x ∥ = ∥ x − A x ∥ ≥ ∥ x ∥ − ∥ A x ∥ ≥ ∥ x ∥ − ∥ A ∥ ∥ x ∥ = ( 1 − ∥ A ∥ ) ∥ x ∥ > 0 begin{aligned} &quad Vert (I-A)x Vert\ &= Vert x-Ax Vert\ &ge Vert x Vert- Vert Ax Vert\ &ge Vert x Vert- Vert A Vert Vert x Vert\ &=(1-Vert A Vert)Vert x Vert\ &>0 end{aligned} ​∥(I−A)x∥=∥x−Ax∥≥∥x∥−∥Ax∥≥∥x∥−∥A∥∥x∥=(1−∥A∥)∥x∥>0​
所以，若 x ≠ 0 xneq 0 x​=0,则 ( I − A ) x ≠ 0 (I-A)x neq 0 (I−A)x​=0
从而方程
( I − A ) x = 0 (I-A)x=0 (I−A)x=0
无非零解，故 I − A I-A I−A非奇异
( I − A ) − 1 = ( ( I − A ) + A ) ( I − A ) − 1 = I + A ( I − A ) − 1 begin{aligned} (I-A)^{-1}&=((I-A)+A)(I-A)^{-1}\ &=I+A(I-A)^{-1} end{aligned} (I−A)−1​=((I−A)+A)(I−A)−1=I+A(I−A)−1​
从而
∥ ( I − A ) − 1 ∥ = ∥ I + A ( I − A ) − 1 ∥ ≤ ∥ I ∥ + ∥ A ∥ ∥ ( I − A ) − 1 ∥ = 1 + ∥ A ∥ ∥ ( I − A ) − 1 ∥ begin{aligned} &quad Vert (I-A)^{-1} Vert\ &=Vert I+A(I-A)^{-1} Vert\ &le Vert I Vert + Vert A Vert Vert (I-A)^{-1} Vert\ &=1+Vert A Vert Vert (I-A)^{-1} Vert end{aligned} ​∥(I−A)−1∥=∥I+A(I−A)−1∥≤∥I∥+∥A∥∥(I−A)−1∥=1+∥A∥∥(I−A)−1∥​
观察首尾，得到
∥ ( I − A ) − 1 ∥ ≤ ( 1 − ∥ A ∥ ) − 1 Vert (I-A)^{-1} Vertle (1- Vert A Vert)^{-1} ∥(I−A)−1∥≤(1−∥A∥)−1

谱半径

设 A ∈ C n × n Ain mathbb{C}^{ntimes n} A∈Cn×n, λ 1 , ⋯ , λ n lambda_1,cdots, lambda_n λ1​,⋯,λn​为 A A A的特征值，我们称
ρ ( A ) = max ⁡ i ∣ λ i ∣ rho(A)=max limits_{i}left|lambda_iright| ρ(A)=imax​∣λi​∣
为 A A A的谱半径

特征值上界

对于任意矩阵 A ∈ C n × n Ain mathbb{C}^{ntimes n} A∈Cn×n,总有
ρ ( A ) ≤ ∥ A ∥ rho(A)le Vert A Vert ρ(A)≤∥A∥
证明：
设 λ lambda λ是 A A A的任一特征值， x x x为对应的特征向量，则有 A x λ x Axlambda x Axλx
根据相容性
∣ λ ∣ ∥ x ∥ = ∥ λ x ∥ ≤ ∥ A ∥ ∥ x ∥ left|lambda right| Vert x Vert = Vert lambda x Vert le Vert A Vert Vert x Vert ∣λ∣∥x∥=∥λx∥≤∥A∥∥x∥
于是
∣ λ ∣ ≤ ∥ A ∥ left|lambda right| le Vert A Vert ∣λ∣≤∥A∥
有
ρ ( A ) ≤ ∥ A ∥ rho(A) le Vert A Vert ρ(A)≤∥A∥

定理4

如果 A ∈ C n × n Ain mathbb{C}^{ntimes n} A∈Cn×n,且 A A A是正规矩阵（包括实对称矩阵），则
ρ ( A ) = ∥ A ∥ 2 rho(A)=Vert A Vert_2 ρ(A)=∥A∥2​
证明：
因为是正规矩阵，存在酉矩阵 U U U，使得
U H A U = d i a g ( λ 1 , ⋯ , λ n ) = A U^H AU =diag(lambda_1,cdots,lambda_n)=A UHAU=diag(λ1​,⋯,λn​)=A
于是
∥ A ∥ 2 = ∥ U H A U ∥ = ∥ d i a g ( λ 1 , ⋯ , λ n ) ∥ = λ max ⁡ ( A H A ) = max ⁡ i ( λ ‾ i λ i ) = max ⁡ i ∣ λ i ∣ 2 = ρ ( A ) begin{aligned} &quad Vert A Vert_2\ &= Vert U^H AU Vert\ &=Vert diag(lambda_1,cdots , lambda_n)Vert\ &=sqrt{lambda_{max}(A^HA)}\ &=sqrt{maxlimits_{i}(overline{lambda}_ilambda_i)}\ &=sqrt{maxlimits_{i}left|lambda_iright|^2}\ &=rho(A) end{aligned} ​∥A∥2​=∥UHAU∥=∥diag(λ1​,⋯,λn​)∥=λmax​(AHA) ​=imax​(λi​λi​) ​=imax​∣λi​∣2 ​=ρ(A)​

定理5

对于任意非奇异矩阵 A ∈ C n × n Ain mathbb{C}^{ntimes n} A∈Cn×n, A A A的谱范数为
∥ A ∥ 2 = ρ ( A H A ) = ρ ( A A H ) Vert A Vert_2 = sqrt{rho(A^HA)}=sqrt{rho(AA^H)} ∥A∥2​=ρ(AHA) ​=ρ(AAH) ​
证明：
∥ A ∥ 2 = λ max ⁡ ( A H A ) = ρ ( A H A ) begin{aligned} &quad Vert A Vert_2\ &=sqrt{lambda_{max}(A^HA)}\ &=sqrt{rho(A^HA)} end{aligned} ​∥A∥2​=λmax​(AHA) ​=ρ(AHA) ​​
因为 A A H = A ( A H A ) A − 1 AA^H=A(A^HA)A^{-1} AAH=A(AHA)A−1,所以 A A H ∼ A H A AA^Hsim A^HA AAH∼AHA,特征值相同，从而
∥ A ∥ 2 = ρ ( A H A ) = ρ ( A A H ) Vert A Vert_2= sqrt{rho(A^HA)}=sqrt{rho(AA^H)} ∥A∥2​=ρ(AHA) ​=ρ(AAH) ​