奇异值和Moore-Penrose逆 · 纠缠理论的数学基础

B.1奇异值

设 $U$ 和 $V$ 是域 $C$ 或 $R$ 上的 $n$ 维内积空间， $τ \in L (U, V)$ 。根据定理 7.10， $τ^{*} τ$ 是正算子，此时 $U$ 具有由 $τ^{*} τ$ 的本征向量构成的有序标准正交基 $B = (u_{1}, \dots, u_{r}, u_{r + 1}, \dots, u_{n})$ ，其中 $n = dim (U)$ ，对应的本征值满足 $λ_{1} \geq \dots \geq λ_{r} > 0 = λ_{r + 1} = \dots = λ_{n}$ 。根据命题 7.2，向量集 $(u_{1}, \dots, u_{r})$ 和 $(u_{r + 1}, \dots, u_{n})$ 分别是 $ker (τ^{*} τ)^{⊥} = im ((τ^{*} τ)^{*}) = im (τ^{*} τ) = im (τ^{*}) = ker (τ)^{⊥}$ 和 $ker (τ^{*} τ) = ker (τ)$ 的有序标准正交基。对于 $i = 1, \dots, r$ ，正数 $s_{i} = λ_{i}$ 称为 $τ$ 的奇异值（singular value）；对于 $i = r + 1, \dots, n$ ，取 $s_{i} = 0$ 。那么对于每个 $i \leq r$ 和 $u_{i} \in U$ ，可定义相应的 $v_{i} = s_{i}^{- 1} τ u_{i} \in V$ 。由此我们可以得到 $τ$ 与 $τ^{*}$ 之间的某种“对称性”：

τ u_{i} = {s_{i} v_{i}, 0, i \leq r, i > r and τ^{*} v_{i} = s_{i}^{- 1} τ^{*} τ u_{i} = s_{i} u_{i} = {s_{i} u_{i}, 0, i \leq r, i > r .

(B.1.1)

此外，根据上述定义，各 $v_{i}$ 也是标准正交的：当 $i, j \leq r$ 且 $i \neq = j$ 时，

⟨ v_{i}, v_{j} ⟩ = \frac{1}{s _{i} s _{j}} ⟨ τ u_{i}, τ u_{j} ⟩ = \frac{1}{s _{i} s _{j}} ⟨ u_{i}, τ^{*} τ u_{j} ⟩ = \frac{s _{j}}{s _{i}} ⟨ u_{i}, u_{j} ⟩ = δ_{i, j},

(B.1.2)

同时可利用Gram-Schmidt增广（定理 5.6）将有序标准正交集 $(v_{1}, \dots, v_{r})$ 延拓为 $V$ 上一组标准正交基。最后，注意到 $(τ τ^{*}) v_{i} = τ (s_{i} u_{i}) = s_{i} (s_{i} v_{i}) = λ_{i} v_{i}$ ，因此 $(v_{1}, \dots, v_{r})$ 也是 $τ τ^{*}$ 的本征向量，对应的本征值同样为 $λ_{1}, \dots, λ_{r}$ 。将上述讨论整理后，可得到如下定理。

定理 B.1

设 $U$ 和 $V$ 为 $C$ 或 $R$ 上的 $n$ 维内积空间， $τ \in L (U, V)$ 具有秩 $r$ ，则分别存在 $U$ 和 $V$ 的有序标准正交基（ordered orthonormal basis, abbreviated as ONB） $B$ 和 $C$ ，使得

B = (ONB for im (τ^{*}) u_{1}, \dots, u_{r}, ONB for ker (τ) u_{r + 1}, \dots, u_{n}),

(B.1.3)

C = (ONB for im (τ) v_{1}, \dots, v_{r}, ONB for ker (τ^{*}) v_{r + 1}, \dots, v_{n}) .

(B.1.4)

此外，对于 $1 \leq k \leq r$ ， $τ u_{i} = s_{i} v_{i}$ 且 $τ^{*} v_{i} = s_{i} u_{i}$ ，其中 $s_{i} > 0$ 称为 $τ$ 的奇异值，定义为 $(τ^{*} τ) u_{i} = s_{i}^{2} u_{i}$ 。向量 $u_{1}, \dots, u_{r}$ 称为 $τ$ 的右奇异向量（right singular vector），而向量 $v_{1}, \dots, v_{r}$ 称为 $τ$ 的左奇异向量（left singular vector）。

该结论的一个重要结果是奇异值分解（singular value decomposition）。设 $A \in M_{m, n} (F)$ ， $B = (u_{1}, \dots, u_{n})$ 和 $C = (v_{1}, \dots, v_{m})$ 分别为来自 $U$ 和 $V$ 的标准正交基，那么

[τ]_{B, C} = ([τ (u_{1})]_{C}, \dots, [τ (u_{n})]_{C}) = diag (s_{1}, \dots, s_{r}, (n - r) terms 0, \dots, 0) = Δ Σ.

(B.1.5)

根据定理 3.7，设 $A = [τ]_{E_{n}, E_{m}}$ ，那么 $A = M_{C, E_{m}} [τ]_{B, C} M_{E_{n}, B} = P Σ Q^{*}$ ，其中 $P = M_{C, E_{m}}$ 和 $Q = M_{B, E_{n}}$ 是幺正或正交的。这就是奇异值分解。至于分解的唯一性，设 $A = P Σ Q^{*}$ ，则 $A^{*} A = Q (Σ^{*} Σ) Q^{*}$ ，其中 $Σ^{*} Σ = diag (s_{1}, \dots, s_{n}^{2})$ 。那么 $(A^{*} A) Q^{(j)} = s_{j}^{2} Q^{(j)}$ ，即 $s_{j}^{2}$ 是 $A^{*} A$ 的本征值，因此 $Σ$ 由 $A$ 唯一确定（但 $P$ 和 $Q$ 未必唯一）。

注

我们不加证明地给出如下唯一性事实：若 $n \leq m$ 且本征值 $λ_{i}$ 不同，则 $P$ 唯一确定，最多右乘一个形如 $D = diag (z_{1}, \dots, z_{m})$ 的对角阵，其中 $∣ z_{i} ∣ = 1$ ；若 $n < m$ ，则 $Q$ 不唯一确定；若 $m = n = r$ ，则对于任意给定的 $P$ ，存在唯一的 $Q$ 。由此我们可以看出，通常奇异值分解是不唯一的。

B.2Moore-Penrose逆

根据上一节的讨论，我们定义线性变换 $τ^{+} : V \to U$ 为 $τ^{+} v_{i} = {s_{i}^{- 1} u_{i}, 0, if i \leq r, if i > r .$ 若 $n = m = r$ ，则 $τ^{+} = τ^{- 1}$ 。线性变换 $τ^{+}$ 称为 $τ$ 的Moore-Penrose广义逆（Moore-Penrose generalized inverse）或Moore-Penrose伪逆（Moore-Penrose pseudoinverse）；后面简称MP逆。

定理 B.2

设 $τ \in L (U, V)$ ，则 $τ$ 的MP逆完全由如下性质刻画：

$τ τ^{+} τ = τ$ ；
$τ^{+} τ τ^{+} = τ^{+}$ ；
$τ τ^{+}$ 厄米；
$τ^{+} τ$ 厄米。

证明

该结论的充要性容易证明，其中必要性可通过 $(τ τ^{+}) v_{i} = v_{i}$ 以及设 $τ v_{i} = \sum_{j} r_{j} u_{j}$ 证明。现在我们证明其唯一性：对于任意满足上述条件的MP逆 $ρ$ 和 $σ$ ，

ρ = ρ τ ρ = (ρ τ)^{*} ρ = τ^{*} ρ^{*} ρ = (τ σ τ)^{*} ρ^{*} ρ = (σ τ)^{*} τ^{*} ρ^{*} ρ = (σ τ) (ρ τ)^{*} ρ = σ τ (ρ τ ρ) = σ τ ρ,

(B.2.1)

σ = σ τ σ = σ (τ σ)^{*} = σ σ^{*} τ = σ σ^{*} (τ ρ τ)^{*} = σ σ^{*} τ^{*} (τ ρ)^{*} = σ (τ σ)^{*} (τ ρ) = (σ τ σ) τ ρ = σ τ ρ .

(B.2.2)

可见 $ρ = σ$ ，即满足上述性质的MP逆唯一。

B.3最小二乘逼近

MP逆最重要的应用是最小二乘问题。考虑线性方程组 $A x = v$ ，其中 $A \in M_{m, n} (F)$ ，通常 $F = C$ 或 $R$ 。该方程组有解当且仅当 $v \in im (τ_{A})$ ；若方程组无解，则求解方程 $A x = v^$ 具有重要的实际意义，其中 $v^$ 是 $im (τ_{A})$ 中按幺正距离或Euclidean距离唯一最接近 $v$ 的向量（定理 5.9）。此问题称为线性最小二乘（linear least squares）问题，该方程组 $A x = v^$ 的任意解称为方程组 $A x = v$ 的最小二乘解（least square solution）。换言之， $A x = v$ 的最小二乘解是使得 $∥ A x - v ∥$ 最小化的向量 $x$ 。设 $w$ 和 $z$ 是 $A x = v$ 的最小二乘解，则 $A w = v^= A z$ ，因此 $w - z \in ker (τ_{A})$ 。这意味着如果 $w$ 是某个特定的最小二乘解，那么所有最小二乘解构成的集合为 $w + ker (A)$ 。在所有解中，我们最感兴趣的是具有极小范数的解。如果存在处于 $ker (A)^{⊥}$ 内的最小二乘解 $w$ ，那么对于任意 $z \in ker (A)$ ，我们有 $∥ w + z ∥^{2} = ∥ w ∥^{2} + ∥ z ∥^{2} \geq ∥ w ∥^{2}$ 。因此 $w$ 将是唯一具有极小范数的最小二乘解。

定理 B.3

设 $A \in M_{m, n} (F)$ ，那么在方程组 $A x = v^$ 的所有最小二乘解中，存在唯一极小范数解 $A^{+} v$ ，其中 $A^{+}$ 是 $A$ 的MP逆。

证明

向量 $w$ 是最小二乘解当且仅当 $A w = v^\in im (τ_{A})$ ，那么根据定理 5.9，该条件等价于 $(A w - v) ⊥ im (τ_{A})$ 。根据命题 7.2， $im (τ_{A})^{⊥} = ker (τ_{A}^{*})$ ，因此上述条件等价于 $A w - v \in ker (τ_{A}^{*})$ ，即 $0 = τ_{A}^{*} (A w - v)$ ，整理得 $(A^{*} A) w = A^{*} v$ 。该方程称为 $A x = v$ 的正规方程（normal equation），其解恰好为方程组 $A x = v$ 的最小二乘解。对于 $V$ 中 $A A^{*}$ 的本征向量构成的一组基 $C = (v_{1}, \dots, v_{m})$ ，代入 $w = A^{+} v_{i}$ 知 $(A^{*} A) (A^{+} v_{i}) = s_{i}^{- 1} A A^{*} u_{i} = s_{i} u_{i} = A^{*} v_{i}$ 。利用该方程的线性，可知 $(A^{*} A) (A^{+} v) = A^{*} v$ 。根据定理 5.9，该解存在即唯一。