第 9 章 欧几里得空间

本章整理内积与范数、柯西-施瓦茨不等式、标准正交基、格拉姆-施密特正交化、正交补与投影、正交变换与正交矩阵、实对称矩阵的正交对角化以及最小二乘。欧几里得空间是带有度量结构的线性空间。

9.1 内积与范数

9.1.1 内积的定义

设 $V$ 是实数域上的线性空间。若对任意 $\alpha,\beta\in V$，有唯一的实数 $\langle\alpha,\beta\rangle$ 与之对应，并满足： （1）对称性：$\langle\alpha,\beta\rangle=\langle\beta,\alpha\rangle$； （2）线性性：$\langle k\alpha+\beta,\gamma\rangle=k\langle\alpha,\gamma\rangle+\langle\beta,\gamma\rangle$； （3）正定性：$\langle\alpha,\alpha\rangle\ge0$，且 $\langle\alpha,\alpha\rangle=0$ 当且仅当 $\alpha=\mathbf0$， 则称 $\langle\cdot,\cdot\rangle$ 为 $V$ 上的内积，$V$ 称为欧几里得空间。

  • 常见内积：
    • $\mathbb{R}^n$ 的标准内积： $$\langle x,y\rangle=\sum_{i=1}^nx_iy_i.$$
    • 加权内积： $$\langle x,y\rangle=\sum_{i=1}^nw_ix_iy_i,\qquad w_i>0.$$
    • 连续函数空间 $C[a,b]$： $$\langle f,g\rangle=\int_a^bf(x)g(x),\mathrm dx.$$
  • 内积是对称双线性函数，且正定。

9.1.2 范数与距离

由内积诱导的范数： $$|\alpha|=\sqrt{\langle\alpha,\alpha\rangle}.$$

  • 距离： $$d(\alpha,\beta)=|\alpha-\beta|.$$
  • 范数的性质：
    • $|\alpha|\ge0$，$|\alpha|=0\iff\alpha=\mathbf0$；
    • $|k\alpha|=|k|,|\alpha|$；
    • 三角不等式：$|\alpha+\beta|\le|\alpha|+|\beta|$。
  • 单位向量：范数为 $1$ 的向量。非零向量 $\alpha$ 的单位化： $$\frac\alpha{|\alpha|}.$$

9.1.3 夹角与正交

  • 柯西-施瓦茨不等式： $$|\langle\alpha,\beta\rangle|\le|\alpha|,|\beta|,$$ 等号当且仅当 $\alpha,\beta$ 线性相关。
  • 夹角： $$\cos\theta=\frac{\langle\alpha,\beta\rangle}{|\alpha|,|\beta|}\quad(\alpha,\beta\ne\mathbf0).$$
  • 正交：若 $\langle\alpha,\beta\rangle=0$，则称 $\alpha$ 与 $\beta$ 正交，记作 $\alpha\perp\beta$。
  • 零向量与任何向量正交。
  • 勾股定理：若 $\alpha\perp\beta$，则 $$|\alpha+\beta|^2=|\alpha|^2+|\beta|^2.$$
  • 平行四边形法则： $$|\alpha+\beta|^2+|\alpha-\beta|^2=2|\alpha|^2+2|\beta|^2.$$

9.1.4 度量矩阵

设 $\alpha_1,\dots,\alpha_n$ 是 $V$ 的一组基，称 $$G=(\langle\alpha_i,\alpha_j\rangle)_{n\times n}$$ 为这组基的度量矩阵（格拉姆矩阵）。

  • $G$ 是对称正定矩阵。
  • 若 $\alpha=\sum x_i\alpha_i$，$\beta=\sum y_i\alpha_i$，则 $$\langle\alpha,\beta\rangle=x^{\mathrm T}Gy,$$ 其中 $x,y$ 分别为 $\alpha,\beta$ 的坐标。
  • 基为标准正交基时，$G=I$，内积就是坐标的标准点积。

9.2 标准正交基

9.2.1 定义

若基 $\alpha_1,\dots,\alpha_n$ 满足 $$\langle\alpha_i,\alpha_j\rangle=\delta_{ij} =\begin{cases}1,&i=j,\0,&i\ne j,\end{cases}$$ 则称为标准正交基。

  • 标准正交基的度量矩阵是单位矩阵。
  • 在标准正交基下，坐标和内积的计算最简便： $$\langle\alpha,\beta\rangle=\sum_{i=1}^nx_iy_i,\qquad |\alpha|=\sqrt{\sum_{i=1}^nx_i^2}.$$
  • 标准正交基中任意两个向量正交，且每个向量长度为 $1$。

9.2.2 格拉姆-施密特正交化

设 $\alpha_1,\dots,\alpha_m$ 线性无关，令 $$\beta_1=\alpha_1,$$ $$\beta_k=\alpha_k-\sum_{j=1}^{k-1}\frac{\langle\alpha_k,\beta_j\rangle}{\langle\beta_j,\beta_j\rangle}\beta_j \quad(k=2,\dots,m),$$ 则 $\beta_1,\dots,\beta_m$ 两两正交，且与 $\alpha_1,\dots,\alpha_m$ 等价。 再令 $$e_k=\frac{\beta_k}{|\beta_k|},$$ 则 $e_1,\dots,e_m$ 是标准正交向量组。

  • 格拉姆-施密特正交化不改变张成的子空间。
  • 若 $\alpha_1,\dots,\alpha_n$ 是基，则 $e_1,\dots,e_n$ 是标准正交基。
  • 计算时先正交化，再单位化。

正交投影与格拉姆-施密特正交化

9.2.3 $QR$ 分解

  • 设 $A$ 为 $m\times n$ 矩阵，列向量线性无关，则存在 $m\times n$ 矩阵 $Q$（列向量标准正交）和 $n$ 阶上三角可逆矩阵 $R$，使 $$A=QR.$$
  • $Q$ 的列由 $A$ 的列经格拉姆-施密特正交化得到，$R$ 记录正交化过程中的系数。
  • $QR$ 分解在数值线性代数中用于求解最小二乘问题和特征值计算。

9.3 正交补与投影

9.3.1 正交补

设 $W$ 是欧几里得空间 $V$ 的子空间，称 $$W^\perp={\alpha\in V\mid\langle\alpha,\beta\rangle=0\text{ 对一切 }\beta\in W}$$ 为 $W$ 的正交补。

  • $W^\perp$ 是 $V$ 的子空间。
  • $V=W\oplus W^\perp$。
  • $\dim W+\dim W^\perp=\dim V$。
  • $(W^\perp)^\perp=W$。
  • 若 $W_1\subseteq W_2$，则 $W_2^\perp\subseteq W_1^\perp$。

9.3.2 正交投影

设 $V=W\oplus W^\perp$。对 $\alpha\in V$，存在唯一的分解 $$\alpha=\alpha_W+\alpha_{W^\perp},\qquad \alpha_W\in W,\ \alpha_{W^\perp}\in W^\perp.$$ 称 $\alpha_W$ 为 $\alpha$ 在 $W$ 上的正交投影。

  • 若 $e_1,\dots,e_k$ 是 $W$ 的标准正交基，则 $$\alpha_W=\sum_{i=1}^k\langle\alpha,e_i\rangle e_i.$$
  • 投影是线性变换，且满足 $P^2=P$，$P^*=P$（自伴）。
  • $\ker P=W^\perp$，$\operatorname{Im}P=W$。

9.3.3 最佳逼近

正交投影 $\alpha_W$ 是 $W$ 中与 $\alpha$ 距离最近的向量： $$|\alpha-\alpha_W|\le|\alpha-\beta|\quad(\beta\in W).$$

  • 等号当且仅当 $\beta=\alpha_W$。
  • 最小距离： $$d(\alpha,W)=|\alpha-\alpha_{W^\perp}|.$$
  • 求点到平面的距离、最小二乘等问题都可用正交投影。

9.4 正交变换与正交矩阵

9.4.1 正交变换

设 $T$ 是欧几里得空间 $V$ 上的线性变换。若对任意 $\alpha,\beta\in V$，都有 $$\langle T(\alpha),T(\beta)\rangle=\langle\alpha,\beta\rangle,$$ 则称 $T$ 为正交变换。

  • 正交变换保持内积、范数、距离和夹角。
  • 以下条件等价：
    1. $T$ 是正交变换；
    2. $T$ 保持范数：$|T(\alpha)|=|\alpha|$；
    3. $T$ 把标准正交基映为标准正交基；
    4. $T$ 在一组标准正交基下的矩阵是正交矩阵。
  • 正交变换可逆，且 $T^{-1}$ 也是正交变换。

9.4.2 正交矩阵

若实方阵 $A$ 满足 $$A^{\mathrm T}A=AA^{\mathrm T}=I,$$ 则称 $A$ 为正交矩阵。

  • 正交矩阵的列（行）向量构成标准正交基。
  • $A^{-1}=A^{\mathrm T}$。
  • 正交矩阵的乘积仍是正交矩阵。
  • $|A|=\pm1$。
  • 正交矩阵的特征值（在复数域上）的模为 $1$；实特征值只能为 $\pm1$。
  • 二阶正交矩阵：
    • 旋转： $$\begin{pmatrix}\cos\theta&-\sin\theta\\sin\theta&\cos\theta\end{pmatrix};$$
    • 反射： $$\begin{pmatrix}\cos\theta&\sin\theta\\sin\theta&-\cos\theta\end{pmatrix}.$$

9.5 实对称矩阵的正交对角化

设 $A$ 为 $n$ 阶实对称矩阵，则存在正交矩阵 $Q$，使 $$Q^{\mathrm T}AQ=\operatorname{diag}(\lambda_1,\dots,\lambda_n),$$ 其中 $\lambda_1,\dots,\lambda_n$ 是 $A$ 的特征值（计重数）。

  • 实对称矩阵的特征值全为实数。
  • 属于不同特征值的特征向量正交。
  • 对重特征值，需取其特征子空间的标准正交基。
  • 正交对角化的步骤：
    1. 求特征值和特征向量；
    2. 对每个特征子空间求标准正交基；
    3. 把所有标准正交特征向量按列排成 $Q$；
    4. 则 $Q^{\mathrm T}AQ$ 为对角矩阵，对角元与 $Q$ 的列顺序一致。
  • 实对称矩阵正定当且仅当其全部特征值为正。

9.6 最小二乘

设 $A$ 为 $m\times n$ 矩阵，$b\in\mathbb{R}^m$。若 $x_0$ 使 $$|Ax_0-b|=\min_{x\in\mathbb{R}^n}|Ax-b|,$$ 则称 $x_0$ 为最小二乘解。

  • 最小二乘解等价于求 $b$ 在 $\operatorname{Col}A$ 上的正交投影。
  • 正规方程： $$A^{\mathrm T}Ax=A^{\mathrm T}b.$$
  • 若 $A$ 的列向量线性无关，则 $A^{\mathrm T}A$ 可逆，最小二乘解唯一： $$x_0=(A^{\mathrm T}A)^{-1}A^{\mathrm T}b.$$
  • 线性拟合：对数据点 $(x_i,y_i)$ 拟合直线 $y=a+bx$，由正规方程 $$\begin{cases} na+(\sum x_i)b=\sum y_i,\ (\sum x_i)a+(\sum x_i^2)b=\sum x_iy_i \end{cases}$$ 解出 $a,b$。

9.7 酉空间初步

  • 复线性空间上的内积满足：
    • 共轭对称：$\langle\alpha,\beta\rangle=\overline{\langle\beta,\alpha\rangle}$；
    • 对第一个变量线性；
    • 正定性。
  • 酉矩阵：$A^A=AA^=I$，其中 $A^*$ 是共轭转置。
  • 埃尔米特矩阵：$A^*=A$，其特征值为实数，且可酉对角化。
  • 欧几里得空间的许多结论在酉空间中有平行版本。

9.8 计算步骤总结

  1. 求标准正交基：格拉姆-施密特正交化。
  2. 求正交投影：先用标准正交基表示，或解正规方程。
  3. 正交对角化：求特征值和特征向量，重特征值正交化，单位化，排成 $Q$。
  4. 最小二乘：列正规方程 $A^{\mathrm T}Ax=A^{\mathrm T}b$。
  5. 检查计算结果：正交矩阵满足 $Q^{\mathrm T}Q=I$，投影满足 $P^2=P$。

练习

  1. 在 $\mathbb{R}^3$ 中，求 $\alpha=(1,2,3)$ 与 $\beta=(2,0,1)$ 的内积，以及它们的范数。

  2. 对向量组 $$\alpha_1=(1,1,0),\quad\alpha_2=(1,0,1),\quad\alpha_3=(0,1,1)$$ 作格拉姆-施密特正交化。

  3. 求 $\operatorname{span}{(1,1,0)}$ 在 $\mathbb{R}^3$ 中的正交补。

  4. 求向量 $(1,1,1)$ 在 $\operatorname{span}{(1,1,0)}$ 上的正交投影。

  5. 判断矩阵 $$\begin{pmatrix}\cos\theta&-\sin\theta\\sin\theta&\cos\theta\end{pmatrix}$$ 是否为正交矩阵。

  6. 求正交矩阵 $Q$，使 $$Q^{\mathrm T}\begin{pmatrix}2&1\1&2\end{pmatrix}Q$$ 为对角矩阵。

  7. 用最小二乘法对数据点 $$(0,1),\quad(1,3),\quad(2,4)$$ 拟合直线 $y=a+bx$。

  8. 证明柯西-施瓦茨不等式 $$|\langle\alpha,\beta\rangle|\le|\alpha|,|\beta|.$$

  9. 证明范数的三角不等式 $$|\alpha+\beta|\le|\alpha|+|\beta|.$$

  10. 求点 $(1,2,3)$ 到平面 $x+y+z=0$ 的距离。

  11. 证明：正交变换保持内积。

  12. 求矩阵 $$A=\begin{pmatrix}1&1\1&0\end{pmatrix}$$ 的 $QR$ 分解。

检测题

  1. 在 $\mathbb{R}^3$ 中，求 $(1,0,2)$ 与 $(2,1,0)$ 的内积。

  2. 求向量 $(1,2,2)$ 的范数。

  3. 对向量组 $$(1,0),\quad(1,1)$$ 作格拉姆-施密特正交化。

  4. 求 $\operatorname{span}{(1,0,0)}$ 在 $\mathbb{R}^3$ 中的正交补。

  5. 求向量 $(2,3)$ 在 $\operatorname{span}{(1,0)}$ 上的正交投影。

  6. 判断矩阵 $$\begin{pmatrix}0&-1\1&0\end{pmatrix}$$ 是否为正交矩阵。

  7. 用最小二乘法对数据点 $$(0,0),\quad(1,1),\quad(2,3)$$ 拟合直线 $y=a+bx$。

  8. 求点 $(1,1,0)$ 到平面 $x+y+z=1$ 的距离。

  9. 证明：正交矩阵的行列式为 $\pm1$。

  10. 求正交矩阵 $Q$，使 $$Q^{\mathrm T}\begin{pmatrix}1&2\2&1\end{pmatrix}Q$$ 为对角矩阵。

参考答案与提示

  1. 内积： $$\langle\alpha,\beta\rangle=1\cdot2+2\cdot0+3\cdot1=5.$$ 范数： $$|\alpha|=\sqrt{1+4+9}=\sqrt{14},\qquad |\beta|=\sqrt{4+0+1}=\sqrt5.$$
  2. 令 $$e_1=\frac{(1,1,0)}{\sqrt2}.$$ 再令 $$u_2=(1,0,1)-\frac{(1,0,1)\cdot(1,1,0)}2(1,1,0) =\left(\frac12,-\frac12,1\right),$$ $$e_2=\frac{(1,-1,2)}{\sqrt6}.$$ 最后 $$u_3=(0,1,1)-\frac12(1,1,0)-\frac16(1,-1,2) =\left(-\frac23,\frac23,\frac23\right),$$ $$e_3=\frac{(-1,1,1)}{\sqrt3}.$$
  3. 正交补为 $${x+y=0}=\operatorname{span}{(1,-1,0),(0,0,1)}.$$
  4. 投影为 $$\frac{(1,1,1)\cdot(1,1,0)}{2}(1,1,0)=(1,1,0).$$
  5. 记 $$A=\begin{pmatrix}\cos\theta&-\sin\theta\\sin\theta&\cos\theta\end{pmatrix}.$$ 则 $$A^{\mathrm T}A= \begin{pmatrix}\cos^2+\sin^2&-\cos\sin+\sin\cos\ -\sin\cos+\cos\sin&\sin^2+\cos^2\end{pmatrix}=I,$$ 故为正交矩阵。
  6. 特征值为 $1,3$，单位特征向量分别为 $$\frac1{\sqrt2}(1,-1)^{\mathrm T},\qquad \frac1{\sqrt2}(1,1)^{\mathrm T}.$$ 令 $$Q=\frac1{\sqrt2}\begin{pmatrix}1&1\-1&1\end{pmatrix},$$ 则 $$Q^{\mathrm T}\begin{pmatrix}2&1\1&2\end{pmatrix}Q =\operatorname{diag}(1,3).$$
  7. 设拟合直线为 $y=a+bx$。正规方程为 $$\begin{cases} 3a+3b=8,\ 3a+5b=11. \end{cases}$$ 解得 $b=\dfrac32$，$a=\dfrac76$。故 $$y=\frac76+\frac32x.$$
  8. 若 $\beta=\mathbf0$，不等式显然成立。若 $\beta\ne\mathbf0$，令 $$t=\frac{\langle\alpha,\beta\rangle}{\langle\beta,\beta\rangle},$$ 则 $$0\le|\alpha-t\beta|^2 =|\alpha|^2-\frac{\langle\alpha,\beta\rangle^2}{|\beta|^2},$$ 整理得 $$\langle\alpha,\beta\rangle^2\le|\alpha|^2|\beta|^2.$$
  9. 由柯西-施瓦茨不等式， $$|\alpha+\beta|^2 =|\alpha|^2+2\langle\alpha,\beta\rangle+|\beta|^2 \le|\alpha|^2+2|\alpha||\beta|+|\beta|^2 =(|\alpha|+|\beta|)^2.$$ 开方即得。
  10. 平面 $x+y+z=0$ 的法向量为 $(1,1,1)$，距离为 $$\frac{|1+2+3|}{\sqrt3}=2\sqrt3.$$
  11. 设 $T$ 为正交变换，则按定义 $$\langle T(\alpha),T(\beta)\rangle=\langle\alpha,\beta\rangle,$$ 即正交变换保持内积。
  12. 令 $$q_1=\frac{(1,1)}{\sqrt2}.$$ 则 $$u_2=(1,0)-\frac{(1,0)\cdot(1,1)}2(1,1) =\left(\frac12,-\frac12\right),$$ $$q_2=\frac{(1,-1)}{\sqrt2}.$$ 于是 $$Q=\frac1{\sqrt2}\begin{pmatrix}1&1\1&-1\end{pmatrix},\qquad R=Q^{\mathrm T}A= \begin{pmatrix}\sqrt2&\frac1{\sqrt2}\0&\frac1{\sqrt2}\end{pmatrix}.$$

检测题参考答案

  1. 内积为 $$1\cdot2+0\cdot1+2\cdot0=2.$$
  2. 范数为 $$\sqrt{1+4+4}=3.$$
  3. $e_1=(1,0)$。则 $$u_2=(1,1)-\frac{(1,1)\cdot(1,0)}1(1,0)=(0,1),$$ 故 $e_2=(0,1)$。
  4. 正交补为 $${(0,y,z)\mid y,z\in\mathbb{R}}=\operatorname{span}{(0,1,0),(0,0,1)}.$$
  5. 投影为 $$\frac{(2,3)\cdot(1,0)}1(1,0)=(2,0).$$
  6. 记 $$A=\begin{pmatrix}0&-1\1&0\end{pmatrix}.$$ 则 $$A^{\mathrm T}A=\begin{pmatrix}0&1\-1&0\end{pmatrix} \begin{pmatrix}0&-1\1&0\end{pmatrix}=I,$$ 故为正交矩阵。
  7. 正规方程为 $$\begin{cases} 3a+3b=4,\ 3a+5b=7. \end{cases}$$ 解得 $b=\dfrac32$，$a=-\dfrac16$。故 $$y=-\frac16+\frac32x.$$
  8. 平面 $x+y+z=1$ 的法向量为 $(1,1,1)$，距离为 $$\frac{|1+1+0-1|}{\sqrt3}=\frac1{\sqrt3}.$$
  9. 由 $A^{\mathrm T}A=I$，取行列式得 $$|A|^2=1,$$ 故 $|A|=\pm1$。
  10. 特征值为 $3,-1$。对应单位特征向量可取 $$\frac1{\sqrt2}(1,1)^{\mathrm T},\qquad \frac1{\sqrt2}(1,-1)^{\mathrm T}.$$ 令 $$Q=\frac1{\sqrt2}\begin{pmatrix}1&1\1&-1\end{pmatrix},$$ 则 $$Q^{\mathrm T}\begin{pmatrix}1&2\2&1\end{pmatrix}Q =\operatorname{diag}(3,-1).$$