01 | 基础 ¶

约 3408 个字 1 行代码预计阅读时间 13 分钟

Vectors¶

Norm | 范数 ¶

什么是范数（norm）？以及 L1,L2 范数的简单介绍 _l1 norm-CSDN 博客

应用：聚类、流行学习、特征学习的重点就是设计一种合理的范数

L_{0}

范数

L_{1}

范数

L_{2}

范数

L_{\infty}

范数

L_{p}

范数随机向量范数

指的是非零元素的个数

‖ x ‖_{0} \overset{def}{=} 非零元素的个数

绝对值的和

‖ x ‖_{1} \overset{def}{=} \sum_{i = 1}^{m} | x_{i} | = | x_{1} | + \dots + | x_{m} |

对应 Laplace 分布

Euclidean norm，Frobenius norm

‖ x ‖_{2} = \sqrt{(x_{1})^{2} + \dots + (x_{m})^{2}}

对应 Gaussian 分布

无穷范数

‖ x ‖_{\infty} = max {| x_{1} |, \dots, | x_{m} |}

用于 worst case control 等领域

e = (\begin{matrix} e_{1} \\ ⋮ \\ e_{m} \end{matrix})

L_{\infty} = m a x {| e_{1} |, | e_{2} |, \dots, | e_{m} |}

控制目标：控制最坏情况

\underset{e}{m i n} | | e | |_{\infty}

Hölder 范数

‖ x ‖_{p} = {(\sum_{i = 1}^{m} | x_{i} |^{p})}^{1 / p}, p \geq 1

‖ x (ξ) ‖^{2} \overset{def}{=} E {x^{H} (ξ) x (ξ)}

inner Product | 内积 ¶

内积把向量降维成为标量

典范内积

⟨ x, y ⟩ = x^{H} y = \sum_{i = 1}^{n} x_{i}^{*} y_{i}

加权内积

⟨ x, y ⟩ = x^{H} G y

其中， $G$ 为正定 Hermitian 矩阵（二次型大于零）。

函数向量内积

⟨ x (t), y (t) ⟩ \overset{def}{=} \int_{a}^{b} x^{*} (t) y (t) d t

DFT 变换

X (f) = \sum_{n = 0}^{N - 1} x (n) e^{- j (\frac{2 π}{N}) n f} = e_{N}^{H} x = ⟨ e_{N - 1}, x ⟩

夹角定义

\cos θ \overset{def}{=} \frac{⟨ x, y ⟩}{\sqrt{⟨ x, x ⟩} \sqrt{⟨ y, y ⟩}} = \frac{\int_{a}^{b} x^{H} (t) y (t) d t}{‖ x (t) ‖ \cdot ‖ y (t) ‖}

其中，

‖ x (t) ‖ \overset{def}{=} {(\int_{a}^{b} x^{H} (t) x (t) d t)}^{1 / 2}

随机向量内积

⟨ x (ξ), y (ξ) ⟩ \overset{def}{=} E {x^{H} (ξ) y (ξ)}

outer product | 外积（升维）¶

如果想计算两个向量的正交性

E {x (ξ) y^{H} (ξ)} = O_{m \times n}

两个向量之间互不含有任何成分，不存在任何相互作用或干扰。

rotate¶

Vector Projection¶

特殊矩阵 ¶

对角矩阵 ¶

幂次矩阵 ¶

幂等矩阵的特征值为 0 或 1
幂等矩阵的行列式为 1
幂等矩阵的迹为矩阵的秩
幂等矩阵的逆矩阵为幂等矩阵
幂等矩阵的秩为矩阵的秩
幂等矩阵的特征值为 1

幂零矩阵

幂零矩阵的特征值为 0
幂零矩阵的行列式为 0
幂零矩阵的迹为 0
幂零矩阵的逆矩阵不存在

Hermitian 矩阵 ¶

复共轭对称矩阵 $R = R^{H}$

满足线性关系
相关矩阵、协方差矩阵

R = [\begin{matrix} r_{11} & r_{21}^{*} & r_{31}^{*} & r_{41}^{*} \\ r_{21} & r_{22} & r_{32}^{*} & r_{31}^{*} \\ r_{31} & r_{32} & r_{22} & r_{21}^{*} \\ r_{41} & r_{31} & r_{21} & r_{11} \end{matrix}]

置换矩阵 | permutation matrix ¶

每一行以及每一列只有一个元素为 1，其他元素为 0

性质 - 右乘是对列重新排列 - 左乘是对行进行重新排列

$(P_{m \times n})^{T} = P_{n \times m}$
$P^{T} P = P P^{T} = I$ ，这说明置换矩阵是正交矩阵。
$P^{T} = P^{- 1}$

广义置换矩阵 ¶

\begin{aligned} G = [\begin{array}{c} 0 & 0 & 0 & 0 & α \\ 0 & 0 & β & 0 & 0 \\ 0 & γ & 0 & 0 & 0 \\ 0 & 0 & 0 & λ & 0 \\ ρ & 0 & 0 & 0 & 0 \end{array}] & = [\begin{array}{c} 0 & 0 & 0 & 0 & 1 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 1 & 0 & 0 & 0 & 0 \end{array}] [\begin{array}{c} ρ & 0 \\ γ \\ β \\ λ \\ 0 & α \end{array}] \\ = P \cdot Λ \end{aligned}

一个正方矩阵称为广义置换矩阵，简称 g 矩阵，若其每行和每列有一个并且仅有一个非零元素

G 可写为一个置换矩阵和一个非奇异对角阵的乘积 , $G = P Λ$

作用：观测数据模型

x (t) = As (t) = \sum_{i = 1}^{\infty} a_{i} s_{i} (t)

例子：手机的麦克风阵列，来判定说话的有几个人、什么方向、说的什么内容 ; 阵面接受，阵面接收的信号是多个信号的叠加，这些信号的幅度、相位、频率、方向等参数都不确定，用 $α$ 建模方向，用 $s (t)$ 建模source发出的信号波形

则已知阵列接收的信号 $x (t)$ ，需要恢复出 $s (t)$ ，就是一个求广义逆矩阵的问题

$\hat{s} (t) = A^{†} x (t)$ ， $A^{†} = (A^{T} A)^{- 1} A^{T}$ 广义逆矩阵

得到的 $\hat{s} (t)$ 有两种不确定性：

1) permutation ambiguity 累加导致信号顺序不确定 2) scale ambiguity 信号幅度不确定 $x (t) = \sum_{i = 1}^{n} \frac{a_{i}}{α_{i}} α_{i} s_{i} (t)$

这两种不确定性可以通过广义置换矩阵进行描述

所以，真实信号 $s (t)$ 可以写成：

s (t) = \hat{s} (t) P Λ

如果再进一步，我们把 $x (t)$ 拆分成 1-T 时刻，写成矩阵的形式

X_{m \times T} = A_{m \times n} S_{n \times T}

下一步的问题是，我们是否可以唯一的分解出 $A$ 和 $S$ ？

显然是不可以的中间乘一个可逆矩阵，就可以变换成其他的形式

\begin{aligned} X_{m \times T} & = A_{m \times n} S_{n \times T} \\ = (A_{m \times n} I) (I^{- 1} S_{n \times T}) \\ = C D \end{aligned}

所以如果矩阵形式给定，才可以保证唯一性

张量的 CP 分解：有 Vandermonde 结构，有可识别性

酉矩阵 | Unitary matrix ¶

定义在复数域，方阵

$U U^{H} = U^{H} U = I$

酉变换

向量内积、向量范数、向量夹角在酉变换下不变 - 内积： $⟨ U x, U y ⟩ = (U x)^{H} (U y) = x^{H} U^{H} U y = x^{H} y = ⟨ x, y ⟩$ - 长度： $| | U x | |^{2} = ⟨ U x, U x ⟩ = ⟨ x, x ⟩ = | | x | |^{2}$ - 夹角： $\cos θ = \frac{⟨ U x, U y ⟩}{| | U x | | | | U y | |} = \frac{⟨ x, y ⟩}{| | x | | | | y | |} = \cos θ$
正交矩阵在实数域而酉矩阵在复数域

并不是将实数域的 Transpose 扩展到复数域改成 Hermitian

实向量、实矩阵	复向量、复矩阵
$‖ x ‖ = \sqrt{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}$	$‖ x ‖ = \sqrt{‖ x_{1} ‖^{2} + ‖ x_{2} ‖^{2} + \dots + ‖ x_{n} ‖^{2}}$
转置 $A^{T} = [a_{j i}]$ ， $(A B)^{T} = B^{T} A^{T}$	共轭转置 $A^{H} = [a_{j i}]$ ， $(A B)^{H} = B^{H} A^{H}$
内积 $(x, y) = x^{T} y$	内积 $(x, y) = x^{H} y$
正交性 $x^{T} y = 0$	正交性 $x^{H} y = 0$
对称矩阵 $A^{T} = A$	Hermitian 矩阵 $A^{H} = A$
正交矩阵 $Q^{T} = Q^{- 1}$	酉矩阵 $U^{H} = U^{- 1}$
特征值分解 $A = Q Λ Q^{- 1} = Q Λ Q^{T}$	特征值分解 $A = U Σ U^{H} = U Σ U^{- 1}$
范数的正交不变性 $‖ Q x ‖ = ‖ x ‖$	范数的酉不变性 $‖ U x ‖ = ‖ x ‖$
内积的正交不变性 $(Q x, Q y) = (x, y)$	内积的酉不变性 $(U x, U y) = (x, y)$

正交矩阵｜ Orthogonal matrix¶

定义在实数域，方阵

$Q^{T} = Q^{- 1}$
$Q^{T} Q = Q Q^{T} = I$
$Q^{T} = Q^{- 1}$

三角矩阵 ¶

下三角矩阵 $L$ ：若 $a_{i j} = 0$ $(i < j)$ 。
严格下三角矩阵：若 $a_{i j} = 0$ $(i ⩽ j)$ 。
单位下三角矩阵：若 $a_{i j} = 0$ $(i < j)$ 且 $a_{i i} = 1$ $(\forall i)$ 。
上三角矩阵 $U$ ：若 $a_{i j} = 0$ $(i > j)$ 。
严格上三角矩阵：若 $a_{i j} = 0$ $(i ⩾ j)$ 。
单位上三角矩阵：若 $a_{i j} = 0$ $(i > j)$ 且 $a_{i i} = 1$ $(\forall i)$ 。

反对称矩阵 | Skew-Symmetric Matrix ¶

一个矩阵 $A$ 被称为反对称矩阵（Skew-Symmetric Matrix），如果它满足以下条件：

A^{T} = - A

即矩阵的转置等于其负值。

性质 ¶

对角线元素为零：由于 $a_{i i} = - a_{i i}$ ，所以对角线上的元素必须为零。
奇数阶反对称矩阵的行列式为零：因为 $d e t (A) = d e t (A^{T}) = d e t (- A) = (- 1)^{n} d e t (A)$ ，当 $n$ 为奇数时， $d e t (A) = 0$ 。
特征值：反对称矩阵的特征值要么为零，要么是纯虚数。
与正交矩阵的关系：反对称矩阵可以与正交矩阵结合用于描述旋转等操作。
二次型为 0： $A$ 的二次型为 0 是 $A$ 是反对称矩阵的充分必要条件。

证明

充分性 ：如果 $A$ 的二次型为零，即对于任意向量 $x$ ，有 $x^{T} A x = 0$ ，则可以推导出 $A^{T} = - A$ ，从而证明 $A$ 是反对称矩阵。

x^{T} A x = 0 ⟹ x^{T} A^{T} x = 0 ⟹ x^{T} (A + A^{T}) x = 0

由于 $A + A^{T}$ 是对称矩阵，且对于任意向量 $x$ ， $x^{T} (A + A^{T}) x = 0$ ，所以 $A + A^{T} = 0$ ，即 $A^{T} = - A$ 。

必要性 ：如果 $A$ 是反对称矩阵，即 $A^{T} = - A$ ，则对于任意向量 $x$ ，有 $x^{T} A x = 0$ 。这显然成立，因为：

x^{T} A x = x^{T} (- A^{T}) x = - x^{T} A^{T} x = - (x^{T} A x)^{T} = - x^{T} A x

所以 $2 x^{T} A x = 0$ ，即 $x^{T} A x = 0$ 。

应用 ¶

在物理中，反对称矩阵常用于描述角速度、旋转等。
在计算机图形学中，反对称矩阵用于表示三维空间中的叉积操作。
在控制理论中，反对称矩阵用于描述系统的稳定性和对称性。

Vandermonde 矩阵 - 等比数列 ¶

Vandermonde 矩阵的每行或每列的元素组成一个等比数列。

是一个强结构性矩阵，只需要一行元素就可以决定整个矩阵

A = [\begin{matrix} 1 & 1 & \dots & 1 \\ x_{1} & x_{2} & \dots & x_{n} \\ x_{1}^{2} & x_{2}^{2} & \dots & x_{n}^{2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{1}^{n - 1} & x_{2}^{n - 1} & \dots & x_{n}^{n - 1} \end{matrix}]

或者写成：

A = [\begin{matrix} 1 & x_{1} & x_{1}^{2} & \dots & x_{1}^{n - 1} \\ 1 & x_{2} & x_{2}^{2} & \dots & x_{2}^{n - 1} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n} & x_{n}^{2} & \dots & x_{n}^{n - 1} \end{matrix}]

若第二行元素各不相同，则矩阵非奇异。

Matlab: Vandermonde 矩阵

A = vander([1, 2, 3])

应用

DFT 中就有 Vandermonde 矩阵

Fourier 矩阵 ¶

DFT: 有限长离散序列，时域离散，频域离散

DFT 正变换 ¶

$X_{k} = \sum_{n = 0}^{N - 1} x_{n} e^{- j \frac{2 π k n}{N}} = \sum_{n = 0}^{N - 1} x_{n} ω^{n k}$ ，其中 $k = 0, 1, \dots, N - 1$ $\hat{x} = F x$

$F = [\begin{matrix} 1 & 1 & \dots & 1 \\ 1 & ω & \dots & ω^{N - 1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & ω^{N - 1} & \dots & ω^{(N - 1) (N - 1)} \end{matrix}]$ ，其中 $ω = e^{- j \frac{2 π}{N}}$ ，称为 Fourier 矩阵

DFT 逆变换 ¶

$x = F^{- 1} \hat{x} = \frac{1}{N} F^{*} \hat{x}$

[\begin{matrix} x_{0} \\ x_{1} \\ ⋮ \\ x_{N - 1} \end{matrix}] = \frac{1}{N} [\begin{matrix} 1 & 1 & \dots & 1 \\ 1 & ω^{*} & \dots & (ω^{N - 1})^{*} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & (ω^{N - 1})^{*} & \dots & (ω^{(N - 1) (N - 1)})^{*} \end{matrix}] [\begin{matrix} X_{0} \\ X_{1} \\ ⋮ \\ X_{N - 1} \end{matrix}]

$x_{n} = \frac{1}{N} \sum_{k = 0}^{N - 1} X_{k} e^{j \frac{2 π k n}{N}}$ ，其中 $n = 0, 1, \dots, N - 1$

傅里叶矩阵是一个酉矩阵

$F^{H} F = F F^{H} = N I$
$F^{- 1} = \frac{1}{N} F^{H} = \frac{1}{N} F^{*}$

证明：傅里叶矩阵是一个酉矩阵

写出傅里叶矩阵，和其共轭转置

\begin{aligned} F & = {[\begin{array}{c} 1 & 1 & \dots & 1 \\ 1 & ω & \dots & ω^{N - 1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & ω^{N - 1} & \dots & ω^{(N - 1)^{2}} \end{array}]}_{N \times N} w h e r e ω = e^{- j \frac{2 π}{N}} \\ = [\begin{array}{c} f_{1} & f_{2} & \dots & f_{N} \end{array}] \end{aligned}

进行向量化，使用一些 notation 化简表达式

\begin{aligned} F^{H} F & = [\begin{array}{c} f_{1}^{H} \\ f_{2}^{H} \\ ⋮ \\ f_{N}^{H} \end{array}] [\begin{array}{c} f_{1} & f_{2} & \dots & f_{N} \end{array}] \\ = {[\begin{array}{c} f_{1}^{H} f_{1} & f_{1}^{H} f_{2} & \dots & f_{1}^{H} f_{N} \\ f_{2}^{H} f_{1} & f_{2}^{H} f_{2} & \dots & f_{2}^{H} f_{N} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ f_{N}^{H} f_{1} & f_{N}^{H} f_{2} & \dots & f_{N}^{H} f_{N} \end{array}]}_{N \times N} \end{aligned}

此时我们只需要研究 $f_{n}^{H} \cdot f_{m}$ , 即可得出 $F^{H} F = N I$

\begin{aligned} f_{n}^{H} \cdot f_{m} & = {[\begin{array}{c} 1 \\ w^{n - 1} \\ ⋮ \\ w^{(n - 1) (N - 1)} \end{array}]}^{H} [\begin{array}{c} 1 \\ w^{m - 1} \\ ⋮ \\ w^{(m - 1) (N - 1)} \end{array}] \\ = [\begin{array}{c} 1 & w^{- (n - 1)} & \dots & w^{- (n - 1) (N - 1)} \end{array}] [\begin{array}{c} 1 \\ w^{m - 1} \\ ⋮ \\ w^{(m - 1) (N - 1)} \end{array}] \\ = \sum_{k = 0}^{N - 1} w^{- (n - 1) k} w^{(m - 1) k} \\ = \sum_{k = 0}^{N - 1} w^{(m - n) k} = {\begin{cases} N, & m = n \\ 0, & m \neq n \end{cases} \end{aligned}

$n = m$ 时， $f_{n}^{H} \cdot f_{m} = N$ , 相当于对 1 求和
$n \neq m$ 时， $f_{n}^{H} \cdot f_{m} = 0$

\begin{aligned} f_{n}^{H} \cdot f_{m} & = \sum_{k = 0}^{N - 1} w^{(m - n) k} \\ = \sum_{k = 0}^{N - 1} ω_{0}^{k} (ω_{0} = e^{j \frac{2 π}{N}}) \\ = \frac{1 - ω_{0}^{N}}{1 - ω_{0}} = 0 (∵ ω_{0}^{N} = 1) \end{aligned}

Hadamard 矩阵 - 1-1 矩阵 ¶

$H_{n} \in R^{n \times n}$ 所有元素取 +1 或者 -1，且满足 $H_{n} H_{n}^{T} = H_{n}^{T} H_{n} = n I_{n}$ 。

可以由小的 2x2 的矩阵扩充得到大的矩阵

作用：在模拟域，Hadamard 矩阵可以用于构造正交的基函数，用于信号处理、图像处理、通信等领域。

性质

只有当 $n = 2^{k}$ 或者 $n$ 是 4 的整数倍时，Hadamard 矩阵才存在。
容易验证 $\frac{1}{\sqrt{n}} H_{n}$ 为标准正交矩阵。
$n \times n$ Hadamard 矩阵 $H_{n}$ 的行列式 $det (H_{n}) = n^{n / 2}$ 。

规范化的标准正交 Hadamard 矩阵具有通用构造公式：

{\tilde{H}}_{n} = \frac{1}{\sqrt{2}} [\begin{matrix} {\tilde{H}}_{n / 2} & {\tilde{H}}_{n / 2} \\ {\tilde{H}}_{n / 2} & - {\tilde{H}}_{n / 2} \end{matrix}]

其中：

{\tilde{H}}_{2} = \frac{1}{\sqrt{2}} [\begin{matrix} 1 & 1 \\ 1 & - 1 \end{matrix}]

Toeplitz 矩阵 - 主对角线元素相同 ¶

也是一个强结构性的矩阵，只需要一列 & 一行就可以唯一确定整个矩阵

任何一条对角线的元素取相同值：

A = [\begin{matrix} a_{0} & a_{- 1} & a_{- 2} & \dots & a_{- n} \\ a_{1} & a_{0} & a_{- 1} & \dots & a_{- n + 1} \\ a_{2} & a_{1} & a_{0} & \dots & a_{- n + 2} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ a_{n} & a_{n - 1} & a_{n - 2} & \dots & a_{0} \end{matrix}] = [a_{i - j}]_{i, j = 0}^{n}

对称 Toeplitz 矩阵 $A = [a_{i - j}]_{i, j = 0}^{n}$

若一个复 Toeplitz 矩阵的元素满足复共轭对称关系 $a_{- i} = a_{i}^{*}$ ，则称为 Hermitian Toeplitz 矩阵：

A = [\begin{matrix} a_{0} & a_{1}^{*} & a_{2}^{*} & \dots & a_{n}^{*} \\ a_{1} & a_{0} & a_{1}^{*} & \dots & a_{n - 1}^{*} \\ a_{2} & a_{1} & a_{0} & \dots & a_{n - 2}^{*} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ a_{n} & a_{n - 1} & a_{n - 2} & \dots & a_{0} \end{matrix}]

卷积操作是 Toplitz 矩阵

卷积操作 $y = x * h$ 可以表示为：

y [n] = \sum_{k = 0}^{K - 1} h [k] \cdot x [n - k]

把 sum 的表达式写成矩阵的形式，就是 Toplitz 矩阵

$y = H \cdot x$

H = [\begin{matrix} h_{0} & 0 & 0 & \dots & 0 \\ h_{1} & h_{0} & 0 & \dots & 0 \\ h_{2} & h_{1} & h_{0} & \dots & 0 \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & h_{2} & h_{1} & h_{0} \end{matrix}]

多项式乘法也可以看作是一个卷积的过程，表示成竖式的形式，其实就是卷积

Hankel 矩阵 - 斜对角线元素相同 ¶

正方矩阵 $A \in C^{(n + 1) \times (n + 1)}$ 称为 Hankel 矩阵，若：

A = [\begin{matrix} a_{0} & a_{1} & a_{2} & \dots & a_{n} \\ a_{1} & a_{2} & a_{3} & \dots & a_{n + 1} \\ a_{2} & a_{3} & a_{4} & \dots & a_{n + 2} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ a_{n} & a_{n + 1} & a_{n + 2} & \dots & a_{2 n} \end{matrix}]