Variable

Probability¶

Random variables¶

statistics¶

从随机变量到随机向量再到随机矩阵：那个你不一定知道的矩阵高斯分布 - 知乎

统计不相关：互协方差矩阵是 0 矩阵 \(C_{xy} = O_{m\times n}\) 正交：互相关矩阵式零矩阵 \(R_{xy} = O_{m\times n}\)

均值向量 (Mean Vector) ¶

对于随机向量 \(\mathbf{x}\)，其均值向量 \(\mu_x\) 定义为：

correlation 相关矩阵 ¶

自相关矩阵 \(R_x\) 定义为：

其中，\(\mathbf{x}^H(\xi)\) 表示 \(\mathbf{x}(\xi)\) 的共轭转置，\(r_{ij}\) 表示 \(x_i(\xi)\) 和 \(x_j(\xi)\) 之间的自相关函数。自相关矩阵是复共轭对称矩阵，即 Hermitian 矩阵。

互相关

其中，\(r_{x_i,y_j}\) 表示 \(x_i(\xi)\) 和 \(y_j(\xi)\) 之间的互相关函数。

Covariance 协方差矩阵 ¶

如何通俗地解释协方差｜马同学图解数学

【什么是自相关矩阵，自协方差矩阵，互相关矩阵，互协方差矩阵？】 - 知乎 自协方差矩阵 \(C_x\) 定义为：

其中，\(c_{ij}\) 表示 \(x_i(\xi)\) 和 \(x_j(\xi)\) 之间的协方差。自协方差矩阵也是复共轭对称矩阵。

互协方差矩阵 \(C_{xy}\) 定义为：

其中，\(c_{x_i,y_j}\) 表示 \(x_i(\xi)\) 和 \(y_j(\xi)\) 之间的协方差。

相关系数 ¶

相关系数矩阵（Correlation Matrix）用于衡量随机向量中各个分量之间的线性相关程度。对于随机向量 \(\mathbf{x}\)，其相关系数矩阵 \(\mathbf{R}_x\) 定义为：

其中，\(\rho_{ij}\) 表示 \(x_i(\xi)\) 和 \(x_j(\xi)\) 之间的相关系数，其取值范围为 \([-1, 1]\)。具体来说，相关系数 \(\rho_{ij}\) 定义为：

其中，\(\mu_i = E\{x_i(\xi)\}\) 和 \(\mu_j = E\{x_j(\xi)\}\) 分别表示 \(x_i(\xi)\) 和 \(x_j(\xi)\) 的均值，\(E\{\cdot\}\) 表示期望操作，\([\cdot]^*\) 表示复共轭。

相关系数矩阵具有以下性质： 1. 对角线上的元素全为1，即 \(\rho_{ii} = 1\)。 2. 相关系数矩阵是复共轭对称矩阵，即 \(\mathbf{R}_x = \mathbf{R}_x^H\)。 3. 相关系数矩阵的行列式为1，即 \(\det(\mathbf{R}_x) = 1\)。

高斯随机变量 ¶

complex normal¶

Probability distributions¶

Bayes’ Theorem（todo）¶

Probability Distributions¶

Information theory¶

Entropy¶

不确定性函数 \(f\) 是概率 \(P\) 的减函数；两个独立符号所产生的不确定性应等于各自不确定性之和，即 \(f(P1,P2)=f(P1)+f(P2)\)，这称为可加性。同时满足这两个条件的函数 \(f\) 是对数函数，即 \(f(P)=\log\frac{1}{P} = -\log P\)。

Kullback–Leibler Divergence（todo）¶

Cross-entropy（todo）¶

概率 ¶

概率与统计 ¶

信息论 ¶

优化算法 ¶