其他 ¶
约 264 个字 预计阅读时间 1 分钟
表征学习 ¶
y = Ax
完备正交基 - 固定基底：DCT、小波 - 数据驱动：PCA（主成分分析） EVD/SVD
过完备基 - 稀疏编码：K-SVD、OMP
提升模型表达能力：线性 to 非线性；确定性模型 to 统计模型
稀疏表示 | Sparse Representation ¶
L1 正则化，一般交叉位置在坐标轴上，可解释性增强
权重变稀疏，可以让可解释性变高
Indian Buffet Process( 印度自助餐过程 ) 介绍 -CSDN 博客 自动学习哪些元可以去掉
高斯分布不适合建立稀疏模型
重尾分布：laplace、混合高斯
复杂信号，在某个基底的表示是稀疏的
压缩感知 | Compressive Sensing ¶
解决问题：特定条件下突破奈奎斯特采样定理
\[
\min_{\alpha} \| y - A \Phi \alpha \|_2^2
\]
\[
\| \alpha \|_0 \leq k
\]
0 范数：非零元素的个数
\(\Phi \cdot A\) 满足 RIP principle \(m \approx k \cdot c\) 线性
规则采样下，每个样本点仅包含局部信息； 随机采样下，每个样本点包含了全局信息。