Norm

1. 向量范数（Vector Norms）
   • (1) \((L_{0}\))范数(0 - Norm)
     • 定义: \(\|x\|_0\) 非零元素的个数
     • 特点:
       • 非凸、非连续，计算困难（NP难问题）。
       • 用于衡量稀疏性（Sparsity）。
     • 使用场景:
       • 压缩感知（Compressed Sensing）。
       • 稀疏信号恢复（如RFI抑制中的 \(\|Rs\|_0\)）。
   • (2) \((L_{1}\))范数(1 - Norm,曼哈顿范数)
     • 定义: \(\|x\|_1=\sum_{i = 1}^{n}|\omega_{i}|\)
     • 特点:
       • 凸函数，是 \((L_{0}\)) 范数的最佳凸近似。
       • 倾向于产生稀疏解（如LASSO回归）。
     • 使用场景:
       • 稀疏信号恢复（如鲁棒主成分分析RPCA）。
       • 特征选择（机器学习中的正则化）。
   • (3) \((L_{2}\))范数(2 - Norm,欧几里得范数)
     • 定义: \(\|x\|_2=\sqrt{\sum_{i = 1}^{n}\omega_{i}^{2}}\)
     • 特点:
       • 可微，平滑，广泛用于优化问题。
       • 对异常值敏感（相比 (L_{1}) 范数）。
     • 使用场景:
       • 最小二乘回归（Least Squares）。
       • 支持向量机（SVM）的优化目标。
2. 矩阵范数(Matrix Norms)
   • (1)核范数(Nuclear Norm,迹范数)
     • 定义: \(\|X\|_*=\sum_{i = 1}^{n}\sigma_{i}(X)\)，\(\sigma_{i}\) 是矩阵的奇异值，\(n\) 是矩阵的秩。
     • 特点:
       • 是矩阵秩（rank）的凸松弛。
       • 用于低秩矩阵恢复（如矩阵补全）。
     • 使用场景:
       • 低秩矩阵分解（如RPCA中的 \(R\)）。
       • 推荐系统（协同过滤）。
   • (2)Frobenius范数(F - 范数)
     • 定义: \(\|X\|_F=\sqrt{\sum_{i = 1}^{m}\sum_{j = 1}^{n}|X_{ij}|^{2}}\)
     • 特点:
       • 矩阵的“元素级” \(L_2\) 范数。
       • 可微，适用于梯度下降优化。
     • 使用场景:
       • 矩阵逼近（如PCA）。
       • 深度学习中的权重正则化。
3. 加权范数(Weighted Norms)
   • (1)加权 \((L_{1}\)) 范数
     • 定义: \(\|x\|_{w,1}=\sum_{i = 1}^{n}w_{i}|\alpha_{i}|\)，\(w_{i}\) 是权重，用于调整不同分量的重要性。
     • 使用场景:
       • 自适应稀疏恢复（Reweighted (L_{1}) 方法）。
       • 信号去噪（如小波阈值）。
   • (2)加权核范数(Reweighted Nuclear Norm)
     • 定义: \(\|X\|_{m, *}=\sum_{i = 1}^{p}m_{i}\sigma_{i}(X)\)，\(m_{i}\) 调整不同奇异值的惩罚强度。
     • 使用场景:
       • 改进低秩矩阵恢复（如论文中的RNN模型）。
       • 鲁棒PCA（更精确的秩估计）。