基础知识梳理2——凸优化与半定规划(…

凸优化：

Minimize     
f(x)

Subject to   x∈C 

                               
(2.1)

      
f是一个凸函数，C是一个凸集，x是优化变量。我们一般将其写作：



    
(2.2)

即要求目标函数是凸函数，变量所属集合是凸集合的优化问题。或者目标函数是凸函数，变量的约束函数是凸函数（不等式约束时），或者是仿射函数（等式约束时）。

      

而常见的范数函数是凸函数，一些范数约束形式的集合是凸集合。

      

常见的凸优化问题包括线性规划、二次规划、二次约束的二次规划、半定规划。

半定规划：

      

易看出求L1范数相当于求线性规划：



    (LP).             
(2.3)

      

而L1范数是L0范数的凸近似。

      

该问题是一个对偶问题。同样（不知道怎么得出来的……）核范数有着半定规划的特性：



                        
 (2.4)

      

这个式子体现出谱范数与核范数是对偶问题（同样看不出来作者怎么看出来的……见后面的解释）。

      
W的谱范数的限制条件（可行域？）是一个半定规划限制因为它等价于：



                                 
 (2.5)

      

而(1.4)

    



      

是一个半定规划，可以将
表示成与(2.4)对偶的半定规划的最优值。

      

（可是这一段对偶来对偶去的明显看不懂啊！）

 

-------------------------------------------------------------------------------------------------------------------

= trace(

)         
A

B意思是A-B是半正定矩阵

 

——————————————————————————————————————————————

这次参考
史加荣,郑秀云,周水生.矩阵补全算法研究进展.计算机科学，其中写：

(2.4)这个优化问题等价于：

                                                     


这个半定规划问题的对偶规划为：

                                               



得到关于对E.J.Candes的理解：

——————————————————————————————————————————————

谱范数是最大奇异值，核范数是奇异值之和，即一个是奇异值向量的L∞范数，一个是奇异值向量的L1范数。