浅谈凸优化中的共轭函数

函数f的共轭定义：
f∗(y)=sup(yTx−f(x)), x∈domf
可见，共轭函数是线性函数yTx和原始函数f(x)的最大gap。
写成优化问题形式

maxxyTx−f(x)x∈domf

令g(x)=yTx−f(x),计算g′(x)=y−f′(x)，在y=f′(x)处取得极值，然后根据g(x)的形式判断是极大值还是极小值。若为极大值则记为所求，若为极小值，共轭函数不存在。

可见如果f是可微的，满足f^'(x) = y
下面推导一个共轭函数的例子：
负熵函数： f(x)=xlog(x)， x∈R+,f(0)=0，共轭函数
f∗(y)=supyx−xlog(x), 在y=log(x)+1取最大值，即x=ey−1，因此,f∗(y)=ey−1.