Logistic Regression是凸优化问题吗？

今天面试被问到了很多凸优化方面的问题，

• 你能大概讲讲什么是凸优化吗？

答曰：对于一个优化问题，如果目标函数是凸的且可行域是凸集，那么就是一个凸优化问题。凸优化问题有一个很好的性质，即局部最优解就是全局最优解。凸优化就是研究如何解决凸优化问题，以及对于非凸的问题如何转化为凸优化问题求解。（并不完善，求补充）

然后我就掉进了一个思维陷阱。面试官接着问了下面的问题：

• 目标函数f(x)=e−θTx，无约束条件，是凸优化问题吗？

• 逻辑斯特回归是凸优化问题吗？为什么和前者不一样？

是，是，不都是吗，哪里不一样？我蒙住了，列出LR的目标函数愣在那，想了会儿答不上，面试官说可以换下一话题，我就问面试官。他说，前者是后者不是，他说根据他搜索的结果，原因是逻辑斯特回归的可行域是凸集而前者不是。

面试结束后，我翻出凸优化的教材看了看，有了点不同的见解。

• 目标函数f(x)=e−θTx，无约束条件。这是凸优化问题。首先目标函数是凸的，其次无约束的话，可行域是整个向量空间，是凸集。但是这个问题没有最优解。无约束的凸优化问题可能无下界（e.g.线性函数）或最优值有限但不可达（本例），存在最优解的充要条件是存在一阶导数为零的点。

• 逻辑斯特回归是凸优化问题，凸函数+无约束条件。有最优解是因为存在一阶导数为零的点。TBA。

好吧，我当时就是蒙在这了。这两个问题的区别是一个没最优解一个有最优解，都是无约束的凸优化问题。我当时完全被拐带着去考虑可行域了……

我觉得这个问题稍冷僻，但很有价值。LR和SVM都是最基本的分类器，但是毫无疑问，提到LR时很少会去考虑凸问题的证明，但是SVM由于颇费周折的对偶推导，对偶问题的凸性反而显而易见。