拉格朗日多项式逻辑回归分类算法

　　部分用到这篇文章的拉格朗日逻辑回归，现做部分整理，原文选自《拉格朗日多项式逻辑回归分类算法并行计算优化》–谭雪敏
　　摘要：算法首先利用已知的训练样本进行多元回归参数估算，然后利用得到的回归参数和光谱数据进行分类，能够获得较高的分类精度。　

拉格朗日多项式逻辑回归分类算法

１ 算法流程

　　定义待分类的遥感图像为Ｓ，波段数为ｄ、列数为sample，行数为line。Ｓ≡｛１，…，ｎ｝代表图像Ｓ中共有ｎ个像元；Ｋ≡｛１，…，Ｋ｝代表图像的类别集合，Ｋ为类别个数；ｘ≡（x1，…，xn）∈Ｒd，其中xi是一个d维向量；ｙ≡（y1，…，yn）代表图像Ｓ 的类标；ＤL≡｛（y1，x1），…，（yL，xL）｝为训练样本集合，其中Ｌ代表训练样本的个数。
　　拉格朗日多项式逻辑回归分类算法框架图如图所示。
　　
　　
　　其具体计算步骤如下：
１）根据高斯径向基核函数将训练样本DL转到可分的高维空间Ｈ，其计算公式为：
其中，‖ｘｉ－ｘｊ‖２ 表示像元xi到像元xj的欧氏距离；σ为核函数的参数，控制核函数的径向作用范围。
２）估计回归系数ｗ。回归系数通过拉格朗日多项式算法获得。公式为：

其中，l(w)是最大似然函数，p(w)是多项式逻辑回归函数，其函数公式分别如下：


其中是需要估计的回归参数，h(xi）是输入参数即训练样本，这里用高斯径向基核函数计算获得，即１）中的Ｈ。

３）计算后验概率ｐ。ｐ 是多项式逻辑回归模型。已知回归系数ｗ 和输入参数h(xi），其中输入参数h(xi）是待分类图像原始数据并通过高斯径向基核函数转换获得的值。计算每个类别条件下各个特征属性条件概率公式如下：

２ 拉格朗日多项式逻辑回归分类计算复杂度分析

　　表１是１中各计算步骤对于分类类别为Ｋ，训练样本个数为Ｌ，循环迭代次数为ｍ，图像尺寸为line＊sample＊ｄ的时间复杂度统计。从以上分析可知，无论是训练样本还是图像数据本身都对算法复杂度有非常大的影响，特别是图像数据量的增加会严重影响算法的计算效率。