Iterative Reweighted Least Squares

本文基于这篇paper。

逼近 （approximation）

对于线性的问题，其模型是：

Ax=b A∈ℝn×px,b∈ℝp

如果b不能存在于A的列空间内(the space spanned by the columns of A)，x的解不唯一，那么将采用一种近似的方法。它通过最小化误差的范式来寻求解（to be solved by minimizing the norm）

e=Ax−b

常采用的是norm2或l2

||e||22=∑ie2i=eTe

对于l2,它的解分三种情况

• If N=p, (square and nonsingular), 存在严格解：
  x=A−1b
• If N > p (over specified)：
  ATAx=ATb→x=[ATA]−1ATb
  ATA∈ℝp×p
• If N < p (under specified):
  Ax=AAT(AAT)−1b→x=AT[AAT]−1b

加权最小二乘(weighted least squared error approximation)

W=⎡⎣⎢⎢⎢w1                ...              wp⎤⎦⎥⎥⎥p×p

W 是diagonal matrix。

||We||22=eTWTWeError=(WAx−Wb)T(WAx−Wb)=xTATWTWAx−2bTWTWAx+bTWTWb

Error是一个convex function, 其解是：

ax2+bx+c的极值是x=−0.5a−1b

• 对于N > p:
  
  x=[ATWTWA]−1ATWTWb
• 对于N < p:

x=[WTW]−1AT[A[WTW]AT]−1b

逼近其他范式

比较有名的就是具有稀疏性意义的l1和l∞

||e||p=(∑i|ei|p)1/p

IRLS逼近 lp norm

IRLS(iterative reweighted least squares) allows an iterative algorithm to be built from the analytical solutions of the weighted least squares with squares with an iterative re weighting to converge to the optimal lp approximation.
IRLS使用迭代的方式解决带权重的lpnorm逼近问题。

Overdetermined system N > p

Algebra 方法

x=[ATWTWA]−1ATWTWb

IRLS for Logit Regression

对于二分问题，我们想知道条件概率Pr(Y=1|X) X∈Rm,Y∈{0,1}。广义线性模型（Generalized Linear Models, GLM）的观点是：

• 我们的链接函数（link function）是logit，也即：
  

  g(p)=logit(p)=logp1−pp=Pr(Y=1|X)

• 那么我们要对X进行拓展(extension)
  

  ϕ(x)=[1,ϕ1(x),...,ϕp(x)]T

这样用ϕ和logit就将p与x使联系起来，使其可以用回归的方法解决原问题。
我们记：

logit(p)=logp1−p=wTϕ(x)p=σ(wTϕ(x))=11+e−wTϕ(x)∂p∂w=σ(1−σ)ϕ(x)

Modeling

对于n个数据集(xi,yi), i = 1,…,n, xi∈ℝm,yi∈[1,0]，可以列出其似然函数以及entropy-cross函数：

Likelihood=∏i=1npyii(1−pi)1−yil=−log(Likelihood)=−∑i=1nyiln(pi)+(1−yi)ln(1−pi)

这是一个优化问题：

argminw{−∑i=1nyiln(pi)+(1−yi)ln(1−pi)}

我们对l关于w求偏微分：

∂l∂w=−∑i=1nyi(1/pi)pi(1−pi)ϕ(xi)+(1−yi)(1/(1−pi))(−pi)(1−pi)ϕ(xi)=∑i=1n(pi−yi)ϕ(xi)=⎡⎣⎢⎢|ϕ(x1)|⋯⋯⋯|ϕ(xn)|⎤⎦⎥⎥(p+1)×n×⎡⎣⎢⎢⎢|(pi−yi)|⎤⎦⎥⎥⎥n×1=ΦT(p−y)

Hessian Matrix :

H=∂2l∂w2=∇((∇l(w))T)=∂[(∑ni=1(pi−yi)ϕ(xi))T]∂w=∑i=1npi(1−Pi)ϕ(xi)ϕ(xi)T=∑i=1nϕ(xi)pi(1−pi)ϕ(xi)T=ΦT⎡⎣⎢⎢⎢p1(1−p1)⋱pn(1−pn)⎤⎦⎥⎥⎥n×nΦ=ΦTRΦ

采用Newton-Raphson 迭代方式：

w′z=w−H−1∇l(w)=w−(ΦTRΦ)−1ΦT(p−y)=(ΦTRΦ)−1[ΦTRΦw−ΦT(p−y)]=(ΦTRΦ)−1ΦTRz=Φw−R−1(p−y)

令R=STS

w′==((SΦ)T(SΦ))−1(SΦ)TSz

可以看作是weighted least square.

Iterative Least Squares for logistic regression

我们知道logistic regression模型是：

η(x)=βxη(x)=logit(p)=log(p1−p)

Link function 是g(p)=log(p1−p).
我们知道，y∈{0,1}, 则g(y)=∞, 为了能够regression，使用Taylor Expansion:

g(Y)≈g(p)+(Y−p)g′(p)=Z

Logit Regression 的分布是二项分布，Var(Y|X=1)=p(1−p)
Var(Z|X=1)=(g′(p))2Var(Y|X=1)=(1p(1−p))2(p(1−p))=(p(1−p))−1

Because the variance of Z changes with X , this is a heteroskedastic regression
problem, the appropriate way of dealing with such a problem is to use weighted least squares, with weights inversely proportional to the variances. This means that, in logistic regression, the weight at x should be proportional to p(1 − p)

IRLS

1. Get the data (x1,y1),...(xn,yn), and some initial guesses β.
2. Until β0 , β converge:
   a) Calculate η(xi) = βxi，以及相应的p(xi)
   b) Transformed responses zi=η(xi)+yi−p(xi)p(xi)(1−p(xi))
   c) Calculate the weights wi=p(xi)(1−p(xi))
   d) Do a weighted linear regression of zi on xi with weights wi