Linear Regression 线性回归 matlab实现

Load Data

数据形式：每行一个样例，最后一列是标签。
m个样例，n个特征。

fileName = 'xxx.txt';data = load(fileName);m = size(data, 1);n = size(data, 2);X = data(:, 1 : n - 1);y = data(:, n);

Feature Normalization

正规化X，并加入1列的1。

[X mu sigma] = featureNormalize(X);% 加入x0X = [ones(m, 1) X];

函数：

function [X_norm, mu, sigma] = featureNormalize(X)    n = size(X, 2);    X_norm = X;    mu = zeros(1, n);    sigma = zeros(1, n);    % 对每个feature进行正规化    for i = 1 : n        mu(1, i) = mean(X(:, i));        sigma(1, i) = std(X(:, i));        X_norm(:, i) = (X(:, i) - mu(1, i)) ./ sigma(1, i);    endend

Gradient Descent

这是批梯度下降的实现。
此处时间复杂度为O(n2m)，总的来说还是要估计上matlab计算矩阵乘法的复杂度。
更新式子为：θj:=θj+α∑mi=1(y(i)−hθ(x(i)))x(i)j。
在每次迭代中，保存下cost function的值，以便最后能输出查看其收敛性质。

alpha = 0.1;num_iters = 50;theta = zeros(n, 1);[theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters);% Plot the convergence graphfigure;plot(1:numel(J_history), J_history, '-b', 'LineWidth', 2);xlabel('Number of iterations');ylabel('Cost J');% Display gradient descent's resultfprintf('Theta computed from gradient descent: \n');fprintf(' %f \n', theta);fprintf('\n');

gradientDescent函数

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters)    n = size(X, 2);    m = length(y);    J_history = zeros(num_iters, 1);    for iter = 1:num_iters        preTheta = theta;        for j = 1 : n            theta(j) = preTheta(j) + alpha / m * (sum((y - X * preTheta)’* X(:,j)));        end           % 保存下所有J，可以查看收敛情况           J_history(iter) = computeCost(X, y, theta);     endend

Estimate

输入特征的行向量feat=[x,x,x,x…]，输出估计。
由于之前进行了正规化，在估计时也需要正规化。

function ret = estimate(feat, theta, mu, sigma)    %正规化    feat = (feat - mu) ./ sigma;    feat = [1 feat];    %结果    ret = feat * theta;end

Normal Equation

直接使用式子：θ=(XTX)−1XTy计算。
此处复杂度取决于matlab求逆和矩阵乘法的复杂度。

clear;fileName = 'xxx.txt';data = load(fileName);m = size(data, 1);n = size(data, 2);X = data(:, 1 : n - 1);y = data(:, n);[X mu sigma] = featureNormalize(X);X = [ones(m, 1) X];%----------------------------------%theta = inv(X' * X) * X' * y;%----------------------------------%feat = [xxxxx xxxxx];res = estimate(feat, theta, mu, sigma);fprintf('%f', res);