机器学习之梯度下降算法Gradient Descent

      梯度下降算法:

机器学习实现关键在于对参数的磨合，其中最关键的两个数：代价函数J(θ)，代价函数对θ的求导∂J/∂θj。

如果知道这两个数，就能对参数进行磨合了：其中α   为每步调整的幅度。

其中代价函数公式J(θ)：

代价函数对θ的求导∂J/∂θj：

通过不断减低代价函数而得到准确的参数。

例如:

算法运行过程:给定初始参数p0,p1，通过算法一步一步调整P0,P1,使得J变小。

梯度下降算法适用范围：监督学习。

监督学习有两类问题：1.回归问题。2.分类问题。

1回归问题。

如房价预测。y = x1p1+x2p2+x3p3...;

      计算代价函数时h(x) = x1p1+x2p2+x3p3...

2分类问题 

       如良性恶性肿瘤预测。y = sigmoid(  x1p1+x2p2+x3p3....)有关;其中sigmoid(x) =  1/(1+ exp(-x))

cost J   : =      -log(h(x) )   if   y = 1;

                          -log(1-h(x))    if y =0;

结合起来可得

MATLAB编码过程：

1.录入数据：

data = load('data.txt');

X = data(:, 1); y = data(:, 2);

X = [ones(m, 1), data(:,1)]; % Add a column of ones to x

2.计算代价函数cost funtion:

回归问题：J = sum((sum(theta' .* X,2) - y).^2)/(2*m);其中(sum(theta' .* X,2)为h(x)

分类问题：J = sum(-y.*log(sigmoid(sum((theta' .* X),2))) - (1-y).*log(1-sigmoid(sum((theta' .* X),2))))/m;

3.执行gradient Descent梯度下降算法：

预设参数theta，调整幅度alpha，调整次数iterations；

theta =gradientDescent(X, y, theta, alpha, iterations){

for iter = 1:num_iters

old_theta = theta;

theta(1)= theta(1) - alpha* sum((sum(old_theta' .* X,2) - y).*X(:,1))/m;

theta(2) = theta(2) - alpha* sum((sum(old_theta' .* X,2) - y).*X(:,2))/m;        

end

}