编程作业（四）

神经网络学习

任务一 数据可视化

在本次编程练习中，我们使用编程练习三种的数据集。除此之外，我们随机从数据集中选取100个样本，并将其可视化。

load('ex4data1.mat');m = size(X, 1);% Randomly select 100 data points to displaysel = randperm(size(X, 1));sel = sel(1:100);displayData(X(sel, :));

由于displayData()函数早已准备好了，因此我们只需在ex4.m文件中直接调用即可。其运行结果如下：

任务二 模型表达

与编程作业三一样，我们采用如下模型：

其中，输入层的激活单元数为400个，隐藏层的激活单元数为25个，输出层的激活单元数为10个。（注：输入层和隐藏层均不包括偏置单元。）

任务三 向前传播算法和代价函数

在该任务中，我们不考虑正则化问题，只考虑如何使用向前传播算法计算代价函数J(Θ)。

步骤一：利用向前传播算法计算假设函数h_Θ(x)

% 假设函数hX = [ones(m, 1) X];a2 = sigmoid(X * Theta1');a2 = [ones(m, 1) a2];a3 = sigmoid(a2 * Theta2');

步骤二：根据代价函数J(Θ)的公式，计算代价函数J(Θ)

% 代价函数JY = [];E = eye(num_labels);for i=1 : num_labels    t = find(y == i);     % 返回y中等于i的元素所在的行数    Y(t, :) = repmat(E(i, :), size(t, 1), 1);endcost = Y .* log(a3) + (1 - Y ) .* log(1 - a3);J= -1 / m * sum(cost(:));

注：在计算代价函数J(Θ)之前，我们需要将向量y映射成一个新向量Y，我们要保证向量Y中只包含0和1。这是因为逻辑函数g(z)的特性所决定的，当g(z) ≥ 0.5时，y = 1；当g(z) < 0.5时，y = 0。

例如：我们将0~9分类则向量y为：

任务四 正则化的代价函数

正则化的代价函数J(Θ)的公式为：

注：对代价函数J(Θ)进行正则化时，我们无需考虑偏置单元。

% 假设函数hX = [ones(m, 1) X];a2 = sigmoid(X * Theta1');a2 = [ones(m, 1) a2];a3 = sigmoid(a2 * Theta2');% 代价函数JY = [];E = eye(num_labels);for i=1 : num_labels    t = find(y == i);     % 返回y中等于i的元素所在的行数    Y(t, :) = repmat(E(i, :), size(t, 1), 1);endtemp1 = [zeros(size(Theta1,1),1) Theta1(:,2:end)];temp1 = sum(temp1 .^ 2);temp2 = [zeros(size(Theta2,1),1) Theta2(:,2:end)];temp2 = sum(temp2 .^ 2);cost = Y .* log(a3) +  (1 - Y) .* log(1 - a3);J = -1 / m .* sum(cost(:)) + lambda / (2 * m) * (sum(temp1(:)) + sum(temp2(:)));

任务五 Sigmoid gradient

在逻辑回归（二）一文中，我们就已经了解了逻辑函数g(z)关于z求导的推导过程。

其中：

因此，我们只需在sigmoidGradient.m文件中补充如下代码即可：

g = sigmoid(z) .* (1 - sigmoid(z));

任务六 随机初始化

在此之前我们所使用的权重矩阵Θ都是我们事先准备好的。在该任务中，我们要对权重矩阵Θ进行随机初始化操作。

epsilon_init = 0.12;W = rand(L_out, 1 + L_in) * 2 * epsilon_init - epsilon_init;

任务七 向后传播算法

本任务中，我们需要使用向后传播算法计算下降梯度，以便后续使用梯度下降算法或其他高级优化算法。（注：不考虑正则化。）

步骤一：我们先利用向前传播算法计算每一层的参数z和假设函数a，如此处，我们要计算出z⁽²⁾，a⁽²⁾，z⁽³⁾和a⁽³⁾。

% 隐藏层误差delta_1 = zeros(size(Theta1));% 输出层误差delta_2 = zeros(size(Theta2));for t = 1 : m    % step 1    a_1 = X(t, :)';    z_2 = Theta1 * a_1;    a_2 = sigmoid(z_2);    a_2 = [1; a_2];    z_3 = Theta2 * a_2;    a_3 = sigmoid(z_3);

步骤二：计算输出层的误差δ⁽³⁾。

    % step 2    error_3 = zeros(num_labels, 1);    for k = 1 : num_labels        error_3(k) = a_3(k) - (y(t) == k);    end

步骤三：计算隐藏层的误差δ⁽²⁾。（注：不考虑偏置单元。）

    % step 3    error_2 = Theta2' * error_3;    error_2 = error_2(2 : end) .* sigmoidGradient(z_2);

步骤四：计算误差Δ^(l)。

    % step 4    delta_1 = delta_1 + error_2 * a_1';    delta_2 = delta_2 + error_3 * a_2';end

注：从步骤一至步骤四第一个for循环结束。

步骤五：计算代价函数J(Θ)的偏导数。

Theta1_grad = 1 / m * delta_1;Theta2_grad = 1 / m * delta_2;

任务八 下降梯度检验

根据上图，我们可得：

由于，该部分代码早已准备好。因此，我们只需在ex4.m文件中调用即可。

任务九 正则化的神经网络

根据上图所示，我们只需将任务八中的代码修改为：

% step 5Theta1_temp = [zeros(size(Theta1,1),1) Theta1(:,2:end)];Theta2_temp = [zeros(size(Theta2,1),1) Theta2(:,2:end)];Theta1_grad = 1 / m * delta_1 + lambda / m * Theta1_temp;Theta2_grad = 1 / m * delta_2 + lambda / m * Theta2_temp;

任务十 Learning parameters using fmincg

该部分代码在ex4.m文件已经准备好了，代码如下：

%  value to see how more training helps.options = optimset('MaxIter', 50);%  You should also try different values of lambdalambda = 1;% Create "short hand" for the cost function to be minimizedcostFunction = @(p) nnCostFunction(p, ...                                   input_layer_size, ...                                   hidden_layer_size, ...                                   num_labels, X, y, lambda);% Now, costFunction is a function that takes in only one argument (the% neural network parameters)[nn_params, cost] = fmincg(costFunction, initial_nn_params, options);% Obtain Theta1 and Theta2 back from nn_paramsTheta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), ...                 hidden_layer_size, (input_layer_size + 1));Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), ...                 num_labels, (hidden_layer_size + 1));

任务十一 隐藏层可视化

同样，ex4.m文件中该部分代码如下：

displayData(Theta1(:, 2:end));

其结果为：

任务十二 正则化参数λ的选择（选做）

在ex4.m文件中修改正则化参数λ的值和迭代次数即可。