机器学习——线性回归中正规方程组的推导

对于某些线性回归问题，正规方程方法是更好的解决方案，这种方法是对（代价函数）求的导数并使其为0，它能够不需要迭代直接求出。如下：
本文将涉及矩阵的求导，以下先对矩阵求导做出介绍。
首先定义表示m×n的矩阵，那么对该矩阵进行求导可以用下式表示，可以看出求导后的矩阵仍然为m×n

这里要用到矩阵迹的特性，trace. 对于一个n阶的方阵（n×n）,它的迹(tr)为对角线元素之和：

1. 对于一个实数，它的迹即为它本身
tr a = a
2. 如果AB是一个方阵，那么
tr AB = tr BA
3. 由此可推导出
trABC = trCAB = trBCA
trABCD = trDABC = trCDAB = trBCDA
4. 假设A 和 B为方阵，a为实数，那么又可以推导出以下的特性：

5. 对迹进行求导，具有以下特性：

有了这些基本知识接下来就是对正规方程组的推导了。
假设训练样本：

定义目标集合：

因为，所以

又因为， 根据最小二乘规则，代价函数可以写成：

对进行求导：