§2 回归系数的最小二乘估计

设分别为的最小二乘估计值, 于是的观测值

　　　　, , (2.1)

其中为误差的估计值, 称为残差或剩余。令为的估计值, 则有

　　　　, (2.2)

　　　　, , (2.3)

(2.3)式表示实际值与估计值的偏离程度。欲使估计值与实际值拟合的最好, 则应使残差平方和

　　　　

达到最小, 为此, 我们可以应用微分求极值原理确定, 即解下列方程组

　　　　, (2.4)

即

　　　　, (2.5)

整理并化简则得以下正规方程组:

　　　　, (2.6)

如果记(2.6)式的系数矩阵为, 右端常数项矩阵记为, 则有

　　　　, (2.7)

　　　　, (2.8)

因此正规方程(2.6)的矩阵形式为

　　　　, (2.9)

或

　　　　, (2.10)

其中为正规方程中待定的未知实数向量, 如果系数矩阵满秩, 则存在, 此时有

　　　　, (2.11)

(2.11)式即为多元线性回归模型(1.2)式中参数的最小二乘估计。

　　正规方程组(2.6)亦可表达为下述另一种形式, 如果记

　　　　, ,

　　　　,

则由(2.6)式中第一等式可解出

　　　　, (2.12)

再将(2.12)代入到(2.6)其它各式中并经化简整理可得

　　　　, (2.13)

又由

　　　　, ,

　　　　, ,

如果记

　　　　, , (2.14)

　　　　, , (2.15)

则(2.13)式可以表示为

　　　　, (2.16)

(2.16)式称为正规方程组, 解此方程组可得, 再代入到(2.12)式中则得, 于是得回归方程

　　　　, (2.17)

(2.17)式称为回归超平面方程。

　　如果记(2.16)式的系数矩阵为, 右端常数项向量为, 则

　　　　,

　　　　,

且记, 则正规方程组(2.16)的矩阵形式为

　　　　, (2.18)

解(2.18)得

　　　　, (2.19)

再代回到(2.12), 则得到。

　

　　以下是一对多线性回归分析的两个例子。

　

例2.1 某养猪场估算猪的毛重, 测得14头猪的体长(cm)、胸围(cm)与体重(kg)数据如表１, 试建立与及的预测方程。

表2.1

序号

体长()

胸围()

体重()

 1

 41

49

28

 2

 45

58

39

 3

 51

62

41

 4

 52

71

44

 5

 59

62

43

 6

 62

74

50

 7

 69

71

51

 8

 72

74

57

 9

 78

79

63

10

 80

84

66

11

 90

85

70

12

 92

94

76

13

 98

91

80

14

103

95

81

　　经计算: , , , ,

　　　　　　,

　　　　　　, 
　　　　　　,

　　　　　　,

　　　　　　,

　　于是正规方程组为

　　　　　　,

　　解此方程组得

　　　　　　, ,

　　又

　　　　　　,

　　因此所求预测回归方程为

　　　　　　

　　回归方程中系数与的含义是体长每增加1cm, 则猪体重毛重平均增加0.522kg, 胸围每增加1cm, 则猪体重毛重平均增加0.475kg。

　

例2.2 某地区二化螟的第一代成虫发生量与四个因素有关, 这四个因素分别如下, 已知原始观测数据如表2.2, 试建立二化螟发生总量的回归方程。

　　: 冬季积雪期限(单位为周),

　　: 每年化雪日期(以2月1日为1),

　　: 二月份平均气温(℃),

　　: 三月份平均气温(℃),

　　: 二化螟发生总量(头),

　　经计算:

　　　　,

　　　　,

表2.2

序号

 1

10

26

 0.2

3.6

 9

 2

12

26

-1.4

4.4

17

 3

14

40

-0.8

1.7

34

 4

16

32

 0.2

1.4

42

 5

19

51

-1.4

0.9

40

 6

16

33

 0.2

2.1

27

 7

 7

26

 2.7

2.7

 4

 8

 7

25

 1.0

4.0

27

 9

12

17

 2.2

3.7

13

10

11

24

-0.8

3.0

56

11

12

16

-0.5

4.9

15

12

 7

16

 2.0

4.1

 8

13

11

15

 1.1

4.7

20

154

347

 4.7

41.2

312

11.8462

26.6923

 0.3615

 3.1692

24

　　　　,

　　于是

　　　　,

　　又

　　　　

　　　　＝24 + 0.99742×11.8462 + 1.62581×26.6923 + 11.19263×0.3615 + 16.95291×3.1692 ＝ 136.98554,

　　因此所求二化螟发生总量的预测回归方程为

　　　　。

本系列转自：http://hutangao.blog.163.com/blog/static/4888314200982852442975/