最大似然估计及三大检验(Wald-LM-LR)资料

第二章 线性回归模型回顾与拓展 （12-15学时）

第四节 三大检验（LR Wald LM） 一、极大似然估计法（ML）

（一）极大似然原理

假设对于给定样本Y,X,其联合概率分布存在，fY,X;。将该联合概率密度函数视为未知参数的函数，则fY,X;称为似然函数（Likelihood Function）。极大似然原理就是寻找未知参数的估计ˆ，使得似然函数达到最大，或者说寻找使得样本Y,X出现的概率最大ˆ。

（二）条件似然函数VS无条件似然函数

fY,X;fYX;fX;

若与没有关系，则最大化无条件似然函数fY,X;等价于分别最大化条件似然函数fYX;和边际似然函数fX;，从而的最大似然估计就是最大化条件似然函数fYX;。

（三）线性回归模型最大似然估计

YXu，uN(0,2I)

n2 L(Y,X;,)(2)exp{对数似然函数：

22(YX)(YX)}

22nn(YX)(YX)lLnLLn2Ln2

22221lˆ)02(2XY2XX于是 ˆˆ2ln1(YXˆ)(YXˆ)0224ˆˆˆ221 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

ˆ(XX)1XYML 得到 2 1ˆMLeen（三）得分（Score）和信息矩阵（Information Matrix）

lf(;Y,X)称为得分； l1l2l（Gradient） .得分向量；

..lk2l海瑟矩阵（Hessian Matrix）:H

信息矩阵：

三*、带约束条件的最小二乘估计（拉格朗日估计）

在计量经济分析中，通常是通过样本信息对未知参数进行估计。但有些时候可能会遇到非样本信息——对未知参数的约束限制（如生产函数中的规模报酬不变等）。在这种情况下，我们就可以采用拉格朗日估计法。 对于线性模型（1），若其参数具有某种线性等式约束： H0 （6）

其中H是mk矩阵（mk，rank(H)m）。可视为除分量0以外的k1矩阵。上式表明未知参数1,2,,k之间的某些线性关系的信息。

ˆ。 现在的问题是寻求满足上式又使(YX)(YX)达到最小的估计量H02 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

为此，构造拉格朗日函数。（是m1的向量）

L(YX)(YX)H （7）

LˆHˆ0 （8） 2XY2XXHHˆH于是

Lˆ0 （9） HHˆHˆˆ1(XX)1Hˆ （10） 由（8）可得HH2ˆ是OLS的估计量。两边再左乘H，并结合（9）式有 （10）式的ˆHˆ1H(XX)1Hˆ 0HHH2ˆ2[H(Xˆ 所以，X)1H]1HH代入（10）式，我们便得到估计量：

ˆˆ(XX)1H[H(Xˆ （11） X)1H]1HH这就是拉格朗日估计，或称为带约束的最小二乘估计。它既利用了样本信息，

ˆ也是带约束的极大似然估计量（证明从略）也利用了非样本信息。另外，。 H

四、广义最小二乘估计（GLS） 1、数理过程

在实际经济问题的分析过程中，常常遇到古典假定中2的不满足，即随机扰动项存在异方差或自相关。比如利用截面数据进行分析时，随机因素的方差会随着解释变量的增大而增大（即所谓的递增异方差——如在研究消费收入的关系时，随着收入的增加，随机因素的变化会增大）。而利用时间序列数据进行分析时，由于经济变量的惯性作用，随机扰动项之间也会有联系，较为普遍的现象是

3 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

扰动项的一阶自相关。（即utut1t）

当存在异方差或自相关的情况下，传统的OLS不再是有效估计，这时，我们应采用广义最小二乘法来解决这类问题。具体地，

Euu'2 （12）

212wn 时ut存在异方差， 2n2w1其中11 12n11n1n21 时ut存在一阶自相关。

n2需要说明的是，无论是异方差还是自相关，矩阵是正定矩阵。于是，存在非奇异矩阵P，使得

PP 或 P(P)1I

在模型 YXu 两边同时左乘P1，得 P1YP1XP1u

或写成Y*X*u* （13） 此时，Eu*u*'E[P1uu'(P)1]P12(P)12I 即u*已无异方差和自相关。 那么，对（13）式运用OLS可以得到

ˆ(X*X*)1X*Y*(X(P1)P1X)1X(P1)P1Y(X1X)1X1Y （14） 4 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

这就是未知参数的广义最小二乘估计量GLS。它同样具有良好的统计性质。

ˆ,Varˆ2(X1X)1)的估计量。换即它是无偏的、一致的、渐近正态(E句话说，GLS估计量是广义模型中的最小方差线性无偏估计。这就是所谓的

Aitken定理，当I时高斯—马尔科夫定理为其特例。 2、WLS和广义差分法

广义最小二乘法是处理异方差和自相关问题的一般良好估计方法。

2i当已知时，比如异方差时，各个wi2已知，此时，矩阵P

w1P1w11 ，Pw2 1w2Y1X1u1w1w1w1*1*1*1YPY，XPX，uPu。

YXunnnwwwnnn这时由（13）式估计出来的，其实同加权最小二乘估计（WLS）是相同的。换句话说，加权最小二乘实际上是广义最小二乘的特例。再比如随机扰动项

11有一阶自相关且已知，此时12n112P1000100010000000

11n1n21PP，可以算得

n2那么（13）式中的

5 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

12Y12X11Y2Y1X2X1 *1 ，Y*P1YXPXYYXXn1n1nnˆ，其实就是所谓的广义差分法。也就是说广义差此时估计（13）式得出的分法也是GLS的特例。所以，GLS是一个普遍适用的方法。 3、未知时的GLS

当然，上述情形只是已知的情况。而在现实应用时，往往是未知的。于是我们面临一个问题——如何确定？回答当然是对中的未知量进行估计（比如自相关中的，异方差中的Wi）。那么又该如何估计呢？在回答这个问题之前，我们先考察一下GLS与最大似然估计的关系（可对照OLS与ML的关系）

一般来说，当N(0,2)或YN(X,2)时，Y的对数似然函数为

n11InLIn2In2(YX)(2)1(YX)

222或者考虑到PP，而P1YY*、P1XX*，又有（经过适当的运算）

nn1lnLln2ln2ln|P|2(Y*X*)(Y*X*)

222最大化上式，对求导令其为0，可得到的极大似然估计量（它其实就是。对或P中的未知量求导令其为0，可得到中未知量（比如）的估GLS）

计。这是一种理论上可行的方法，但实际操作可能会遇到障碍，尤其是在有异方差存在时。为此，我们介绍另一种方法——可行广义最小二乘法FGLS 4、可行广义最小二乘法（FGLS）

异方差的具体形式是复杂多样的，但总的来说都是与解释变量有关的,随解释变量的变化而变化。以下三种假设情况基本上涵盖了文献中讨论过的大多数情形。

6 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

（i）2i01Zi1（ii）i01Zi1pZip pZip

pZip （或2iexp(01Zi1 pZip)）

（iii）ln2i01Zi1我们称这些方程为扰动项方差的辅助方程。式中的Z是原模型中部分或全部的X或X的函数（比如Z1=X1,Z2=X12,Z3X1X2等等）。可行广义最小二乘法的

ˆi，然后得出估计值ˆi从而得基本思想就是，先利用辅助函数求得参数估计值ˆ及最终的GLS结果。FGLS的步骤如下： 到（1）Y对常数项和X1,X2,,XK回归，求得的OLS估计值；

ˆˆX（2）计算残差eiYi011i（3）选择上述方程的适当形式 （3i）ei2对常数项及Z1,ˆX kki,ZP回归，求得的估计值。这是针对上述（i）

的情况。式中的Z为原来X的平方或交叉乘积。然后把这些的估计值代回（i）

ˆi2。再使用GLS或WLS得出最终结果。需要指出的是，这种便得到i2的估计值ˆi2都为正，如果其中出现了0或负数，那么我们就只能方式并不能保证所有的ˆi2了。 使用原来的ei2代替（3ii）对应于上述方程（ii），让ei对常数项及Z1,,ZP回归，求得的OLS

ˆi，然后使用GLS或WLS（此时选择权数为1，如ˆi估计值，代入（ii）得到ˆi为负，那么权数为1ei）。

,ZP回归，求出的

（3iii）对应于方程（iii），让lnei2对常数项及Z1,ˆi2或ˆi2。然后利用GLS或WLS得出结果。这OLS估计值，再代回（iii）求得lnˆi2只会产生正值，不存在0或负的情况，这也是此种里值得一提的是，此时的7 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

方法很有吸引力的地方。

以上便是可行广义最小二乘法的一般步骤。由此得到的FGLS估计量是一致估计量。而且他们的方差和协方差也是一致的。同时渐近地（大样本场合）比OLS估计更有效。

五、矩估计 及GMM简介

事实上就参数估计方法来说，矩估计是最简便直观的方法。即用样本矩作为总体矩的估计。

矩估计 广义矩估计

综上所述，我们将传统的单一方程的估计方法总结如下：

OLS(普通最小二乘法，满足古典假定时的BLUE) 估ML (极大的似然估计，另一种优良的估计法，结果与OLS相同)计LM(拉格朗朗日乘数，或带约束最小二乘估计）方WLS(加权最小二乘，异方差存在且已知法GLS(广义最小二乘）广义差分(存在自相关且可估计量)FGLS(可行广义最小二乘，未知，需要对其中参数进行估计)回归的其他形式（标准化，与量纲回归，过原点回归等）；

第三节 线性回归模型的检验方法及拓展

8 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

有个对检验的总体说明

作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是有关理论有效性的验证。

正态性JB检验、峰度、偏度检验

一、假设检验的基本理论及准则

假设检验的理论依据是“小概率事件原理”，它的一般步骤是：（1）建立两个相对的假设（零假设和备择假设）（2）在零假设条件下，寻求用于检验的统计量及其分布（3）得出拒绝或接受零假设的判别规则。另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误（拒真）和第二类错误（采伪）。而犯这两类错误的概率（分别记为和）是一种此消彼长的情况，于是如何控制这两个概率，使他们尽可能的小以满足要求，就成了寻找优良的检验方法的关键。下面先就假设检验的有关基本理论做一简要介绍。

参数显著性检验的具体步骤是：已知总体的分布F(x,)，其中是未知参数。总体真实分布完全由未知参数的取值所决定。对提出某种假设

H0:0(H1:0或>0,0等)，从总体中抽取一个容量为n的样本，确定（W）=，或者对样本观测数一个统计量及其分布，决定一个拒绝域W，使得P0（XW）。即是显著性水平，也是犯第一类错误的概率。 据X，P0既然犯两类错误的概率不能同时被控制，所以通常的做法是限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在

P（ 0 XW）的条件下，使得

（ P，0 XW）（达到最大。其中P表示总体分布为F(x,)时，事件{XW}的概率，0为XW）9 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

零假设集合（0只含一个点时成为简单原假设，否则称为复杂原假设）。0则表示备择假设集合，为了方便描述，我们定义

（）=P（  XW）称为该检验的势函数。当0时，是犯第一类错误的概率；而当（）（）0时，1是犯第二类错误的概率。 （） 于是一个好的检验方程是：

max(),0 s..t(),0 为了理论上的深入研究和表达方便，我们常用函数来表示检验法。定义函数

(x)1,xW

0,xW它是拒绝域W的示性函数，仅取0、1两个值。反之如果一个函数中(x)只取0或1，则W{x|(x)1}可作为一个拒绝域。也就是说，W和之间建立了一种对立关系，给出一个就等价于给出了一个检验法，（我们称为检验函数）。那么，对于检验法的势函数为

()E(X)(x)dF(x,) 于是，一个好的检验法又可写为

max(),0 

s..tE（x）,0我们称满足上式的检验法为最优势检验(MPT)（如果是对于复杂原假设和备择假设，则称为一致最优势检验（UMPT）。

奈曼—皮尔逊基本引理给出于(x)是MPT的充要条件。

10 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

[定理] 设X1,,Xn是来自总体分布密度为p(x,)的样本，为未知参数，对于

简单假设检验问题H0:0,H1:1，检验函数(x)是显著性水平为的最优势检验MPT的充要条件是，存在常数K0，使得(x)满足：

E0(X)

1,当p(x,1)Kp(x,0) (x)0,当p(x,)Kp(x,)10这就是著名的奈曼—皮尔逊基本引理，需要指出的是，上述定理中的检验函数

(x)通常也称为似然比检验函数，若记

p(x,1)

p(x,0) (x)称为似然比统计量。如果(x)较大，意味着p(x,1)较大，所以在H0为真时观测到样本点x的可能性比H1为真时观察到样本点x的可能性小，因而应拒绝原假设H0；反之，如果(x)较小则应接受H0。此外，利用(x)，上述定理中的(x)可写为

1,(x)K (x)

0,(x)K这说明对于简单假设检验问题，似然比检验是最优的，反之最优势检验法也一定

2是似然比检验法。而大量的文献都已证明了传统假设检验中的Z检验，t检验，检验，F检验都是最优势检验。

于是，我们可以放心地回到这部份的主题——计量经济模型的检验方法。

二、一般线性框架下的假设检验 多元回归模型Y01X1kXku的统计检验通常包括以下三种情

11 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

况：（1）单个系数的显著性检验；（2）若干个回归系数的联合检验；（3）回归系数线性组合的检验。例如：考虑下面这些典型假设的例子。

10、H0:i0。即回归元Xi对Y没有影响，这是最常见的参数显著性检验。 20、H0:ii0 。i0是某一具体值。例如i表示价格弹性，我们也许希望它是-1。

30、H0:121。这里的表示生产函数中资本和劳动的弹性，此时检验是否规模报酬不变。

40、H0:23或230。即检验X2和X3的系数是否相同。 50、H0:12k0。即检验全部回归元都对Y没有影响。

60、H0:II0。 这里的含义是把向量分为两个子向量I和II，分别含有k1和k2个元素。检验H0:II0就是检验某一些回归元XII（X的一部分）对Y没有影响。

诸如以上的情形都可归于一般的线性框架： Rr （注意：这里(1,k)）

其中R是由已知常数构成的qk矩阵（qk），r是各元素为常数（一般是0或1）的q1矩阵。于是，对于上述情形，具体的我们有： （i）R(010),r0.(q1) （ii）R(010),ri0.(q1) （iii）R(1,1,0（iv）R(0,1,1,0),r1.(q1) 0),r0.(q1)

12 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

（v）RIk,r0.(qk)

00（vi）R,r0.(qk2)

0Ik2所以，上述问题的统一假设是：

H0:Rr0

ˆ，计算Rˆr，若其值较“小”为了检验这个假设，应先估计出，（接近于0），ˆ则不应否定原假设；而如果其值较大，那么应对H0提出怀疑。为此我们先考察R的分布。

ˆ，我们知道ˆ 对于OLS的N(,2(XX)1)。（注意：这里的X是所有解

释变量观测值组成的nk矩阵不含全是1的第一列）而

ˆ)R E(Rˆ)E[R(ˆ)(ˆ)R]RVarˆR2R(XX)1R Var(Rˆ所以，RN(R,2R(XX)1R)

于是，在H0:Rr0成立的条件下，

ˆrRN(0,2R(XX)1R)

那么，由有关的数理统计知识可知：

ˆr)[2R(XX)1R]1(Rˆr)(R2(q) （1）

此外，我们还可以证明

ee22(nk1) （残差平方和的分布）。

因此，由上述两式，得到在H0下的检验统计量：

13 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

ˆr)[R(XX)1R]1(Rˆr)q(RF~F(q,nk1) （2）

ee(nk1)ˆ2） （注意：ee(nk1)于是，检验的程序是，如果算出的F值大于某个事先选定的临界值，则拒绝H0。具体描述如下：

10、H0:i0

ˆ为ˆ。R(XX)1R为cii。即(XX)1主对角线上的第i个元素（注：此时Ri（(XX)1是一K阶对称方阵）。因此：

ˆ2ˆ2ii F2~F(1,nk1)

ˆˆciiVariˆ2取平方根 tiˆsei这就是传统的关于回归参数显著性的t检验法。 t(nk1)，

20、H0:ii0

ˆi0类似1，这里tiˆsei0t(nk1)

此时也可以计算，比如i的95%置信区间，而不用检验关于i的具体假设，这个

ˆtSeˆ。 置信区间是i0.025i30、H0:121

ˆ给出了两个估计系数的和ˆˆ，R(XX)1Rc112c12c22（注：R12而此时

(XX)1(cij)，R=(1,1,,0)）。那么

[R(XX)1R]121ˆ2Cov(ˆ,ˆ)Varˆ]1[Var(ˆˆ)]1ˆ[(c2cc)][Var111222112212ˆ214 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

于是检验统计量为：

tˆˆ112ˆˆ)Var(12t(nk1)

ˆˆ)tˆˆ或者，也可以计算12的95%置信区间(120.025Var(12) 40、H0:23

类似30，可推得此时的检验统计量为

ˆˆ23ˆˆ)Var(23tt(nk1)

50、H0:12k0

此时 RIk，r=0，q=k，那么

FˆXXˆkee(nk1)ESSkRSSnk1F(k,nk1)

这就是我们熟悉的关于回归方程显著性的F检验。

60、H0:II0

I这里对应于。把X分块为XXIII此时 Fe1ee)k2(e1ee(nk1)XII，可以证明（过程略）

F(k2,nk1) （3）

e1是Y对XI做线性回归的残差平方和。ee是Y对所有X回归的RSS。 其中e1通过上述示例，我们看到一般线性框架下的假设检验，它涵盖了传统计量经济分析中的统计检验方法。有了它，我们可以方便地实现许多实证问题中线性意义下的统计检验。其重要性是显而易见的。

15 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

三、一般线性假设检验的另一种形式

上面第60情况出现的统计量就是这里所说的另一种形式。显然50是60的特殊情况，而事实上我们还将看到其它的情况也可归于60。另外，这里还有一个问题，即类似于第30种情况的检验与上一章所讲的带约束的最小二乘估计的关系是什么？也就是说，对未知参数有约束限制的模型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果是否一致？下面的具体分析就回答了这一问题。

事实上，无论50还是60都可以认为用了两种不同回归的结果。第一种回归可看作有约束的回归，或者说H0中的约束条件实际上是估计方程施加的。即50中有约束回归是将X1,X2,,XK从回归式中省略掉，或等价地说，令1,2,,k为

零；在60中，有约束的回归只用了前面一部分变量XI（K1K2个）。而50、60两种情况的第二种回归是无约束回归，它们都用了所有的变量X。由于无约束模

e*，因此对某型的残差平方和RSS是ee，有约束模型的残差平方和RSS记为e*些i的显著性检验也就是问，对应的Xi加入模型后，残差平方和RSS是否显著减少。

具体到第3种情形，考虑离差形式的回归方程 y1x12x2e 对其施加约束121，代入回归方程 y1x1(11)x2e 或(yx2)1(x1x2)e

由变量(yx2)对(x1x2)的回归便可得到1的受约束估计值，而这个回归的

e*。 RSS就是有约束的RSS，即e*实际上这就是我们前面讲到的带约束条件的最小二乘估计。

16 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

ˆ，构造拉格朗日函一般地，在约束条件R*r下，求使RSS达到最小的*数

L(YX*)(YX*)(R*r)，运用前面所讲的方法可得到（过程略）

ˆˆ(XX)1R[R(Xˆr) （4） X)1R]1(Rˆ是无约束的OLS估计量，而受约束回归的残差为 其中ˆYXˆX(ˆˆ)eX(ˆˆ) eYX将其转置，再与其自身相乘，有

ˆˆ)XX(ˆˆ) eee( eˆˆ代入并化简可得 再把（4）式的ˆr)[R(Xˆr) （5） eee(R eX)1R]1(Rˆr的统计这与（2）式中除q外的分子完全相同，也就得到了检验假设H0:R量的另一种形式为 Feee)q(eee(nk1)F(q,nk1) （6）

这也恰好说明前面所述的6种检验的情形都可以用上述方式进行，即拟合一个受约束的回归，用受约束模型的残差平方和与无约束模型的残差平方和之差

eee的大小（或记为RSSRRSSU）来推断原假设是否成立。这也就是说一e般的线性假设情形都是60的特例，或者（6）式的F统计量是普遍适应于一般线性假设的一种重要检验方法。即

F(RSSRRSSU)qRSSU(nk1)F(q,nk1)

其中RSSR和RSSU分别是受约束模型和无约束模型的残差平方和,q是约束条件个数。同时，这也就回答了本段开始的问题，即，对于未知参数有约束限制的模

17 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果应该是一致的。

四、似然比检验（LR）

如本节开头所述，在统计推断中，古典检验方法是建立在似然比的基础之上的。由此可见似然比检验的重要性（当然它的实用性也会在应用中显现出来）。一般而言，似然比被定义为原假设下似然函数的最大值与无约束条件下似然函数的最大值的比率。上一节我们得到了线性回归模型参数的极大似然估计量（上一节（4）式和（5）式）

ˆ(XX)1XY MLˆ)(YXˆ) ˆ2(YXMLMLML1n它们在无约束条件下，使似然函数最大化。把它们代入似然函数可得无约束的最大似然值（推导过程略）

-n2ˆˆL(,)常数（ee）2 （7）

（式中的常数与模型中的任何参数无关，ee是残差平方和）

另一方面，如果在约束条件Rr下使似然函数最大化，令和2表示所导致的估计值，那么L(,2)便是约束条件下的最大似然值，有约束的最大值当然不会超过无约束的最大值，但如果约束条件“有效”，有约束的最大值应当“逼近”无约束的最大值，这正是似然比检验的基本思路。似然比定义为

L(,2) 2ˆˆL(,)显然，01。如果原假设为真，我们会认为的值接近1。或者说，如果

太小，我们则应该拒绝原假设。似然比检验的建立就是要使得当k时，拒

绝原假设。即P(0kH0)（为显著性水平）。在某些情况下，拒绝域

18 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

k可以转化为含有我们熟知的t统计量或F统计量的形式。不过，普遍适用

的是大样本检验。可以证明，对大样本来说，统计量

ˆ,ˆ2)lnL(,2)~2(q) （8） LR2ln2lnL(具体地，如果LR很大，则应拒绝原假设，或者说似然比检验的拒绝域为

LR21(q)，其中12(q)为卡方分布的1下侧分位数。

ˆ,ˆ2)，为了保证LR的计算，我们还需前面已得到无约束的最大似然值L(要得出约束条件下的最大似然值L(,2)。为此，最大化

lnL(Rr)（式中的是q1的拉格朗日乘数向量，lnL就是无约束的

对数似然函数），可得约束条件下的。由于参数的极大似然估计量与最小二乘

ˆ即（4）式相估计量实际上是相同的，那么此处得到的就与上一小节所得到*ˆe，而2的带约束的极大似同。与前面一样，此时的残差为YXYX**然估计为2e*e*（类似于（7）式） n，因此，

（9）

n2L(,2)常数（e*e*）

（式中常数与（7）式相同）将（7）式和（9）式代入（8）式，就得到了似然比检验统计量的另一种形式，

'LRn(lne*e*lnee) （10）

由此可见，计算LR统计需要拟合无约束模型和有约束模型。而事实上，前面讲的各种检验（t检验，F检验，（6）式）都可以根据似然比原理推导出来。这就再次说明似然比检验是统计检验的理论基础。

五、沃尔德检验（Wald）

19 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

ˆ服从正态分布推在前面一般线性框架的假设检验的讨论中，由OLS估计量ˆ的渐近正态性，也能得到前面的（1）出了（1）式。这里如果我们考虑MLE式，即

121ˆˆr)~2(q) （11） (Rr)R(XX)R(Rˆ2ee代替式中的2，这里q是R中约束条件个数，用2的一致估计量n渐近分布成立，或者说大样本情形的沃尔德统计量为

ˆr)R(XX)1R1(Rˆr)(Rˆ2aW~2(q) （12）

eee）类似于前面的（6）式，上式的分子也可写为（e，于是Wald检验的

统计量具有另一种形式，

'n(e*e*ee)W~2(q) （13）

ee与LR检验的情况一样，W呈大样本卡方分布。如果W的值大于卡方分布的

2上侧分位数，则拒绝原假设。而前面的（6）式也可归为Wald检验类。

Wald检验的一般公式：

Wc()

TVarc()c()~1a2(q)

六*、拉格朗日乘数检验（LM）

ˆ上述的LR检验，Wald检验都涉及到了对数似然函数lnL。Wald检验是由渐近服从均值为，方差协方差阵为I1()的正态分布，而导出在H0下，

ˆrRN(0,RI1()R)。其中I1()2(XX)1。从而得出Wald统计量的分布。

ˆ是的极大似然估计量，由其大样本性或渐近性知，一般地，如果20 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

ˆN(,I1())，其中I()称为信息矩阵，它的定义如下：

2lnLlnLlnLI()E()()E 2(XX)1在线性模型的极大似然估计中，易知 I1(2)0即上述Wald检验的I1()2(XX)1。

拉格朗日乘数检验同样依赖于对数似然函数及信息矩阵。记S()lnL，024n ˆ的得分S(ˆ)0，称为lnL在处的得分。无约束估计量而受约束的估计量的

得分S()在约束条件有效的情况下，应接近于0。可以证明，得分向量S()的均值为零，方差－协方差矩阵为信息矩阵I()，于是S()I1()S()服从分布

2，所以大样本时，在H0:0下，有

LMS()I()S()2(q) （14）

1a此时，我们只需计算受约束的估计量的得分（注意：Wald计算的是无约束

lnL1Xu2的估计量）即由 S()

nuulnL22242用e*YX和2e*'e*n代替上式的u和2，以及Rr，可得

1Xe* S()20再通过适当的运算和变换可得(过程略)

'ne*X(X'X)1X'e* LM= （15） 'e*e*21 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

具体的LM检验可分两步完成。第一步，计算受约束的估计量，从而得到残差向量e*，第二步，让e*对所有的变量X回归，这个回归的可决系数是R2，恩格尔(Engle 1982)证明了对于大样本来说， LMnR22(q) （16）

2当nR2(卡方分布的上侧分位数)时，则拒绝原假设。

LM检验方法实际上是从一个较简单的模型开始，检验是否可以增加新变量，第一步就是对简单模型(变量较少)回归，得到残差e*。如果“真实”模型变量很多，则这些变量加入模型应对e*有影响。所以第二步e*对所有变量回归而得到的R2的大小就将直接决定是否应该增加新变量，即约束Rr是否成立。如

2果R2很大(nR2)，则说明新增变量对e*有显著影响，即真实模型应含较多2变量，或者说对参数的约束(比如某些i为0)不成立。如果R2较小(nR2)，

则说明新增变量对e*没有显著影响，真实模型就应是变量较少的简单模型，即约束条件成立。这也是通常所说的“从简单到一般”的模型设定方法。

七、LR，Wald，LM的简单比较

三种检验方法都由极大似然估计而来。都用到了对数似然函数，LR检验只适用于线性约束的检验；Wald检验和LM检验既适用于线性约束也适用于非线性约束的检验。LR检验需要计算带约束和无约束的对数似然函数值 ；Wald检验只需要估计无约束的模型；而LM检验只需要估计约束模型(所以当施加约束条件后模型形式变得简单时LM检验更方便适用)。

下面简要推导一下这三个检验统计量之间的著名不等式，即WLRLM

22 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

'e*e*e'e) 首先，（10）式可写为 LRnln(1e'e1将其按级数ln(1z)zz22展开，便可得到LRW。

其次证明（15）式可写为

'n(e*e*e'e) (17) LM'e*e*ˆe的残差可表为 事实上，对于回归模型YXˆYX(XX)1XY[IX(XX)1X]YMY eYX其中MIX(XX)1X是一对称等幂矩阵，它具有性质MX0，Mee。而

ˆ同样有eYXˆ，从而对于满足约束条件R*r的受约束估计量***Me*MYe(因为MX0)，于是有

''eee*MMe*e*Me*(MM,M2M)'e*[IX(XX)1X]e*''e*e*e*X(XX)1Xe*

''X(XX)1Xe*e*e*ee，这就得到了LM的另一种表达式，即（17）式。 即e*'e*e*e'e 再次，LR还可写为LRnln(1) 'e*e*1同样按级数ln(1z)zz22展开，便可得到LRLM，即最终，我们有：

WLRLM

由此不等式可知，当LM检验拒绝原假设时，其他检验也一样。当Wald检验没有拒绝原假设时，其他检验也不会拒绝原假设。尽管在小样本时三个值可能有所不同，但在大样本情形，这三个检验近似相等。就计算而言，LR检验最麻烦，其他两种还算简单。

23 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

下面给出的是一元线性回归离差形式yixiui的三种检验的具体形式(H0:0)(推导过程要用到对数似然函数，但并不复杂，这里从略)。

LRnln(1R2)

WnR21R2

2LMnRaux

上述三个式子对于大样本来说都服从自由度为1的卡方分布。就几何上而言，对

ˆ和之间的垂直距离 于一元回归的原假设H0:0，LR检验是基于0ˆ和之间的水平距离ˆ)2lnL())；Wald检验是基于(LR2ln2lnL(00ˆ)2I(ˆ)，I()是信息矩阵，此处为(2c)1(Varˆ)1)，LM检验则(W(0ii是基于对数似然函数在0处的斜率(得分函数是对数似然的导数，

LMs2(0)I(0)1，s(0)为在0处的得分)，而每一个检验都很好地度量了原

假设与备样假设之间的“距离”。

现将三种检验方法的要点内容列表如下：

以一元线性回归为例的计算及直观意义方法 适用范围 计算方式 (H0:0) 只适用线计算带约束和无约束的对数似然值 nR2ˆ)2lnL()nln(1R2) LR2lnL(0ˆ与之间的垂直距离 0LR 性约束的检验 2ˆ线性约束只需估计W(ˆ)2I(ˆ)(0)0Wald 和非线性无约束的约束检验 模型 2cii1R2 ˆ与之间的水平距离 (F检验) 度量024 / 25

最大似然估计及三大检验(Wald-LM-LR)资料

LM 同上 只需估计LMs2(0)I(0)1nR2 约束模型 考察对数似然函数在处的斜率 0关系图......

第四节 模型设定检验 ?

RESET, BIC, AIC ……. ……, ……, ……

25 / 25