小方差无偏估计UMVUE小方差无偏估计UMVUE优良的无偏估计都是充分统计量的函数.将之应用在参数估计中可得:(),(()()EYVarYVarX其中等号成立的充要条件为X与(Y)几乎处处相等.定理1:设X和Y是两个r.v.,EX=,VarX0,令()(|)yEXYy则有1(,,)nTTxx1(,,),|),nxxET令(则是样本,是的充分统计量,1,nxx定理2:设总体的概率函数为p(x;),VarVar也是的无偏估计,且对的任一无偏估计一、Rao-Blackwell定理注:定理2表明:若无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函数且方差会减小.即,考虑点估计只需在充分统计量的函数中进行,这就是充分性原则.11(|),niitETttx()=其中令=p2,则1211,11,0,xxelse为的无偏估计.因为是充分统计量,由定理2,从而可令1niiTx可得(1)()(1)tttnn=故为的无偏估计.且1()()VarVar例1.设(,,)nxx为来自b(1,p)的样本,求p2的U.E()xTnx或为p的充分统计量解：前已求过:进一步改进：1(|)(),ETT=(1)(1)TTnn=二、最小方差无偏估计定义:,,()(),,.VarVarUMVUE设是的一个无偏估计量若对于的任一方差存在的无偏估计量都有则称是的一致最小方差无偏估计记为注：一致最小方差无偏估计是一种最优估计.由定理2,只要它存在.它一定是充分统计量的函数.一般地,若依赖于充分统计量的无偏估计只有一个,它一定是UMVUE.Problem：无偏估计的方差是否可以任意小?如果不能任意小,那么它的下界是什么?(,)0,Cov1(,,)nxx是总体X的样本,1,nxx定理3:(UMVUE准则)设如果对任一个满足Var是的任一无偏估计,11(,,)0(,,),nnExxxx的都有.UMVUE则是的例2:设1,nxx为来自Exp(1/)的样本,则1niiTx为的充分统计量,证明:为的UMVUE.Txn反之亦成立.2ln(;)(4)()xpE存在Fisher信息量的定义.(2)|(;)0;Sxpx支撑与无关(;)(3)(;)---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---(;)pxpxpxdxdx存在且对中一切有三、罗-克拉美（CramerRao）不等式(1)是实数轴上的一个开区间;设总体X的概率函数为p(x;),且满足条件:2ln(;)()()defpxIEFi则称sh为总体er分布的信息量.正则条件(1)I()越大,总体分布中包含未知参数的信息越多。(;),0,1,2.!xpxexx例3:设总体为Poisson分布，即1().I则注：1(;)exp,0,0.xpxx例4:设总体为指数分布Exp(1/)，即21().I则(2)I()的另一表达式为2222ln(;)(;)()(),(pxpxIE存在,满足正则条件)注：常见分布的信息量I()公式两点分布Xb(1,p)1()(1),0,1xxPXxppx1()(1)Ippp泊松分布(),0.XP(),XExp指数分布(,1),XN正态分布2(,),XN1()I2()I()1I(0,),XN241()2I22410102(,)I设总体X的概率函数为p(x;),满足上面定义中的条件；x1,.,xn是来自总体X的一个样本,T(x1,.,xn)是g()的一个无偏估计.且对中一切有()()gg存在,定理4(Cramer-Rao不等式):1211()(,,,)(;)nninigTxxxpxdxdx的微分可在积分号下进行，即121111211((;)ln((;)()(,,,)(,,,)(;)nnniinniiniingTxxxdx邓小平Txxxdx邓小平xxpx则有特别地对的无偏估计有2()()()gVarTnI1()()VarTnI上述不等式的右端称为C-R下界,I()为Fisher信息量.注:(1)定理对离散型总体也适用.只需改积分号为求和号。(2)在定理4条件下,若g()的无偏估计量T的方差VarT达到下界,则T必为g()的最小方差无偏估计.但是它不一定存在,也就是说,C-R不等式有时给出的下界过小.(3)当等号成立时,T为达到方差下界的无偏估计,此时称T为g()的有效估计。有效估计一定是UMVUE.（反之不真）3.有效估计定义:,设是的任一无偏估计量称1()().()defnIeVar为估计量效率的0()1e:显然的任一无偏估计量的效率满足注定义:()1,.e如果的无偏估计量的效率则为的有效估计称lim()1.ne如果则称为的渐近有效估计注:,.,.如果是的有效估计则它也是一致最小方差无偏估计反之却不一定成立(1)),()();TETg验证是g(的无偏估计即(2);VarT计算2(3)();()::(;)ln(;);ln(;):;ln(;):()();IIIXpxpxpxIIpxIIIIEI计算而计算又可分为下面几个步骤对总体的密度函数或分布列---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---函数求对数求利用或其等价公式计算2()(4):;()gnI求方差下界综上,求证T是g()的有效估计的步骤为:2()()gVarTnI比较与例5.设总体XExp(1...