有偏估计

统计学术语

有偏估计（biased estimate）是指由样本值求得的估计值与待估参数的真值之间有系统误差，其期望值不是待估参数的真值。在统计学中，估计量的偏差（或偏差函数）是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。否则该估计量是有偏的。在统计学中，“偏差”是一个函数的客观陈述。

简介

偏差是相对于中位数来衡量，而非相对于均值（期望值），在这种情况下为了与通常的均值无偏性区别，称作中值无偏。偏差与一致性相关联，一致估计量都是收敛并且渐进无偏的（因此会收敛到正确的值），虽然一致序列中的个别估计量可能是有偏的（只要偏差收敛于零）。

当其他量相等时，无偏估计量比有偏估计量更好一些，但在实践中，并不是所有其他统计量的都相等，于是也经常使用有偏估计量，一般偏差较小。当使用一个有偏估计量时，也会估计它的偏差。有偏估计量可能用于以下原因：由于如果不对总体进一步假设，无偏估计量不存在或很难计算（如标准差的无偏估计）；由于估计量是中值无偏的，却不是均值无偏的（或反之）；由于一个有偏估计量较之无偏估计量（特别是收缩估计量）可以减小一些损失函数（尤其是均方差）；或者由于在某些情况下，无偏的条件太强，而这些无偏估计量没有太大用处。此外，在非线性变换下均值无偏性不会保留，不过中值无偏性会保留；例如样本方差是总体方差的无偏估计量，但它的平方根标准差则是总体标准差的有偏估计量。

定义

设我们有一个参数为实数的概率模型，产生观测数据的概率分布，而统计量是基于任何观测数据下的估计量。也就是说，我们假定我们的数据符合某种未知分布（其中是一个固定常数，而且是该分布的一部分，但具体值未知），于是我们构造估计量，该估计量将观测数据与我们希望的接近的值对应起来。因此这个估量的（相对于参数的）偏差定义为

其中表示分布的期望值，即对所有可能的观测值取平均。由于θ对于条件分布是可测的，就有了第二个等号。

对于参数θ的所有值的偏差都等于零的估计量称为无偏估计。

在一次关于估计量性质的模拟实验中，有偏估计可以用平均有符号离差来评估。

样本方差

随机变量的样本方差从两方面说明了估计量偏差：首先，自然估计量（naive estimator）是有偏的，可以通过比例因子校正；其次，无偏估计量的均方差（MSE）不是最优的，可以用一个不同的比例因子来最小化，得到一个比无偏估计量的MSE更小的有偏估计量。

具体地说，自然估计量就是将离差平方和加起来然后除以，是有偏的。不过除以会得到一个无偏估计量。相反，MSE可以通过除以另一个数来最小化（取决于分布），但这会得到一个有偏估计量。这个数总会比大，所以这就叫做收缩估计量，因为它把无偏估计量向零“收缩”；对于正态分布，最佳值为。

设期望为、方差为的独立同分布随机变量。如果样本均值与未修正样本方差定义为

则是的一个有偏估计量，因为

换句话说，未修正的样本方差的期望值不等于总体方差，除非乘以归一化因子。而样本均值是总体均值的无偏估计量。

是有偏的原因源于样本均值是的普通最小二乘（OLS）估计量这个事实：是令尽可能小的数。也就是说，当任何其他数代入这个求和中时，这个和只会增加。尤其是，在选取就会得出，

于是,

注意到，通常的样本方差定义为