统计学基础4：矩估计

统计推断的基本问题
	参数估计
		点估计
		区间估计
	假设检验
	线性回归
	方差分析

参数通常是刻画总体某些概率特征的数量。
当该参数未知时，从总体中抽取一个样本，用某种方法对该参数进行估计，这就是参数估计。

假设总体$X\sim F(X;\theta_1,\theta_2,\dots,\theta_m)$X∼F(X;θ1​,θ2​,…,θm​)，其中分布$F$F的表达式已知，但参数$\theta_1,\theta_2,\dots,\theta_m$θ1​,θ2​,…,θm​未知，若记$\theta=(\theta_1,\theta_2,\dots,\theta_m)$θ=(θ1​,θ2​,…,θm​)，则总体分布可记为：
$X\sim F(X;\theta)$X∼F(X;θ)

参数的取值范围称为参数空间，记为$\Theta$Θ。

点估计的思想

$x_1,x_2,\dots,x_n$x1​,x2​,…,xn​是来自总体$X\sim F(X;\theta_1,\theta_2,\dots,\theta_m)$X∼F(X;θ1​,θ2​,…,θm​)的一个样本，$\theta_1,\theta_2,\dots,\theta_m$θ1​,θ2​,…,θm​是未知参数。构造$m$m个统计量：
$随机变量=\begin{cases}\hat{\theta}_1(X_1,X_2,.\dots X_n) \\ \hat{\theta}_2(X_1,X_2,.\dots X_n) \\ \dots \\ \hat{\theta}_m(X_1,X_2,.\dots X_n)\end{cases}$随机变量=⎩⎪⎪⎪⎨⎪⎪⎪⎧​θ^1​(X1​,X2​,.…Xn​)θ^2​(X1​,X2​,.…Xn​)…θ^m​(X1​,X2​,.…Xn​)​

当把样本观测值$x_1,x_2,\dots,x_n$x1​,x2​,…,xn​代入上统计量，就得到$m$m个数值：
$数值=\begin{cases}\hat{\theta}_1(x_1,x_2,\dots,x_n) \\ \hat{\theta}_2(x_1,x_2,\dots,x_n) \\ \dots \\ \hat{\theta}_m(x_1,x_2,\dots,x_n)\end{cases}$数值=⎩⎪⎪⎪⎨⎪⎪⎪⎧​θ^1​(x1​,x2​,…,xn​)θ^2​(x1​,x2​,…,xn​)…θ^m​(x1​,x2​,…,xn​)​

称$\hat{\theta}_k(X_1,X_2,\dots,X_n)$θ^k​(X1​,X2​,…,Xn​)为$\hat{\theta}_k$θ^k​的估计量$(k=1,2,\dots,m)$(k=1,2,…,m)；
称$\hat{\theta}_k(x_1,x_2,\dots,x_n)$θ^k​(x1​,x2​,…,xn​)为$\hat{\theta}_k$θ^k​的估计值$(k=1,2,\dots,m)$(k=1,2,…,m)。

常用的点估计方法：

• 矩估计法
• 极大似然法
• 最小二乘法
• 贝叶斯方法

矩估计的思想

假设总体$X\sim F(X;\theta_1,\theta_2,\dots,\theta_m)$X∼F(X;θ1​,θ2​,…,θm​)，参数$\theta_1,\theta_2,\dots,\theta_m$θ1​,θ2​,…,θm​未知，且总体的$m$m阶矩存在：
$\mu_k(\theta_1,\theta_2,\dots,\theta_m)=E(X^k)\quad (k=1,2,\dots,m)$μk​(θ1​,θ2​,…,θm​)=E(Xk)(k=1,2,…,m)

设$x_1,x_2,\dots,x_n$x1​,x2​,…,xn​是来自总体$X$X的一个样本，则由辛钦大数定律，有：
$A_k=\frac{1}{n}\sum^{n}_{i=1}x_i^k\underrightarrow{P}\mu_k(\theta_1,\theta_2,\dots,\theta_m),\quad n\longrightarrow \infty$Ak​=n1​i=1∑n​xik​P​μk​(θ1​,θ2​,…,θm​),n⟶∞

因此当$n$n较大时有
$A_k=\frac{1}{n}\sum^{n}_{i=1}x_i^k\approx\mu_k(\theta_1,\theta_2,\dots,\theta_m),(k=1,2,\dots,m)$Ak​=n1​i=1∑n​xik​≈μk​(θ1​,θ2​,…,θm​),(k=1,2,…,m)

令
$\begin{cases}\mu_1(\theta_1,\theta_2,\dots,\theta_m)=A_1\\\mu_2(\theta_1,\theta_2,\dots,\theta_m)=A_2\\ \dots\\ \mu_m(\theta_1,\theta_2,\dots,\theta_m)=A_m \end{cases}$⎩⎪⎪⎪⎨⎪⎪⎪⎧​μ1​(θ1​,θ2​,…,θm​)=A1​μ2​(θ1​,θ2​,…,θm​)=A2​…μm​(θ1​,θ2​,…,θm​)=Am​​

用样本矩阶矩作为总体矩阶的估计量

其解$\hat{\theta}(x_1,x_2,\dots,x_n)$θ^(x1​,x2​,…,xn​)称为$\hat{\theta}$θ^的矩估计量，$(k=1,2,\dots,m).$(k=1,2,…,m).

命题：不论总体$X$X服从什么分布，若其期望$\mu$μ和方差$\sigma^2$σ2都存在，则$\mu$μ和$\sigma^2$σ2的矩估计量分别为：
$\hat{\mu}=\bar{x}=\frac{1}{n}\sum^{n}_{i=1}X_i,\hat{\sigma^2}=\frac{1}{n}\sum^{n}_{i=1}(X_i-\bar{X})^2\equiv E(s^2)$μ^​=xˉ=n1​i=1∑n​Xi​,σ2^=n1​i=1∑n​(Xi​−Xˉ)2≡E(s2)
$E(s^2)$E(s2)是修正的样本方差。
矩估计对均匀分布的参数估计不是很好。

矩估计小结

• 原理直观
• 只用到总体矩，方法简单，若总体矩不存在，则无法使用矩估计法（反例：Cauchy分布）
• 矩估计基于大数定律，所以通常在大样本情况下才有较好的效果。