统计推断 笔记（一）
0. 背景介绍
统计推断是对来自总体（population）的嘈杂样本（noisy sample）得出结论的过程。两大工具是估计和假设检验。
与概率论不同的是，概率论中的参数（parameter）都是已知的，然而统计中的参数是未知的。
经典统计推断(如下图）
| 点估计 | 置信区间估计 | 假设检验 |
|---|---|---|
| eg.最大似然估计 | t,chi-squared… | |
| 矩估计法 |
1. 估计原理
似然函数（likelihood function）是 x 1 x_{1} x1… x n x_{n} xn的联合分布函数。 L ( x ⃗ , θ ) = f x ⃗ ( x ⃗ ∣ θ ) = ∏ i = 1 n f ( x i ∣ θ ) L(\vec{x},\theta)=f_{\vec{x}} (\vec{x}|\theta)=\prod_{i=1}^{n}f(x_{i}|\theta) L(x ,θ)=fx (x ∣θ)=∏i=1nf(xi∣θ)
Log-likelihood function : l ( x ⃗ , θ ) l o g L ( x ⃗ , θ ) l(\vec{x},\theta)log L(\vec{x},\theta) l(x ,θ)logL(x ,θ)
Score function U = ∂ l ∂ θ U= \frac{\partial l}{\partial \theta} U=∂θ∂l
Fisher information I ( θ ) = E ( − ∂ 2 l ∂ θ 2 ) I(\theta)=E(-\frac{\partial ^{2} l}{\partial \theta^{2}}) I(θ)=E(−∂θ2∂2l)
统计学家介绍
罗纳德·费希尔 Ronald Fisher（1890～1962），生于伦敦，卒于
Adleaide（澳洲）。英国统计与遗传学家，现代统计科学的奠基人之一，
并对达尔文进化论作了基础澄清的工作。著名成就:最大似然估计，
费希尔资讯（Fisher information），变异数分析（Analysis
of variance），实验设计（design of experiments）
2. 效率Efficiency和克拉美-劳不等式Cramer-Rao Inequality
似然理论的重要结果
E
(
U
)
=
0
E(U) = 0
E(U)=0(数学期望成立，x不取决于
θ
\theta
θ)
V
a
r
(
U
)
=
E
(
U
2
)
Var (U)=E(U^2)
Var(U)=E(U2)
I
(
θ
)
=
V
a
r
(
U
)
=
E
(
U
2
)
I(\theta)= Var (U)=E(U^2)
I(θ)=Var(U)=E(U2)
Cramer-Rao Inequality
| one-parameter case | general case |
|---|---|
| V a r ( θ ^ ) = 1 I ( θ ) Var(\hat\theta)=\frac {1}{I(\theta)} Var(θ^)=I(θ)1 | ϕ ^ ( x ) \hat\phi(x) ϕ^(x) 为 ϕ ( x ) \phi(x) ϕ(x) 的无偏估计量， V a r ( ϕ ^ ) ≥ [ ϕ ′ ( θ ) ] 2 I ( θ ) Var(\hat\phi) \geq \frac {[\phi'(\theta)]^2}{I(\theta)} Var(ϕ^)≥I(θ)[ϕ′(θ)]2 |
| eff( θ ^ \hat\theta θ^) = C R L B V a r ( θ ^ ) \frac{CRLB}{Var(\hat\theta)} Var(θ^)CRLB= I − 1 ( θ ) V a r ( θ ^ ) \frac{I^{-1}(\theta)}{Var(\hat\theta)} Var(θ^)I−1(θ); θ ^ \hat\theta θ^ 是 θ \theta θ 的无偏有效估计量，当且仅当 U = α ( θ ^ − θ ) U=\alpha(\hat\theta-\theta) U=α(θ^−θ), α \alpha α为常数 | eff( ϕ ^ \hat\phi ϕ^)= C R L B V a r ( ϕ ^ ) \frac{CRLB}{Var(\hat\phi)} Var(ϕ^)CRLB= [ ϕ ′ ( θ ) ] 2 I ( θ ) / V a r ( ϕ ^ ) \frac {[\phi'(\theta)]^2}{I(\theta)}/Var(\hat\phi) I(θ)[ϕ′(θ)]2/Var(ϕ^)； ϕ ^ ( x ) \hat\phi(x) ϕ^(x) 是 ϕ ( θ ) \phi(\theta) ϕ(θ) 的无偏有效估计量，当且仅当 U = α ( θ ) ( ϕ ^ ( x ) − ϕ ( θ ) ) U=\alpha(\theta)(\hat\phi(x)-\phi(\theta)) U=α(θ)(ϕ^(x)−ϕ(θ)), α = I ( θ ) ϕ ′ ( θ ) \alpha=\frac{I(\theta)}{\phi'(\theta)} α=ϕ′(θ)I(θ) |
efficiency
如果
V
a
r
(
θ
^
)
=
1
I
(
θ
)
Var(\hat\theta)=\frac {1}{I(\theta)}
Var(θ^)=I(θ)1,
θ
^
\hat\theta
θ^ 是有效的。
如果
V
a
r
(
θ
^
)
Var(\hat\theta)
Var(θ^) 接近于1，当 n趋近于无穷时，
θ
^
\hat\theta
θ^ 是渐进有效的。
统计学家介绍
-Harald Cramér 哈拉尔德·克拉梅尔（1893年9月25日──1985年10月5日）
是瑞典数学家和统计学家，专研数学统计学。
-C.R.Rao 美国科学院院士，英国皇家统计学会会员，当今仍健在的最伟大
的统计学家，他于1920年9月10日出生于印度的一个贵族家庭，1943年在
印度统计研究所取得统计学硕士学位，随后赴英国剑桥大学师从现代统计
学的奠基人R.A.费歇(Fisher)教授，并于1948年获得剑桥大学博士学位。