参数估计 ¶

点估计 ¶

（一） 矩法 ¶

根据大数定理，当样本容量 $n\rightarrow+\infty$ 时，样本矩依概率收敛于相应的总体矩，即

$$ A_k\stackrel P\longrightarrow \mu_k, B_k\stackrel{P}\longrightarrow \nu_k $$

我们将待估参数 $\theta_m$​写成这些总体矩的函数 , 有几个待估参数总体矩数量 $k$ 就用多少

$$ {equation} \theta_m=h_m(\mu_1,\mu_2,\ldots,\mu_k) $$

根据矩法思想，用样本矩代替总体矩

$$ \hat \theta_m=h_m(A_1,A_2,\ldots,A_k) $$

将 $\hat \theta_m$ 称为参数 $\theta_m$ 的矩估计量

矩估计需要我们提前知道总体的分布形式，然后根据总体的矩来估计参数，这样的方法在实际中很少用到，因为我们很少知道总体的分布形式。

（二）极大似然法 ¶

若事件 A 发生的概率依赖于待估参数 $\theta$, 且观察到 A 事件已经发生，则用使事件 A 发生的概率达到最大的 $\theta$ 值作为 $\theta$ 的估计。

对于离散总体，设其概率分布为 $P\{X=x\}=p(x;\theta)$, $\theta \in \Theta$, $\Theta$ 是参数空间 , 则样本 $X_1,X_2,\ldots ,X_n$ 取到 $x_1,x_2,\ldots ,x_n$ 的概率为 $\prod\limits_{i=1}^nP\{X_i=x_i\}=\prod\limits_{i=1}^np(x_i;\theta)$

记

$$ L(\theta)=\prod\limits_{i=1}^nP\{X_i=x_i\}=\prod\limits_{i=1}^np(x_i;\theta) $$

常用微分法（乘法变加法）

$$ l(\theta)=lnL(\theta)=\sum\limits_{i=1}^{n}lnp(x_i;\theta) $$

有

$$ \frac{dl(\theta)}{d\theta}\bigg|_{\theta=\hat \theta}=0 $$

例子 : 一组 X 满足正态分布，通过极大似然法估计 $\mu$ 和 $\sigma^2$

$$ \begin{align*} &L = \Pi_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \exp (-\frac{(X_i-\mu)^2)}{2\sigma^2}) \\ &\ln L = -\frac{n}{2}\ln{2\pi} - \frac{n}{2}\ln (\sigma^2) - \sum_{i=1}^{n}\frac{(x_i-\mu)^2}{2\sigma^2} \\ &\frac{\partial \ln L}{\partial \mu}= \sum_{i=1}^{n}\frac{(x_i-\mu)}{\sigma^2}=0 \\ &\frac{\partial \ln L}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \sum_{i=1}^{n}\frac{(x_i-\mu)^2}{2\sigma^4} =0 \\ &\hat\mu = \sum_{i=1}^{n} x_i/n = \bar{x} \\ &\hat{\sigma^2} = \sum_{i=1}^{n} (x-\bar{x})^2/n \end{align*} $$

例子：指数分布 极大似然法估计参数$\lambda$

$$ \begin{align} & L =\Pi_{i=1}^{n}(\lambda e^{-\lambda x_i})\\ &\ln L=n\ln \lambda - \lambda \sum x_i\\ & \frac{\partial \ln L}{\partial \lambda} = \frac{n}{\lambda} - \sum x_i\\ &\hat\lambda=\frac{n}{\sum x_i} = \frac{1}{\bar{x}} \end{align} $$

可以发现似然函数不是对称的了

例子：平均分布

例：若一组 X 满足平均分布 $(0, \theta)$，通过极大似然法估计$\theta$

$$ \begin{split}L= \begin{cases} 1/\theta^{n}, & 0<x<\theta\\ 0, & 其他情况 \end{cases} \end{split} $$

$\theta$ 越小，$L$ 越大。 $\theta$能取的最小值应大于$max(x_1,x_2,\ldots,x_n)$，所以$\hat \theta=max(x_1,x_2,\ldots,x_n)$

区间估计 ¶

设总体为 $X$,$\theta \in \Theta$ 是待估参数，$X_1,X_2,\ldots ,X_n$ 是来自总体 X 的样本，统计量 $\hat \theta_L(X_1,X_2,\ldots ,X_n), \hat \theta_R(X_1,X_2,\ldots ,X_n)$ 满足 $\hat \theta_L < \hat \theta_R$, 且对于给定的 $\alpha$，对于任意的 $\theta \in \Theta$​, 有

$$ P\{\hat \theta_L < \theta < \hat\theta_R\}\ge 1-\alpha $$

则称区间 $(\hat \theta_L , \hat \theta_R)$ 是参数 $\theta$ 置信水平为 $1-\alpha$ 的置信区间。

真实的 $\theta$ 落在 $\hat\theta_1(X) \leq \theta \leq \hat\theta_2(X)$ 的概率

$$ P_\theta (\hat\theta_1(X) \leq \theta \leq \hat\theta_2(X)) $$

枢轴量 ¶

总体 $X$ 的密度函数为 $f(x;\theta)$，其中 $\theta$ 是待估参数，如果样本和参数的函数 $G(X_1,X_2,\ldots ,X_n,\theta)$ 的分布完全已知，且不依赖与其他参数，则称 $G(X_1,X_2,\ldots ,X_n,\theta)$ 为枢轴量

寻求区间估计的步骤 ¶

1. 构造一个枢轴量 $G(X_1,X_2,\ldots ,X_n,\theta)$​

2. 对给定的置信水平 $1-\alpha$，根据枢轴量 $G(X_1,X_2,\ldots ,X_n,\theta)$ 的分布，选择两常数 $a$ 和 $b$, 使

   $$ P_\theta\{a<G(X_1,X_2,\ldots ,X_n,\theta)<b\}=1-\alpha $$

   若对离散随机变量，可能没有办法使概率正好等于 $1-\alpha$, 因此，$a$ 和 $b$ 应使 $P_\theta\{a<G(X_1,X_2,\ldots ,X_n,\theta)<b\}\ge1-\alpha$ 且尽可能接近 $1-\alpha$

3. 根据分布，取出尽可能小的区间 $(a,b)$，并据此解出 $\hat \theta_L, \hat \theta_R$

习惯上，取 $a$ 和 $b$ 满足

$$ P_\theta\{G(X_1,X_2,\ldots ,X_n,\theta)\le a\}=P_\theta\{G(X_1,X_2,\ldots ,X_n,\theta)\ge b\}=\frac{\alpha}{2} $$

枢轴量的选择原则 ¶

1. 包含未知参数、未知参数的样本估计、和一个已知参数（有总体参数用总体参数，没有的话用样本量）

2. 分布函数要已知

单总体 $N\left(\mu, \sigma^2\right)$ 常用枢轴量 ¶

(1) $\sigma^2$ 已知 , 求 $\mu$ 的区间估计 : $G=\frac{\bar{X}-\mu}{\sigma / \sqrt{n}} \sim N(0,1)$

(2) $\sigma^2$ 未知 , 求 $\mu$ 的区间估计 : $\frac{\bar{X}-\mu}{S / \sqrt{n}} \sim t(n-1)$

(3) $\mu$ 未知 , 求 $\sigma^2$ 的区间估计 : $\frac{(n-1) S^2}{\sigma^2}=\sum_{i=1}^n\left(\frac{X_i-\bar{X}}{\sigma}\right)^2 \sim \chi^2(n-1)$

*(4) $\mu$ 已知 , 求 $\sigma^2$ 的区间估计 : $\sum_{i=1}^n\left(\frac{X_i-\mu}{\sigma}\right)^2 \sim \chi^2(n)$