拟合优度 ¶

拟合优度想要分析的问题是：

有一个关于样本的假设，有一组观察数据，想检验它和理论假设是否相符

皮尔逊拟合优度 $\chi^2$ 统计量 | Pearson’s chi-squared test¶

• 假设 $H_0$
• 若对 $X$ 进行 $n$ 次观测，得到样本 $x_1, \ldots, x_n$，$x = a_i$ 的次数记为 $\nu_i$

检验 $H_0$ 是否成立：

• 理论预言：第 $i$ 个值的个数为 $np_i$
• 实际测量：第 $i$ 个值的个数为 $\nu_i$
• $|np_i - \nu_i|$ 应该尽可能小

定义：

$$ Z = \sum_{i=1}^{k} \frac{(np_i - \nu_i)^2}{np_i} $$

• $Z$ 符合卡方分布，自由度为 $k-r-1$（$r$ 是理论分布中参数的个数，若分布完全确定，则 $r=0$）

• $Z$ 越大，理论与实验越不符 ,$Z \geq C$ 认为理论不正确，$C$ 取 $\alpha = 0.05$ 的值

• 最佳值 $Z \approx k-1$，常用 $\frac{Z }{(k-1)}$ 表示与理论的符合度，最佳值 $\approx 1$

注意：在实际应用中，要求样本容量 $n>50$, 且每一类的理论频数 $n p_i\geq5$, 否则需要合并类

p-value¶

• $p$-value 的概念：当 $Z$ 取特定值 $z$ 时，比它更不可能出现的总概率

p-value 其实和比较 z 值是差不多的意思，p 是比较累计概率，而 z 值是比较 x 值

案例 ¶

一家工厂分早、中、晚班。最近发生事故早班 6，中班 3，晚班 6。怀疑事故率与时间有关，如何验证 / 证伪？

对连列表 | Contingency Table ¶

• 变量 A 分 a 类，变量 B 分 b 类，数据共被分为 a×b 类
• 总样本 n 个，每类事例数为 $n_{ij}$ 个
• 理论：对 A 落入第 i 个类别的概率为 u_i，对 B 落入第 j 个类别的概率为 v_j
  • $\sum_{i=1}^{a} u_i = 1, \sum_{j=1}^{b} v_j = 1$
• 若 AB 独立，则落入第 ij 个类别的概率为
  • $p_{ij} = u_i v_j$
• 检验所有类别的数据与该假设是否符合
  • $Z = \sum_{i=1}^{a} \sum_{j=1}^{b} \frac{(n_{ij} - np_{ij})^2}{np_{ij}}$
• $Z$ 的自由度为 $ab - 1 - (a-1) - (b-1) = (a-1)(b-1)$

求 $u_i$ 和 $v_j$ 的最大似然估计 ¶

$$ L = \Pi_{i}\Pi_{j} (u_i v_j)^{n_{ij}}\\ \ln L = \sum_{i,j} n_{ij}(\ln {u_i}+\ln {v_j})\\ u_a = 1-\sum_{i=1}^{a-1} u_i\\ \frac{\partial \ln L}{\partial u_i} = \frac{\sum_j n_{ij}}{u_i} - \frac{\sum_j n_{aj}}{u_a} =0\\ \therefore \frac{\sum_j n_{ij}}{u_i} = \frac{\sum_j n_{1j}+\sum_j n_{2j}+\cdots+\sum_j n_{aj}}{u_1+\cdots+u_{a}} = \frac{n}{1}\\ n_{i\cdot}== \sum_{j=1}^{a} n_{ij}\\ \hat{u}_i = n_{i\cdot}/n\ , \hat{v}_i = v_{i\cdot}/n\\ $$

这里 $n_{i\cdot}$ 表示第 i 行所有元素的和，$n_{\cdot j}$ 表示第 j 列所有元素的和