Sufficient statistic - Wikipedia
Sufficient statistic - arizona
统计量是一些随机样本的函数
样本的分布由位置参数决定, 通常我们通过极大似然估计
而充分统计量是指这样的统计量:
即在给定的情况下, 的条件联合分布与未知参数无关.
Example: 考虑伯努利分布, 成功的概率为, 失败的概率为, 有个独立同分布的样本, 则:
实际上(后面会讲到)为其一充分统计量. 实际上,
显然与位置参数无关.
充分统计量特别的意义, 比如上面提到的极大似然估计, 由于
由于与无关, 所以最大化上式等价于
特别地, 有时候标量并不充分, 需要 整体作为充分统计量, 比如当正态分布地均为未知参数的时候, . 性质和上面的别无二致, 所以下面也不特别说明了.
当置于贝叶斯框架下时, 可以发现:
即给定或者, 的条件(后验)分布是一致的.
特别地, 我们可以用互信息来定义充分统计量, 为充分统计量, 当且仅当
注: 一般情况下.
用上面的标准来判断充分统计量是非常困难的一件事, 好在有Fisher-Neyman分离定理:
Factorization Theorem: 的联合密度函数为, 则是关于的充分统计量当且仅当存在非负函数满足
注: 可以是.
proof:
此时
为了符号简便, 令.
则
与无关.
注: 上述的证明存疑.
最小统计量S, 即
- S是充分统计量;
- 充分统计量, 存在, 使得.
注: 若是充分统计量, 则任意的可逆函数得到的也是充分统计量.
均匀分布, 此时
故
若已知:
若未知: