样本方差与整体方差的关系
期望和方差定义
设整体样本数为\(N\), 则期望定义为
\[\begin{equation}\label{eq:qiwang} E(x)=\overline{x}=\frac{1}{N}\sum_{i=1}^Nx_i \end{equation}\]
方差定义为
\[\begin{equation}\label{eq:fangcha} Var(x)=\frac{1}{N}\sum_{i=1}^N(x_i-\overline{x})^2 \end{equation}\]
基本关系
方差与期望的关系
仍然取任意的两个常数\(a\)和\(b\), 则
\[\begin{equation}\label{eq:fangcha0} Var(x)=\frac{1}{N}\sum_{i=1}^N(x_i-\overline{x})^2=\frac{1}{N}\sum_{i=1}^Nx_i^2-2\frac{1}{N}\sum_{i=1}^Nx_i\overline{x}+\overline{x}^2 =E(x^2)-[E(x)]^2 \end{equation}\]
期望线性关系
取任意的两个常数\(a\)和\(b\), 则
\[\begin{equation}\label{eq:qiwang0} E(ax+b)=\frac{1}{N}\sum_{i=1}^N (ax_i+b)=a(\frac{1}{N}\sum_{i=1}^N x_i)+b=aE(x)+b \end{equation}\]
方差线性关系
取任意的两个常数\(a\)和\(b\), 则
\[\begin{equation}\label{eq:fangcha1} Var(ax+b)=\frac{1}{N}\sum_{i=1}^N \{(ax_i+b)-(a\overline{x}+b)\}^2 =a^2\frac{1}{N}\sum_{i=1}^N(x_i-\overline{x})^2=a^2Var(x) \end{equation}\]
独立分布的期望
取任意的一个变量\(x_i\), 它的期望等于无穷次取样后的平均值，即\(E(x_i)=\overline{x}\), 于是可得
\[\begin{equation}\label{eq:dlqw} E(\sum_{i=1}^nx_i)=\sum_{i=1}^nE(x_i)=n\overline{x} \end{equation}\]
独立分布的方差
\[\begin{align} Var(\sum_{i=1}^nx_i) &=\frac{1}{N}\sum_{k=1}^N (\sum_{i=1}^nx_{ki} -n\overline{x})^2 \notag \\ &=\frac{1}{N}\sum_{k=1}^N [\sum_{i=1}^n(x_{ki} -\overline{x})]^2 \notag \\ &=\sum_{i=1}^n\frac{1}{N}\sum_{k=1}^N (x_{ki} -\overline{x})^2+\frac{1}{N}\sum_{k=1}^N\sum_{j=1}^N(x_{ki} -\overline{x})(x_{ji} -\overline{x}) \notag \\ &=\sum_{i=1}^n\frac{1}{N}\sum_{k=1}^N (x_{ki} -\overline{x})^2 \notag \\ &=nVar(x) \label{eq:dlfc} \end{align}\]
样本方差与整体方差的关系
取样本数\(n\), 记样本期望记为\(\overline{x}\), 整体期望记为\(\mu\), 样本方差记为\(s^2\), 整体方差记为\(\sigma^2\), 则
\[\begin{equation} \sum_{i=1}^n(x_i-\overline{x})^2 =\sum_{i=1}^nx_i^2-n\overline{x}^2 \label{eq:ybzt} \end{equation}\]
对式\(\eqref{eq:ybzt}\)求期望得 \[\begin{equation}\label{eq:ybzt1} E[\sum_{i=1}^n(x_i-\overline{x})^2] =E[\sum_{i=1}^nx_i^2]-nE[\overline{x}^2] \end{equation}\]
由式\(\eqref{eq:fangcha0}\)和式\(\eqref{eq:dlfc}\)可得 \[\begin{equation}\label{eq:ybzt2} E[\sum_{i=1}^nx_i^2]=nE(x_i^2)=n\sigma^2+n\mu^2 \end{equation}\]
再由式\(\eqref{eq:fangcha0}\)和式\(\eqref{eq:dlqw}\)可得 \[\begin{equation}\label{eq:ybzt3} E[\overline{x}^2]=Var(\overline{x})+[E(\overline{x})]^2=\frac{1}{n}\sigma^2+\mu^2 \end{equation}\]
将式\(\eqref{eq:ybzt2}\)与式\(\eqref{eq:ybzt3}\)代入到式\(\eqref{eq:ybzt1}\)得 \[\begin{equation}\label{eq:ybzt4} E[\sum_{i=1}^n(x_i-\overline{x})^2] =(n-1)\sigma^2 \end{equation}\]
进一步可以写为 \[\begin{equation}\label{eq:ybzt5} \sigma^2=E[\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2] \end{equation}\]
式\(\eqref{eq:ybzt5}\)表明，总体方差\(\sigma^2\)可以由样本方差\(s^2\)求期望获得。