期望和方差定义
设整体样本数为\(N\),
则期望定义为
\[\begin{equation}\label{eq:qiwang}
E(x)=\overline{x}=\frac{1}{N}\sum_{i=1}^Nx_i
\end{equation}\]
方差定义为
\[\begin{equation}\label{eq:fangcha}
Var(x)=\frac{1}{N}\sum_{i=1}^N(x_i-\overline{x})^2
\end{equation}\]
基本关系
方差与期望的关系
仍然取任意的两个常数\(a\)和\(b\), 则
\[\begin{equation}\label{eq:fangcha0}
Var(x)=\frac{1}{N}\sum_{i=1}^N(x_i-\overline{x})^2=\frac{1}{N}\sum_{i=1}^Nx_i^2-2\frac{1}{N}\sum_{i=1}^Nx_i\overline{x}+\overline{x}^2
=E(x^2)-[E(x)]^2
\end{equation}\]
期望线性关系
取任意的两个常数\(a\)和\(b\), 则
\[\begin{equation}\label{eq:qiwang0}
E(ax+b)=\frac{1}{N}\sum_{i=1}^N (ax_i+b)=a(\frac{1}{N}\sum_{i=1}^N
x_i)+b=aE(x)+b
\end{equation}\]
方差线性关系
取任意的两个常数\(a\)和\(b\), 则
\[\begin{equation}\label{eq:fangcha1}
Var(ax+b)=\frac{1}{N}\sum_{i=1}^N \{(ax_i+b)-(a\overline{x}+b)\}^2
=a^2\frac{1}{N}\sum_{i=1}^N(x_i-\overline{x})^2=a^2Var(x)
\end{equation}\]
独立分布的期望
取任意的一个变量\(x_i\),
它的期望等于无穷次取样后的平均值，即\(E(x_i)=\overline{x}\), 于是可得
\[\begin{equation}\label{eq:dlqw}
E(\sum_{i=1}^nx_i)=\sum_{i=1}^nE(x_i)=n\overline{x}
\end{equation}\]
独立分布的方差
\[\begin{align}
Var(\sum_{i=1}^nx_i)
&=\frac{1}{N}\sum_{k=1}^N (\sum_{i=1}^nx_{ki} -n\overline{x})^2
\notag \\
&=\frac{1}{N}\sum_{k=1}^N [\sum_{i=1}^n(x_{ki} -\overline{x})]^2
\notag \\
&=\sum_{i=1}^n\frac{1}{N}\sum_{k=1}^N (x_{ki}
-\overline{x})^2+\frac{1}{N}\sum_{k=1}^N\sum_{j=1}^N(x_{ki}
-\overline{x})(x_{ji} -\overline{x}) \notag \\
&=\sum_{i=1}^n\frac{1}{N}\sum_{k=1}^N (x_{ki} -\overline{x})^2
\notag \\
&=nVar(x)
\label{eq:dlfc}
\end{align}\]
样本方差与整体方差的关系
取样本数\(n\), 记样本期望记为\(\overline{x}\), 整体期望记为\(\mu\), 样本方差记为\(s^2\), 整体方差记为\(\sigma^2\), 则
\[\begin{equation}
\sum_{i=1}^n(x_i-\overline{x})^2
=\sum_{i=1}^nx_i^2-n\overline{x}^2
\label{eq:ybzt}
\end{equation}\]
对式\(\eqref{eq:ybzt}\)求期望得
\[\begin{equation}\label{eq:ybzt1}
E[\sum_{i=1}^n(x_i-\overline{x})^2]
=E[\sum_{i=1}^nx_i^2]-nE[\overline{x}^2]
\end{equation}\]
由式\(\eqref{eq:fangcha0}\)和式\(\eqref{eq:dlfc}\)可得 \[\begin{equation}\label{eq:ybzt2}
E[\sum_{i=1}^nx_i^2]=nE(x_i^2)=n\sigma^2+n\mu^2
\end{equation}\]
再由式\(\eqref{eq:fangcha0}\)和式\(\eqref{eq:dlqw}\)可得 \[\begin{equation}\label{eq:ybzt3}
E[\overline{x}^2]=Var(\overline{x})+[E(\overline{x})]^2=\frac{1}{n}\sigma^2+\mu^2
\end{equation}\]
将式\(\eqref{eq:ybzt2}\)与式\(\eqref{eq:ybzt3}\)代入到式\(\eqref{eq:ybzt1}\)得 \[\begin{equation}\label{eq:ybzt4}
E[\sum_{i=1}^n(x_i-\overline{x})^2]
=(n-1)\sigma^2
\end{equation}\]
进一步可以写为 \[\begin{equation}\label{eq:ybzt5}
\sigma^2=E[\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2]
\end{equation}\]
式\(\eqref{eq:ybzt5}\)表明，总体方差\(\sigma^2\)可以由样本方差\(s^2\)求期望获得。