期望和方差定义

设整体样本数为$N$, 则期望定义为

$$\begin{equation}\label{eq:qiwang} E(x)=\overline{x}=\frac{1}{N}\sum_{i=1}^Nx_i \end{equation}$$

方差定义为

$$\begin{equation}\label{eq:fangcha} Var(x)=\frac{1}{N}\sum_{i=1}^N(x_i-\overline{x})^2 \end{equation}$$

基本关系

方差与期望的关系

仍然取任意的两个常数$a$和$b$, 则

$$\begin{equation}\label{eq:fangcha0} Var(x)=\frac{1}{N}\sum_{i=1}^N(x_i-\overline{x})^2=\frac{1}{N}\sum_{i=1}^Nx_i^2-2\frac{1}{N}\sum_{i=1}^Nx_i\overline{x}+\overline{x}^2 =E(x^2)-[E(x)]^2 \end{equation}$$

期望线性关系

取任意的两个常数$a$和$b$, 则

$$\begin{equation}\label{eq:qiwang0} E(ax+b)=\frac{1}{N}\sum_{i=1}^N (ax_i+b)=a(\frac{1}{N}\sum_{i=1}^N x_i)+b=aE(x)+b \end{equation}$$

方差线性关系

取任意的两个常数$a$和$b$, 则

$$\begin{equation}\label{eq:fangcha1} Var(ax+b)=\frac{1}{N}\sum_{i=1}^N {(ax_i+b)-(a\overline{x}+b)}^2 =a^2\frac{1}{N}\sum_{i=1}^N(x_i-\overline{x})^2=a^2Var(x) \end{equation}$$

独立分布的期望

取任意的一个变量$x_i$, 它的期望等于无穷次取样后的平均值，即$E(x_i)=\overline{x}$, 于是可得

$$\begin{equation}\label{eq:dlqw} E(\sum_{i=1}^nx_i)=\sum_{i=1}^nE(x_i)=n\overline{x} \end{equation}$$

独立分布的方差

$$\begin{align} Var(\sum_{i=1}^nx_i) &=\frac{1}{N}\sum_{k=1}^N (\sum_{i=1}^nx_{ki} -n\overline{x})^2 \notag \ &=\frac{1}{N}\sum_{k=1}^N [\sum_{i=1}^n(x_{ki} -\overline{x})]^2 \notag \ &=\sum_{i=1}^n\frac{1}{N}\sum_{k=1}^N (x_{ki} -\overline{x})^2+\frac{1}{N}\sum_{k=1}^N\sum_{j=1}^N(x_{ki} -\overline{x})(x_{ji} -\overline{x}) \notag \ &=\sum_{i=1}^n\frac{1}{N}\sum_{k=1}^N (x_{ki} -\overline{x})^2 \notag \ &=nVar(x) \label{eq:dlfc} \end{align}$$

样本方差与整体方差的关系

取样本数$n$, 记样本期望记为$\overline{x}$, 整体期望记为$\mu$, 样本方差记为$s^2$, 整体方差记为$\sigma^2$, 则

$$\begin{equation} \sum_{i=1}^n(x_i-\overline{x})^2 =\sum_{i=1}^nx_i^2-n\overline{x}^2 \label{eq:ybzt} \end{equation}$$

对式$\eqref{eq:ybzt}$求期望得 $$\begin{equation}\label{eq:ybzt1} E[\sum_{i=1}^n(x_i-\overline{x})^2] =E[\sum_{i=1}^nx_i^2]-nE[\overline{x}^2] \end{equation}$$

由式$\eqref{eq:fangcha0}$和式$\eqref{eq:dlfc}$可得 $$\begin{equation}\label{eq:ybzt2} E[\sum_{i=1}^nx_i^2]=nE(x_i^2)=n\sigma^2+n\mu^2 \end{equation}$$

再由式$\eqref{eq:fangcha0}$和式$\eqref{eq:dlqw}$可得 $$\begin{equation}\label{eq:ybzt3} E[\overline{x}^2]=Var(\overline{x})+[E(\overline{x})]^2=\frac{1}{n}\sigma^2+\mu^2 \end{equation}$$

将式$\eqref{eq:ybzt2}$与式$\eqref{eq:ybzt3}$代入到式$\eqref{eq:ybzt1}$得 $$\begin{equation}\label{eq:ybzt4} E[\sum_{i=1}^n(x_i-\overline{x})^2] =(n-1)\sigma^2 \end{equation}$$

进一步可以写为 $$\begin{equation}\label{eq:ybzt5} \sigma^2=E[\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2] \end{equation}$$

式$\eqref{eq:ybzt5}$表明，总体方差$\sigma^2$可以由样本方差$s^2$求期望获得。