参数估计之最大似然估计(Maximum Likelihood Estimate，MLE)

2016-08-08 | 阅读：次

简介

设总体 $X$ 的分布函数的形式已知，但它的一个或多个参数未知，借助于总体 $X$ 的样本来估计总体未知的参数的值得问题称为参数的点估计问题。

点估计问题的一般提法如下：设总体 $X$ 的分布函数 $F(x;\theta)$ 的形式已知， $\theta$ 是待估计参数。 $X_1,X_2,\cdots,X_n$ 是 $X$ 的一个样本， $x_1,x_2,\cdots,x_n$ 是相应的一个样本值。点估计问题就是要构造一个适当的统计量 $\hat{\theta}(X_1,X_2,\cdots,X_n)$ ，用它的观察值 $\hat{\theta}(x_1,x_2,\cdots,x_n)$ 作为未知参数 $\theta$ 的近似值。我们称 $\hat{\theta}(X_1,X_2,\cdots,X_n)$ 为 $\theta$ 的估计量，称 $\hat{\theta}(x_1,x_2,\cdots,x_n)$ 为 $\theta$ 的估计值。

最大似然估计法

利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值，即“模型已定，参数未知”。

离散型随机变量

总体 $X$ 属于离散型，其分布律 $P\lbrace X=x \rbrace =p(x;\theta)$ ， $\theta \in \Theta$ 的形式为已知， $\theta$ 为待估计参数， $\Theta$ 是 $\theta$ 可能的取值范围。设 $X_1,X_2,\cdots,X_n$ 是来自 $X$ 的样本，则 $X_1,X_2,\cdots,X_n$ 的联合分布律为：

$\begin{equation} \prod_{i=1}^{n}{p(x_i;\theta)} \end{equation}$

设 $x_1,x_2,\cdots,x_n$ 是相应于样本 $X_1,X_2,\cdots,X_n$ 的一个估计值。易知样本 $X_1,X_2,\cdots,X_n$ 取到观察值 $x_1,x_2,\cdots,x_n$ 的概率，亦即时间 $\lbrace X_1=x_1, X_2=x_2,\cdots,X_n=x_n \rbrace$ 发生的概率为：

$\begin{equation} L(\theta) = L(x_1,x_2,\cdots,x_n;\theta) = \prod_{i=1}^{n}{p(x_i;\theta)}, \theta \in \Theta \end{equation}$ 这一概率随

$\theta$ 的取值而变化，它是

$\theta$ 的函数，

$L(\theta)$ 称为样本的似然函数（注意，这里

$x_1,x_2,\cdots,x_n$ 是已知的样本值，即已发生的时间，它是都是常数）。

关于最大似然估计法，我们有以下的直观想法：现在已经取到样本值 $x_1,x_2,\cdots,x_n$ 了，这表明取到这一样本值得概率 $L(\theta)$ 比较大。我们当然不会考虑那些不能使样本 $x_1,x_2,\cdots,x_n$ 出现的 $\theta \in \Theta$ 作为 $\theta$ 的估计，再者，如果已知当 $\theta=\theta_0 \in \Theta$ 时使 $L(\theta)$ 取最大值，而 $\Theta$ 中的其他 $\theta$ 的值使 $L(\theta)$ 取很小值，我们自然认为取 $\theta_0$ 作为未知参数 $\theta$ 的估计值，较为合理。由费希尔（R.A.Fisher）引进的最大似然估计法，就是固定样本观测值 $x_1,x_2,\cdots,x_n$ ，在 $\theta$ 取值的可能范围 $\Theta$ 内挑选使似然函数 $L(\theta) = L(x_1,x_2,\cdots,x_n;\theta)$ 达到最大的参数值 $\hat{\theta}$ ，作为参数 $\theta$ 的估计值。即取 $\hat{\theta}$ 使：

$\begin{equation} L(\theta) = L(x_1,x_2,\cdots,x_n;\hat{\theta}) = \max_{\theta \in \Theta}{L(x_1,x_2,\cdots,x_n;\theta)} \end{equation}$

这样得到的 $\hat{\theta}$ 与样本值 $x_1,x_2,\cdots,x_n$ 有关，常记为 $\hat{\theta}(x_1,x_2,\cdots,x_n)$ ，称为参数 $\theta$ 的最大似然估计值，而相应的统计量 $\hat{\theta}(X_1,X_2,\cdots,X_n)$ 称为参数 $\theta$ 的最大似然估计量。

$\begin{equation} \hat{\theta} = \arg\max_{\theta \in \Theta}{L(\theta)} = \arg\max_{\theta \in \Theta}{\prod_{i=1}^{n}{p(x_i;\theta)}} \end{equation}$

连续型随机变量

总体 $X$ 属于连续型，其概率密度 $f(x;\theta)$ ， $\theta \in \Theta$ 的形式已知， $\theta$ 为待估参数， $\Theta$ 是 $\theta$ 可能取值的范围。设 $X_1,X_2,\cdots,X_n$ 是来自 $X$ 的样本，则 $X_1,X_2,\cdots,X_n$ 的联合密度为：

$\begin{equation}\label{eqn:Probability Density Function of Continuous Variable} \prod_{i=1}^{n}{f(x_i,\theta)} \end{equation}$ 设

$x_1,x_2,\cdots,x_n$ 是相应于样本

$X_1,X_2,\cdots,X_n$ 的一个样本值，则随机点

$(X_1,X_2,\cdots,X_n)$ 落在点

$(x_1,x_2,\cdots,x_n)$ 的邻域（边长分别为

$\text{d}x_1,\text{d}x_2,\cdots,\text{d}x_n$ 的

$n$ 维立方体）内的概率近似地为：

$\begin{equation}\label{eqn:Approprixate Probability of a Sample for Continuous Variable} \prod_{i=1}^{n}{f(x_i;\theta)\text{d}x_i} \end{equation}$ 其取值随

$\theta$ 的取值而变化。与离散型的情况一样，我们取

$\theta$ 的估计值

$\hat{\theta}$ 使概率（

$\ref{eqn:Approprixate Probability of a Sample for Continuous Variable}$ ）到最大值，但因子

$\prod_{i=1}^{n}{\text{d}x_i}$ 不随

$\theta$ 而变，故只需考虑函数：

$\begin{equation}\label{eqn:Likelyhood Function of Continuous Variable} L(\theta) = L(x_1,x_2,\cdots,x_n;\theta) = \prod_{i=1}^{n}{f(x_i;\theta)} \end{equation}$ 的最大值。这里

$L(\theta)$ 称为样本的似然函数。若

$\begin{equation}\label{eqn:Maximum Likelyhood Function of Continuous Variable} L(x_1,x_2,\cdots,x_n;\hat{\theta}) = \max_{\theta \in \Theta}{L(x_1,x_2,\cdots,x_n;\theta)} \end{equation}$ 则称

$\hat{\theta}(x_1,x_2,\cdots,x_n)$ 为

$\theta$ 的最大似然估计值，称

$\hat{\theta}(X_1,X_2,\cdots,X_n)$ 为

$\theta$ 的最大似然估计l量。

$\begin{equation} \hat{\theta} = \arg\max_{\theta \in \Theta}{L(\theta)} = \arg\max_{\theta \in \Theta}{\prod_{i=1}^{n}{f(x_i;\theta)}} \end{equation}$

对数似然方程

由上述分析，确定最大似然估计量的问题就归结为微分学中求最大值的问题了。在很多情形下， $p(x;\theta)$ 和 $f(x;\theta)$ 关于 $\theta$ 可微，这时 $\hat{\theta}$ 常可从方程：

$\begin{equation}\label{eqn:Difference of Likelyhood Function} \frac{\text{d}}{\text{d}\theta}L(\theta)=0 \end{equation}$ 解得。又因

$L(\theta)$ 与

$\ln L(\theta)$ 在同一

$\theta$ 处取到极值，因此，

$\theta$ 的最大似然估计

$\theta$ 也可以从方程：

$\begin{equation}\label{eqn:Difference of Logarithm Likelyhood Function} \frac{\text{d}}{\text{d}\theta}\ln L(\theta)=0 \end{equation}$ 求得，而且从方程（

$\ref{eqn:Difference of Logarithm Likelyhood Function}$ ）求解往往比较方便。方程（

$\ref{eqn:Difference of Logarithm Likelyhood Function}$ ）称为对数似然方程。

$\begin{equation} \hat{\theta} = \arg\max_{\theta \in \Theta}{\ln L(\theta)} \end{equation}$

多未知参数的似然估计

最大似然估计法也适用于分布中含有多个未知参数 $\theta_1,\theta_2,\cdots,\theta_k$ 的情况。这时，似然函数 $L$ 是这些未知参数的函数。分别令：

$\begin{equation*} \frac{\partial}{\partial\theta_i}L(\theta)=0,i=1,2,\cdots,k \end{equation*}$ 或者

$\begin{equation}\label{eqn:Group of Logarithm Likelyhood Function} \frac{\partial}{\partial\theta_i}\ln L(\theta)=0,i=1,2,\cdots,k \end{equation}$ 解上述由

$k$ 个方程组成的方程组，即可得到各未知参数

$\theta_i(i=1,2,\cdots,k)$ 的最大似然估计值

$\hat{\theta}_i$ 。方程组（

$\ref{eqn:Group of Logarithm Likelyhood Function}$ ）称为对数似然方程组。

举例

例题一

设 $X \sim b(1,p)$ 。 $X_1,X_2,\cdots,X_n$ 是来自 $X$ 的一个样本，试求参数 $p$ 的最大似然估计。

解：设 $x_1,x_2,\cdots,x_n$ 是相应于样本 $X_1,X_2,\cdots,X_n$ 的一个样本值。 $X$ 的分布律为：

$\begin{equation*} P\lbrace X=x \rbrace = p^{x}(1-p)^{1-x}, x = 0,1 \end{equation*}$ 故似然函数为：

$\begin{equation*} L(p) = \prod_{i=1}^{n}{p^{x_i}(1-p)^{1-x_i}} = p^{\sum_{i=1}^{n}{~x_i}}~(1-p)^{n-\sum_{i=1}^{n}{~x_i}} \end{equation*}$ 而

$\begin{equation*} \ln L(p) = (\sum_{i=1}^{n}{x_i})\ln p + (n-\sum_{i=1}^{n}{x_i})\ln(1-p) \end{equation*}$ 令

$\begin{equation*} \frac{\text{d}}{\text{d}p}\ln L(p) = \frac{\sum_{i=1}^{n}{x_i}}{p} - \frac{n-\sum_{i=1}^{n}{x_i}}{1-p} = 0 \end{equation*}$ 解得

$p$ 的最大似然估计值：

$\begin{equation*} \hat{p} = \frac{1}{n}~\sum_{i=1}^{n}{x_i} = \bar{x} \end{equation*}$

$p$ 的最大似然估计量为：

$\begin{equation*} \hat{p} = \frac{1}{n}~\sum_{i=1}^{n}{X_i} = \bar{X} \end{equation*}$

小结

最大似然估计法所求的解只是估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。求解最大似然估计量 $\hat{\theta}$ 的一般步骤：

根据概率分布写出似然函数；
对似然函数取对数，并整理；
对对数似然函数中所有待估计参数 $\theta_i$ 求（偏）导数，并令倒数为零；
求解似然方程（组）；

Jack

李璇