1 引出

假设有两个外形完全相同的箱子，甲箱中有 99 只白球、1只黑球；乙箱中有 99 只黑球，一只白球。一次实验取出一只球，结果取出的是黑球。那么黑球是从哪个箱里取出的呢？

人们的第一印象就是：“这个黑球最像是从乙箱中取出的”，这个推断符合人们的经验事实。“最像”就是“最大似然”之意，这种想法常称为“最大似然原理”。

极大似然估计方法（Maximum Likelihood Estimate，MLE）也称为最大概似估计或最大似然估计，是求估计的另一种方法。简而言之，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

2 似然函数

假设我们有参数 $\theta$ 的概率密度函数 $p(x|\theta)$ ，$\theta$ 的参数空间为 $\Theta$ 。并且我们有取自同一分布的样本量为 n 的样本，即 $X={X_1,X_2,\cdots,X_n}$ 独立分布于 $p$ ，而 $\{x_1,x_2,\cdots,x_n\}$ 为对应的 $\{X_1,X_2,\cdots,X_n\}​$ 的观测值。则样本的联合密度函数为：
$$
p(X|\theta) = \prod_{i=1}^n p(x_i|\theta) \tag1
$$
令
$$
L(\theta|X) = \prod_{i=1}^np(x_i|\theta)\ ,\theta\in\Theta\tag2
$$
则 $L(\theta|X)​$ 被称为在给定样本点 $\{x_1,x_2,\cdots,x_n\}​$ 下的参数 $\theta​$ 的似然函数，简称似然函数。

3 极大似然估计

似然函数 $L(\theta|X)$ 是参数 $\theta$ 的函数。显然，随着参数 $\theta$ 在参数空间 $\Theta$ 的变化，似然函数值也要变化。而极大似然估计的目的就是在样本点 $\{x_1,x_2,\cdots,x_n\}$ 固定的情况下，寻找最优的 $ \theta​$ 来最大化似然函数，即：
$$
\theta^* = argmax_{\theta\in\Theta}L(\theta|X) \tag3
$$
但通常为了计算方便，我们要对数化似然函数，使得连乘变成连加：
$$
\ln(L(\theta|X)) = \sum_{i=1}^n\ln p(x_i|\theta)\tag4jiang
$$
接下来，我们可以通过对对数似然函数求导，令其为零来求得极值：
$$
\frac{\partial}{\partial\theta}\ln L(\theta|X) = 0\tag5
$$