logistic回归模型似然比检验,logistic模型结果分析
原创文章,如需转载,请联系作者!
希望这篇文章能说清楚什么是“最大似然估计”。
通过前面的推理,我们得到了二项式Probit和二项式Logit的模型表达式。在二项式概率单位模型中,决策者N选择方案I的概率为:
在二项式Logit模型中,相应的概率为:
具体推导过程可以在上一篇文章中找到:
《效用最大化准则:离散选择模型的核心(Probit篇)——离散选择模型之七》
《你们要的二项Logit模型在这里——离散选择模型之八》
《从Gumbel分布到Logistic分布——离散选择模型之九》
模型已经存在,接下来要解决的问题是如何估计模型中的参数。3354此处使用最大似然估计(MLE)。
最大似然估计是为了什么?用于估计参数。假设随机变量服从正态分布。
(的值未知)。通过观察随机变量并获得一组观察值,我们可以使用极大似然估计来获得的值。最大似然估计的原理?让我们看一个简单的例子。假设我们观察一组小球的重量。第一个球的重量是
它在坐标轴上的位置如下图1所示:图1。第一个球的重量
根据以往的经验,球的重量
服从正态分布;并且分布的形状是图2中的(a)、(b)和(c)之一。你认为哪个是最有可能的分布?图2.x的可能分布
当然,答案是(b)。在继续阅读之前,你可以闭上眼睛问自己:为什么你认为x的分布最有可能是图中(b)所示的形状?
看看图3你就明白了:如果
满足(a)和(c)中的分布,“观测到1号球质量为”的概率比较小;但当满足图(b)所示的分布时,“观测到1号球的质量为”的概率最高。那就是:
图3。不同分布下观察到X=x的概率
事实上,最大似然估计的思想是:如果我随机观察,观察到的球的质量是
;那么我认为随机变量的分布会使这个事件发生的概率最大。众所周知,正态分布有两个参数:均值和方差。对于带参数的正态分布,的概率为:(1)
(1)在公式中,不同
与和的值对应的概率值是不同的。最大似然估计的目标是找到一组值,并使它们最大化。在实践中,通常收集许多样本;相应地,最大似然估计的目标就变成了:求的一组值,使得、同时最大化。如果
,都是相互独立的,上述目标可以重新描述为——寻找一组合适的,这样:
继续上面那个小球的例子。假设我们总共观察了N个样本,那么我们的目标是最大化:
(2)
(2)公式就是所谓的似然函数。为方便求解,一般取对数:
(3)
(3)公式是所谓的对数似然函数;让我们把它写下来。(3)公式可以进一步简化为:(4)
假设我们只观察了3次(n=3),我们已经知道了第一次观察到的球的重量值。
、第二次观察到的重量值和第三次观察到的重量值。将其带入公式(4)得到:(5)
来解决
,并且可以获得等式(5)的偏导数:(6)
(7)
求解两个公式(6)和(7)得到:
,也就是说,在这个例子中,与其他正态分布相比,当球质量服从均值为6、方差为6的正态分布时,连续采样三次,观测到X=3、X=6、X=9的概率最高。「概率」和「可能性」有什么区别?在英语中,概率和似然用来描述一个事件发生的可能性和概率。在我看来,统计学中的“概率”和“可能性”这两个词是方向相反的。
如果已知,概率——
服从均值为6,方差为6的正态分布,我们可以计算出5到7之间的概率(即如果已知具体分布的参数,求观察一个样本的概率);可能性3354如果我有一组关于
一组样本,并且知道它服从正态分布(但具体参数未知),我需要建立如公式(3)所示的似然函数来估计模型的参数(即具体分布的参数未知,利用样本外推模型参数)。[本文结束]
列列表(动态更新.)离散选择模型的基础:
离散选择模型简介线性模型vs. Logistic模型Logit到底是什么?赔率和比值比的区别如何正确打开/解读Logit模型系数Logit模型拟合实战案例(SAS)Logit模型拟合实战案例(Python)二项式Logit/Probit:
效用最大化准则:离散选择模型的核心(Probit模型I)效用最大化准则:离散选择模型的核心(Probit模型II)效用最大化准则:离散选择模型的核心(二项式Logit模型)多项式Logit(MNL)从冈贝尔分布到Logistic分布:
效用最大化准则:多项式Logit (MNL)多项式Logit (MNL)拟合实际案例(SAS) MNL的IIA特性和“红公交/蓝公交悖论”(上篇)MNL的IIA特性和“红公交/蓝公交悖论”(下篇)如何将决策者属性和方案属性同时放入MNL模型?Logit模型中个人属性和方案属性的数据处理案例为什么条件Logit模型中没有常数项,你的女神会嫌弃你吗?Logit模型中的ASC(替代特定常数)是什么意思?相关统计数据:
最大似然估计(top)和最大似然估计(bottom)模型中存在共线性问题。怎么破?关注【DCM笔记】微信官方账号,私信作者获取相关文章中的练习数据及代码: