Logistic 回归是一种广泛应用于分类问题的统计方法 ,虽名字含 “回归”,实则用于分类预测。核心是利用 logit 函数(即逻辑函数、sigmoid 函数 )将线性回归的输出映射到 0 - 1 之间的概率值,以此估计事件发生概率。比如预测邮件是否为垃圾邮件、病人是否患病等二分类问题 ;也可扩展为多元 Logistic 回归处理多分类情况,如文本分类、图像物体分类等 。
Logistic 回归模型类型有:
二元 Logistic 回归:处理两类分类,像预测一个人是否患某种疾病、邮件是否是垃圾邮件。多元 Logistic 回归:用于三个及以上互斥分类。其中多类别 Logistic 回归处理类别无顺序关系问题,排序 Logistic 回归处理类别有顺序关系问题,如评级。混合 Logistic 回归:处理混合数据,目标变量含连续和离散部分,在生态学和医学研究常用。条件 Logistic 回归:处理配对观察值,如医学研究中比较双胞胎中一人得病和另一人不得病差异。以下是基于最大熵原理推导 Logistic 函数的详细过程:






通过上述基于最大熵原理的推导过程,得到了 Logistic 函数,该函数在 Logistic 回归中用于估计样本属于某一类别的概率 。