实际意义：在决策树节点划分中，节点样本的熵不纯度反映该节点特征对样本分类的不纯度。熵不纯度小，说明样本类别集中，纯度高；熵不纯度大，样本类别混杂，纯度低。
实际意义：在决策树构建中，信息增益用于选择最优划分特征。信息增益越大，意味着使用该特征划分样本后，样本集合的不纯度下降越多，分类效果越好，所以优先选择信息增益大的特征进行节点划分。举个例子：
下面是一颗完整的决策树：
决策树中的熵不纯度
实际意义：在决策树节点划分中，节点样本的熵不纯度反映该节点特征对样本分类的不纯度。熵不纯度小，说明样本类别集中，纯度高；熵不纯度大，样本类别混杂，纯度低。实际意义：在决策树构建中，信息增益用于选择最优划分特征。信息增益越大，意味着使用该特征划分样本后，样本集合的不纯度下降越多，分类效果越好，所以优先选择信息增益大的特征进行节点划分。 
作者最新文章
热门分类