什么是信息战（什么是信息增益）

每日小编都会为大家带来一些知识类的文章，那么今天小编为大家带来的是什么是信息增益方面的消息知识，那么如果各位小伙伴感兴趣的话可以，认真的查阅一下下面的内容哦。

信息增益（Kullback–Leibler divergence）又称information divergence，information gain，relative entropy 或者KLIC。

在概率论和信息论中，信息增益是非对称的，用以度量两种概率分布P和Q的差异。信息增益描述了当使用Q进行编码时，再使用P进行编码的差异。通常P代表样本或观察值的分布，也有可能是精确计算的理论分布。Q代表一种理论，模型，描述或者对P的近似。

尽管信息增益通常被直观地作为是一种度量或距离，但事实上信息增益并不是。就比如信息增益不是对称的，从P到Q的信息增益通常不等于从Q到P的信息增益。信息增益是f增益（f-divergences）的一种特殊情况。在1951年由Solomon Kullback 和Richard Leibler首先提出作为两个分布的直接增益（directed divergence）。它与微积分中的增益不同，但可以从Bregman增益（Bregman divergence）推导得到。

转载或者却引因用本文内容把请注明来源于芝士回口后答

本文到此结束，希望对大家有所帮助。