基于KL散度、JS散度以及交叉熵的对比

在看论文《detecting regions of maximal divergence for spatio-temporal anomaly detection》时，文中提到了这三种方法来比较时间序列中不同区域概率分布的差异。

kl散度、js散度和交叉熵

三者都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。

对于概率分布p(x)和q(x)

1）kl散度（kullback–leibler divergence）

又称kl距离，相对熵。

当p(x)和q(x)的相似度越高，kl散度越小。

kl散度主要有两个性质：

（1）不对称性

尽管kl散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，即d(p||q)!=d(q||p)。

（2）非负性

相对熵的值是非负值，即d(p||q)>0。

2）js散度（jensen-shannon divergence）

js散度也称js距离，是kl散度的一种变形。

但是不同于kl主要又两方面：

（1）值域范围

js散度的值域范围是[0,1]，相同则是0，相反为1。相较于kl，对相似度的判别更确切了。

（2）对称性

即 js(p||q)=js(q||p)，从数学表达式中就可以看出。

3）交叉熵（cross entropy）

在神经网络中，交叉熵可以作为损失函数，因为它可以衡量p和q的相似性。

交叉熵和相对熵的关系：

以上都是基于离散分布的概率，如果是连续的数据，则需要对数据进行probability density estimate来确定数据的概率分布，就不是求和而是通过求积分的形式进行计算了。

补充：信息熵、交叉熵与kl散度

信息量

在信息论与编码中，信息量，也叫自信息（self-information），是指一个事件所能够带来信息的多少。一般地，这个事件发生的概率越小，其带来的信息量越大。

从编码的角度来看，这个事件发生的概率越大，其编码长度越小，这个事件发生的概率越小，其编码长度就越大。但是编码长度小也是代价的，比如字母'a'用数字‘0'来表示时，为了避免歧义，就不能有其他任何以‘0'开头的编码了。

因此，信息量定义如下：

信息熵

信息熵是指一个概率分布p的平均信息量，代表着随机变量或系统的不确定性，熵越大，随机变量或系统的不确定性就越大。从编码的角度来看，信息熵是表示一个概率分布p需要的平均编码长度，其可表示为：

交叉熵

交叉熵是指在给定真实分布q情况下，采用一个猜测的分布p对其进行编码的平均编码长度（或用猜测的分布来编码真实分布得到的信息量）。

交叉熵可以用来衡量真实数据分布于当前分布的相似性，当前分布与真实分布相等时（q=p），交叉熵达到最小值。

其可定义为：

因此，在很多机器学习算法中都使用交叉熵作为损失函数，交叉熵越小，当前分布与真实分布越接近。此外，相比于均方误差，交叉熵具有以下两个优点：

在lr中，如果用均方误差损失函数，它是一个非凸函数，而使用交叉熵损失函数，它是一个凸函数；

在lr中使用sigmoid激活函数，如果使用均方误差损失函数，在对其求残差时，其表达式与激活函数的导数有关，而sigmoid（如下图所示）的导数在输入值超出[-5,5]范围后将非常小，这会带来梯度消失问题，而使用交叉熵损失函数则能避免这个问题。

kl散度

kl散度又称相对熵，是衡量两个分布之间的差异性。从编码的角度来看，kl散度可表示为采用猜测分布p得到的平均编码长度与采用真实分布q得到的平均编码长度多出的bit数，其数学表达式可定义为：

一般地，两个分布越接近，其kl散度越小，最小为0.它具有两个特性：

非负性，即kl散度最小值为0，其详细证明可见[1] ;

非对称性，即dq(p)不等于dp(q) ; kl散度与交叉熵之间的关系

在这里，再次盗用[1]的图来形象地表达这两者之间的关系：

最上方ch(p)为信息熵，表示分布p的平均编码长度/信息量；

中间的hq(p)表示用分布q表编码分布p所含的信息量或编码长度，简称为交叉熵，其中hq(p)>=h(p)

;最小方的dq(p)表示的是q对p的kl距离，衡量了分布q和分布p之间的差异性，其中dq(p)>=0;

从上图可知，hq(p) = h(p) + dq(p)。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。