最近有读者提到想测试一下GlobalPointer与R-Drop结合的效果，但不知道GlobalPointer下的KL散度该怎么算。像R-Drop或者虚拟对抗训练这些正则化手段，里边都需要算概率分布的KL散度，但GlobalPointer的预测结果并非一个概率分布，因此无法直接进行计算。

经过一番尝试，笔者给出了一个可用的形式，并通过简单实验验证了它的可行性，遂在此介绍笔者的分析过程。

对称散度

KL散度是关于两个概率分布的函数，它是不对称的，即KL(p‖q)通常不等于KL(q‖p)，在实际应用中，我们通常使用对称化的KL散度：
D(p,q)=KL(p‖q)+KL(q‖p)

点击阅读全文...

分类：数学研究 标签：损失函数, 对抗训练, NER, 正则化 阅读全文 4 评论