Entropie croisée

Extrait.

L’entropie croisée entre deux distributions de probabilité p et q mesure le nombre moyen de bits nécessaires pour coder des événements provenant d’une distribution réelle p, en utilisant un système de codage basé sur une distribution q. L’entropie croisée pour deux distributions p {\displaystyle p} et q {\displaystyle q} sur le même espace probabilisé est définie de la façon suivante : H ( p , q ) = E p [ − log ⁡ q ] = H ( p ) + D K L ( p ‖ q ) {\displaystyle \mathrm {H} (p,q)=\mathrm {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q)\!} , où H ( p ) {\displaystyle H(p)} est l’entropie de p {\displaystyle p} , et D K L ( p | | q ) {\displaystyle D_{\mathrm {KL} }(p||q)} est la divergence de Kullback-Leibler entre q {\displaystyle q} et p {\displaystyle p} .