Exercice 59 / 60

Entropie et Information

Mesurer l'incertitude et le contenu informationnel

L'entropie de Shannon mesure l'incertitude d'une variable aleatoire : H(X) = -Σ p(xᵢ) × log₂(p(xᵢ))

L'entropie mesure l'incertitude : elle est nulle quand l'issue est certaine, d'un côté comme de l'autre, et maximale quand les deux issues sont également probables

Proprietes :

H(X) ≥ 0 (toujours positive)
H(X) = 0 si X est deterministe (certitude totale)
H(X) maximale quand distribution uniforme
Pour n categories equiprobables : H = log₂(n)

Entropie croisee (Cross-Entropy) : H(p, q) = -Σ p(xᵢ) × log₂(q(xᵢ)) Mesure l'erreur quand on utilise q pour coder des donnees generees par p.

Divergence KL (Kullback-Leibler) : DKL(p || q) = Σ p(xᵢ) × log₂(p(xᵢ)/q(xᵢ)) = H(p, q) - H(p) Mesure la difference entre deux distributions.

En ML :

Cross-entropy = loss function pour la classification
Information gain = critere de split dans les arbres de decision
KL divergence = utilisee dans les VAE (Variational Autoencoders)

✏️ Exercice

X a la distribution : P(A)=0.5, P(B)=0.25, P(C)=0.125, P(D)=0.125.

Calculez l'entropie H(X) en bits.