Entropie et Information

L'entropie de Shannon mesure l'incertitude d'une variable aleatoire : H(X) = -Σ p(xᵢ) × log₂(p(xᵢ))

L'entropie mesure l'incertitude : elle est nulle quand l'issue est certaine, d'un côté comme de l'autre, et maximale quand les deux issues sont également probablesFermer

Proprietes :

• H(X) ≥ 0 (toujours positive)
• H(X) = 0 si X est deterministe (certitude totale)
• H(X) maximale quand distribution uniforme
• Pour n categories equiprobables : H = log₂(n)

Entropie croisee (Cross-Entropy) : H(p, q) = -Σ p(xᵢ) × log₂(q(xᵢ)) Mesure l'erreur quand on utilise q pour coder des donnees generees par p.

Divergence KL (Kullback-Leibler) : DKL(p || q) = Σ p(xᵢ) × log₂(p(xᵢ)/q(xᵢ)) = H(p, q) - H(p) Mesure la difference entre deux distributions.

En ML :

• Cross-entropy = loss function pour la classification
• Information gain = critere de split dans les arbres de decision
• KL divergence = utilisee dans les VAE (Variational Autoencoders)