Exercice 99 / 100

Projet — Évaluation de modèle

ConsigneCompare LogisticRegression, DecisionTreeClassifier, RandomForestClassifier et KNeighborsClassifier par validation croisée sur le jeu de données généré. Affiche pour chaque modèle la moyenne et l'écart-type de l'accuracy.

📖 Cours

Évaluer = comparer plusieurs modèles sur un même problème pour choisir le meilleur. Outil clé : cross_val_score + pipelines pour standardiser le prétraitement.

Protocole standard

1. fixer le random_state pour la reproductibilité2. utiliser la MÊME cross-validation pour tous les modèles3. utiliser des PIPELINES pour intégrer le prétraitement (StandardScaler si nécessaire)4. rapporter moyenne ± écart-type, pas un seul score5. inspecter les modèles avec une différence statistiquement significative

Comparer des modèles suppose le même protocole pour tous : la même validation croisée, puis chaque score posé à sa valeur avec son écart-type, sachant que des marges qui se recouvrent ne suffisent pas à conclure à l'égalité et qu'il faut comparer les folds deux à deux

Quels modèles tester en baseline ?

Classification

LogisticRegression: rapide, interprétable
DecisionTreeClassifier: interprétable, sans scaling
RandomForestClassifier: performant out-of-the-box
KNeighborsClassifier: simple, dépend du scaling
GradientBoostingClassifier: souvent le meilleur tabulaire

Régression

LinearRegressionRandomForestRegressorGradientBoostingRegressor

Exemple : comparaison multi-modèles

import numpy as npfrom sklearn.model_selection import cross_val_scorefrom sklearn.linear_model import LogisticRegressionfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import Pipeline

np.random.seed(42)X = np.random.randn(300, 5)y = (X[:, 0] + 0.5*X[:, 1] - X[:, 2] > 0).astype(int)

models = {    'Logistic': Pipeline([('s', StandardScaler()), ('m', LogisticRegression())]),    'Tree':     DecisionTreeClassifier(max_depth=5),    'Forest':   RandomForestClassifier(n_estimators=50, random_state=42),    'KNN':      Pipeline([('s', StandardScaler()), ('m', KNeighborsClassifier())]),}

for name, model in models.items():    scores = cross_val_score(model, X, y, cv=5, scoring='accuracy')    print(f'{name:12s}: {scores.mean():.4f} (+/- {scores.std():.4f})')

Métriques à choisir selon le problème

scoring='accuracy'      classification simple, classes équilibréesscoring='f1'            classes déséquilibréesscoring='roc_auc'       binaire, indépendant du seuilscoring='r2'            régressionscoring='neg_mean_squared_error'   MSE (avec signe négatif car sklearn maximise)

Tests statistiques de différence

Pour décider si modèle A est significativement meilleur que B :

from scipy import statsstats.ttest_rel(scores_A, scores_B) # t-test apparié sur les folds

Une fois le meilleur modèle identifié par CV, refit sur 100% du train et évalue sur le test set holdout pour la métrique finale.