EDP Sciences 1775512272 20260406 fre

laboutique.edpsciences.fr-002880 03 01 01 002880 03 9782759824328 15 9782759824328 00 BA 02 160 mm 01 240 mm 10 01 02 PratiqueR 01 01 Régression avec Python 1 A01 01 A1790 Pierre-André Cornillon Cornillon, Pierre-André Pierre-André Cornillon Pierre-André Cornillon est Maître de Conférences à l’université Rennes-2-Haute-Bretagne. 2 A01 01 A1791 Nicolas Hengartner Hengartner, Nicolas Nicolas Hengartner Après un doctorat en statistique obtenu à l’Université de Berkely (Californie), Nicolas W. Hengartner a rejoint le Département de statistique de l'Université de Yale en tant que professeur adjoint, puis promu professeur associé en 1999. En 2002, il a rejoint le groupe de science statistique du laboratoire national de Los Alamos. Il est actif dans les activités de sensibilisation académique et, en 2004, a été nommé professeur auxiliaire au Département de statistique de l'Université Simon Fraser, Burnaby , au Canada. Ses recherches portent sur l'application transdisciplinaire des statistiques, de la modélisation stochastique et des sciences de l'information à la physique, à l'épidémiologie et aux simulations sociotechniques à grande échelle. Nicolas Hengartner est du Los Alamos National Laboratory (USA) 3 A01 01 A1792 Eric Matzner-Løber Matzner-Løber, Eric Eric Matzner-Løber Eric Matzner-Løber est Professeur à l’université Rennes-2-Haute-Bretagne. 4 A01 01 A1793 Laurent Rouvière Rouvière, Laurent Laurent Rouvière Laurent Rouvière est Maître de Conférences à l’université Rennes-2-Haute-Bretagne. 01 fre 00 424 03 01 24 Izibook:Subject Mathématiques 24 Izibook:Subject Informatique 24 Izibook:SubjectAndCategoryAndTags |Mathématiques| 24 Izibook:SubjectAndCategoryAndTags |Informatique| 20 Régression;inférence;analyse de la variance;covariance;variable;algorithme;modèle linéaire;Poisson;technique de régularisation;données déséquilibrées;régression binaire 10 2011 MAT029030 29 CLIL3056 29 CLIL3057 29 CLIL3231 01 510 05 06 06 03 00 <blockquote>Cet ouvrage expose de manière détaillée et exemples à l’appui, différentes façons de répondre à un des problèmes statistiques les plus courants : la régression. Cette nouvelle édition se décompose en 4 parties. La première donne les grands principes des régressions simple et multiple par moindres carrés. Les fondamentaux de la méthode tant au niveau des choix opérés que des hypothèses et leur utilité sont expliqués. La deuxième partie est consacrée à l’inférence et présente les outils permettant de vérifier les hypothèses mises en oeuvre. Les techniques d’analyse de la variance et de la covariance sont également présentées dans cette partie. Le cas de la grande dimension est ensuite abordé dans la troisième partie. Différentes méthodes de réduction de la dimension telles que la sélection de variables, les régressions sous contraintes (lasso, elastic-net ou ridge) et sur composantes (PLS ou PCR) sont notamment proposées. Un dernier chapitre propose des algorithmes, basés sur des méthodes de ré-échantillonnage comme l’apprentissage/validation ou la validation croisée, qui permettent d’établir une comparaison entre toutes ces méthodes. Enfin la quatrième et dernière partie se concentre sur les modèles linéaires généralisés et plus particulièrement sur les régressions logistiques et de Poisson avec ou sans technique de régularisation. Une section particulière est consacrée aux comparaisons de méthodes en classification supervisée. Elle introduit notamment des critères de performance pour « scorer » des individus comme les courbes ROC et lift et propose des stratégies de choix seuil (Youden, F1...) pour les classer. Ces notions sont ensuite mises en oeuvre sur des données réelles afin de sélectionner une méthode de prévision parmi plusieurs algorithmes basés sur des modèles logistiques (régularisés ou non). Une dernière section aborde le problème des données déséquilibrées qui est souvent rencontré en régression binaire.</blockquote><div> </div> 02 00 Ce livre rappelle les grands principes des régressions simple et multiple par moindres carrés, puis présente l’inférence et les outils permettant de vérifier les hypothèses mises en oeuvre. Le cas de la grande dimension est ensuite abordé, puis les modèles linéaires généralisés et plus particulièrement sur les régressions logistiques et de Poisson. 04 00 Remerciements viiAvant-Propos ixI Introduction au modèle linéaire 11 La régression linéaire simple 31.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.1.1 Un exemple : la pollution de l’air . . . . . . . . . . . . . . . 31.1.2 Un second exemple : la hauteur des arbres . . . . . . . . . . 51.2 Modélisation mathématique . . . . . . . . . . . . . . . . . . . . . 71.2.1 Choix du critère de qualité et distance à la droite . . . . . . 71.2.2 Choix des fonctions à utiliser . . . . . . . . . . . . . . . . . 91.3 Modélisation statistique . . . . . . . . . . . . . . . . . . . . . . . . 101.4 Estimateurs des moindres carrés . . . . . . . . . . . . . . . . . . . 111.4.1 Calcul des estimateurs de βj , quelques propriétés . . . . . . 111.4.2 Résidus et variance résiduelle . . . . . . . . . . . . . . . . . 151.4.3 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.5 Interprétations géométriques . . . . . . . . . . . . . . . . . . . . . 161.5.1 Représentation des individus . . . . . . . . . . . . . . . . . 161.5.2 Représentation des variables . . . . . . . . . . . . . . . . . . 171.6 Inférence statistique . . . . . . . . . . . . . . . . . . . . . . . . . . 191.7 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 La régression linéaire multiple 312.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312.2 Modélisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322.3 Estimateurs des moindres carrés . . . . . . . . . . . . . . . . . . . 342.3.1 Calcul de ˆ β . . . . . . . . . . . . . . . . . . . . . . . . . . . 352.3.2 Interprétation . . . . . . . . . . . . . . . . . . . . . . . . . . 372.3.3 Quelques propriétés statistiques . . . . . . . . . . . . . . . . 382.3.4 Résidus et variance résiduelle . . . . . . . . . . . . . . . . . 402.3.5 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412.4 Interprétation géométrique . . . . . . . . . . . . . . . . . . . . . . 422.5 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463 Validation du modèle 513.1 Analyse des résidus . . . . . . . . . . . . . . . . . . . . . . . . . . . 523.1.1 Les différents résidus . . . . . . . . . . . . . . . . . . . . . . 523.1.2 Ajustement individuel au modèle, valeur aberrante . . . . . 533.1.3 Analyse de la normalité . . . . . . . . . . . . . . . . . . . . 543.1.4 Analyse de l’homoscédasticité . . . . . . . . . . . . . . . . . 553.1.5 Analyse de la structure des résidus . . . . . . . . . . . . . . 563.2 Analyse de la matrice de projection . . . . . . . . . . . . . . . . . . 593.3 Autres mesures diagnostiques . . . . . . . . . . . . . . . . . . . . . 603.4 Effet d’une variable explicative . . . . . . . . . . . . . . . . . . . . 633.4.1 Ajustement au modèle . . . . . . . . . . . . . . . . . . . . . 633.4.2 Régression partielle : impact d’une variable . . . . . . . . . 643.4.3 Résidus partiels et résidus partiels augmentés . . . . . . . . 653.5 Exemple : la concentration en ozone . . . . . . . . . . . . . . . . . 673.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 714 Extensions : non-inversibilité et (ou) erreurs corrélées 734.1 Régression ridge . . . . . . . . . . . . . . . . . . . . . . . . . . . . 734.1.1 Une solution historique . . . . . . . . . . . . . . . . . . . . 744.1.2 Minimisation des MCO pénalisés . . . . . . . . . . . . . . . 754.1.3 Equivalence avec une contrainte sur la norme des coefficients 754.1.4 Propriétés statistiques de l’estimateur ridge ˆ βridge . . . . . . 764.2 Erreurs corrélées : moindres carrés généralisés . . . . . . . . . . . . . 784.2.1 Erreurs hétéroscédastiques . . . . . . . . . . . . . . . . . . . 794.2.2 Estimateur des moindres carrés généralisés . . . . . . . . . 814.2.3 Matrice Ω inconnue . . . . . . . . . . . . . . . . . . . . . . 844.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 855 Régression polynomiale et régression spline 875.1 Régression polynomiale . . . . . . . . . . . . . . . . . . . . . . . . 875.2 Régression spline . . . . . . . . . . . . . . . . . . . . . . . . . . . . 915.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 915.2.2 Spline de régression . . . . . . . . . . . . . . . . . . . . . . 925.3 Spline de lissage . . . . . . . . . . . . . . . . . . . . . . . . . . . . 965.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99II Inférence 1016 Inférence dans le modèle gaussien 1036.1 Estimateurs du maximum de vraisemblance . . . . . . . . . . . . . 103Table des matières xiii6.2 Nouvelles propriétés statistiques . . . . . . . . . . . . . . . . . . . 1046.3 Intervalles et régions de confiance . . . . . . . . . . . . . . . . . . . 1066.4 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1096.5 Les tests d’hypothèses . . . . . . . . . . . . . . . . . . . . . . . . . 1106.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 1106.5.2 Test entre modèles emboîtés . . . . . . . . . . . . . . . . . . 1116.6 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1146.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1186.8 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1216.8.1 Intervalle de confiance : bootstrap . . . . . . . . . . . . . . 1216.8.2 Test de Fisher pour une hypothèse linéaire quelconque . . . 1236.8.3 Propriétés asymptotiques . . . . . . . . . . . . . . . . . . . 1257 Variables qualitatives : ANCOVA et ANOVA 1297.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1297.2 Analyse de la covariance . . . . . . . . . . . . . . . . . . . . . . . . 1317.2.1 Introduction : exemple des eucalyptus . . . . . . . . . . . . 1317.2.2 Modélisation du problème . . . . . . . . . . . . . . . . . . . 1337.2.3 Hypothèse gaussienne . . . . . . . . . . . . . . . . . . . . . 1357.2.4 Exemple : la concentration en ozone . . . . . . . . . . . . . 1367.2.5 Exemple : la hauteur des eucalyptus . . . . . . . . . . . . . 1407.3 Analyse de la variance à 1 facteur . . . . . . . . . . . . . . . . . . . 1427.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 1427.3.2 Modélisation du problème . . . . . . . . . . . . . . . . . . . 1437.3.3 Interprétation des contraintes . . . . . . . . . . . . . . . . . 1457.3.4 Estimation des paramètres . . . . . . . . . . . . . . . . . . 1457.3.5 Hypothèse gaussienne et test d’influence du facteur . . . . . 1477.3.6 Exemple : la concentration en ozone . . . . . . . . . . . . . 1487.3.7 Une décomposition directe de la variance . . . . . . . . . . 1527.4 Analyse de la variance à 2 facteurs . . . . . . . . . . . . . . . . . . 1537.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 1537.4.2 Modélisation du problème . . . . . . . . . . . . . . . . . . . 1547.4.3 Estimation des paramètres . . . . . . . . . . . . . . . . . . 1567.4.4 Analyse graphique de l’interaction . . . . . . . . . . . . . . 1577.4.5 Hypothèse gaussienne et test de l’interaction . . . . . . . . 1587.4.6 Exemple : la concentration en ozone . . . . . . . . . . . . . 1617.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1627.6 Note : identifiabilité et contrastes . . . . . . . . . . . . . . . . . . . 165III Réduction de dimension 1678 Choix de variables 1698.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1698.2 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1718.3 Choix incorrect de variables : conséquences . . . . . . . . . . . . . 1728.3.1 Biais des estimateurs . . . . . . . . . . . . . . . . . . . . . 1728.3.2 Variance des estimateurs . . . . . . . . . . . . . . . . . . . . 1748.3.3 Erreur quadratique moyenne . . . . . . . . . . . . . . . . . 1758.3.4 Erreur quadratique moyenne de prévision . . . . . . . . . . 1778.4 Critères classiques de choix de modèles . . . . . . . . . . . . . . . 1798.4.1 Tests entre modèles emboîtés . . . . . . . . . . . . . . . . . 1808.4.2 Le R2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1818.4.3 Le R2 ajusté . . . . . . . . . . . . . . . . . . . . . . . . . . 1828.4.4 Le Cp de Mallows . . . . . . . . . . . . . . . . . . . . . . . 1838.4.5 Vraisemblance et pénalisation . . . . . . . . . . . . . . . . . 1858.4.6 Liens entre les critères . . . . . . . . . . . . . . . . . . . . . 1878.5 Procédure de sélection . . . . . . . . . . . . . . . . . . . . . . . . . 1898.5.1 Recherche exhaustive . . . . . . . . . . . . . . . . . . . . . . 1898.5.2 Recherche pas à pas . . . . . . . . . . . . . . . . . . . . . . 1898.6 Exemple : la concentration en ozone . . . . . . . . . . . . . . . . . 1918.6.1 Variables explicatives quantitatives . . . . . . . . . . . . . . 1918.6.2 Intégration de variables qualitatives . . . . . . . . . . . . . 1928.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1938.8 Note : Cp et biais de sélection . . . . . . . . . . . . . . . . . . . . . 1959 Régularisation des moindres carrés : ridge, lasso et elastic-net 1999.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1999.2 Problème du centrage réduction des variables . . . . . . . . . . . . 2029.3 Propriétés des régressions ridge et lasso . . . . . . . . . . . . . . . 2039.3.1 Interprétation géométrique . . . . . . . . . . . . . . . . . . 2079.3.2 Simplification quand les X sont orthogonaux . . . . . . . . 2099.3.3 Choix de λ par validation croisée . . . . . . . . . . . . . . . 2119.4 Régularisation avec le module scikitlearn . . . . . . . . . . . . . . . 2149.4.1 Estimation des paramètres . . . . . . . . . . . . . . . . . . 2159.4.2 Chemin de régularisation . . . . . . . . . . . . . . . . . . . 2169.4.3 Choix du paramètre de régularisation α . . . . . . . . . . . 2179.4.4 Mise en pratique . . . . . . . . . . . . . . . . . . . . . . . . 2199.5 Intégration de variables qualitatives . . . . . . . . . . . . . . . . . 2199.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2229.7 Note : lars et lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . 22610 Régression sur composantes : PCR et PLS 22910.1 Régression sur composantes principales (PCR) . . . . . . . . . . . 23010.1.1 Changement de base . . . . . . . . . . . . . . . . . . . . . . 23010.1.2 Estimateurs des MCO . . . . . . . . . . . . . . . . . . . . . 23110.1.3 Choix de composantes/variables . . . . . . . . . . . . . . . 23210.1.4 Retour aux données d’origine . . . . . . . . . . . . . . . . . 23410.1.5 La régression sur composantes en pratique . . . . . . . . . . 23510.2 Régression aux moindres carrés partiels (PLS) . . . . . . . . . . . . 23810.2.1 Algorithmes PLS . . . . . . . . . . . . . . . . . . . . . . . . 24010.2.2 Choix de composantes/variables . . . . . . . . . . . . . . . 24010.2.3 Retour aux données d’origine . . . . . . . . . . . . . . . . . 24110.2.4 La régression PLS en pratique . . . . . . . . . . . . . . . . 24310.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24410.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24610.4.1 ACP et changement de base . . . . . . . . . . . . . . . . . . 24610.4.2 Colinéarité parfaite : |X’X|=0 . . . . . . . . . . . . . . . . 24711 Comparaison des différentes méthodes, étude de cas réels 25111.1 Erreur de prévision et validation croisée . . . . . . . . . . . . . . . 25111.2 Analyse de l’ozone . . . . . . . . . . . . . . . . . . . . . . . . . . . 25511.2.1 Préliminaires . . . . . . . . . . . . . . . . . . . . . . . . . . 25511.2.2 Méthodes et comparaison . . . . . . . . . . . . . . . . . . . 25611.3 Modification de variables : feature engineering . . . . . . . . . . . . 25911.3.1 Modèle de prévision avec interactions . . . . . . . . . . . . 25911.3.2 Modèle de prévision avec des polynômes . . . . . . . . . . . 26011.3.3 Modèle de prévision avec des splines . . . . . . . . . . . . . 26011.3.4 Modèle de prévision avec interactions et splines . . . . . . . 26111.3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . 262IV Le modèle linéaire généralisé 26312 Régression logistique 26512.1 Présentation du modèle . . . . . . . . . . . . . . . . . . . . . . . . 26512.1.1 Exemple introductif . . . . . . . . . . . . . . . . . . . . . . 26512.1.2 Modélisation statistique . . . . . . . . . . . . . . . . . . . . 26612.1.3 Variables explicatives qualitatives, interactions . . . . . . . 26912.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27112.2.1 La vraisemblance . . . . . . . . . . . . . . . . . . . . . . . . 27112.2.2 Calcul des estimateurs : l’algorithme IRLS . . . . . . . . . . 27312.2.3 Propriétés asymptotiques de l’EMV . . . . . . . . . . . . . 27412.3 Intervalles de confiance et tests . . . . . . . . . . . . . . . . . . . . 27512.3.1 IC et tests sur les paramètres du modèle . . . . . . . . . . . 27612.3.2 Test sur un sous-ensemble de paramètres . . . . . . . . . . 27712.3.3 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28012.4 Adéquation du modèle . . . . . . . . . . . . . . . . . . . . . . . . . 28212.4.1 Le modèle saturé . . . . . . . . . . . . . . . . . . . . . . . . 28312.4.2 Tests d’adéquation de la déviance et de Pearson . . . . . . 28512.4.3 Analyse des résidus . . . . . . . . . . . . . . . . . . . . . . . 28812.5 Choix de variables . . . . . . . . . . . . . . . . . . . . . . . . . . . 29212.5.1 Tests entre modèles emboîtés . . . . . . . . . . . . . . . . . 29212.5.2 Procédures automatiques . . . . . . . . . . . . . . . . . . . 29312.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29513 Régression de Poisson 30113.1 Le modèle linéaire généralisé (GLM) . . . . . . . . . . . . . . . . . 30113.2 Exemple : modélisation du nombre de visites . . . . . . . . . . . . 30413.3 Régression Log-linéaire . . . . . . . . . . . . . . . . . . . . . . . . . 30713.3.1 Le modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30713.3.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . 30813.3.3 Tests et intervalles de confiance . . . . . . . . . . . . . . . . 30913.3.4 Choix de variables . . . . . . . . . . . . . . . . . . . . . . . 31313.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31414 Régularisation de la vraisemblance 31914.1 Régressions ridge, lasso et elastic-net . . . . . . . . . . . . . . . . . 31914.2 Choix du paramètre de régularisation λ . . . . . . . . . . . . . . . 32414.3 Group-lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32714.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32915 Comparaison en classification supervisée 33115.1 Prévision en classification supervisée . . . . . . . . . . . . . . . . . 33115.2 Performance d’une règle . . . . . . . . . . . . . . . . . . . . . . . . 33315.2.1 Erreur de classification et accuracy . . . . . . . . . . . . . . 33615.2.2 Sensibilité (recall) et taux de faux négatifs . . . . . . . . . . 33715.2.3 Spécificité et taux de faux positifs . . . . . . . . . . . . . . 33715.2.4 Mesure sur les tables de contingence . . . . . . . . . . . . . 33815.3 Performance d’un score . . . . . . . . . . . . . . . . . . . . . . . . 33915.3.1 Courbe ROC . . . . . . . . . . . . . . . . . . . . . . . . . . 33915.3.2 Courbe lift . . . . . . . . . . . . . . . . . . . . . . . . . . . 34115.4 Choix du seuil . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34215.4.1 Respect des proportions initiales . . . . . . . . . . . . . . . 34215.4.2 Maximisation d’indices ad hoc . . . . . . . . . . . . . . . . 34215.4.3 Maximisation d’un coût moyen . . . . . . . . . . . . . . . . 34315.5 Analyse des données chd . . . . . . . . . . . . . . . . . . . . . . . . 34415.5.1 Les données . . . . . . . . . . . . . . . . . . . . . . . . . . . 34415.5.2 Méthodes et comparaison . . . . . . . . . . . . . . . . . . . 34415.6Modification de variables : feature engineering . . . . . . . . . . . . 35115.6.1 Modèle de prévision avec interactions . . . . . . . . . . . . 35215.6.2 Modèle de prévision avec des polynômes . . . . . . . . . . . 35215.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35416 Données déséquilibrées 35716.1 Données déséquilibrées et modèle logistique . . . . . . . . . . . . . 35716.1.1 Un exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . 35716.1.2 Rééquilibrage pour le modèle logistique . . . . . . . . . . . 35916.1.3 Exemples de schéma de rééquilibrage . . . . . . . . . . . . . 36016.2 Stratégies pour données déséquilibrées . . . . . . . . . . . . . . . . 36516.2.1 Quelques méthodes de rééquilibrage . . . . . . . . . . . . . 36516.2.2 Critères pour données déséquilibrées . . . . . . . . . . . . . 37016.3 Choisir un algorithme de rééquilibrage . . . . . . . . . . . . . . . . 37316.3.1 Rééquilibrage et validation croisée . . . . . . . . . . . . . . 37416.3.2 Application aux données d’images publicitaires . . . . . . . 37516.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379A Rappels 381A.1 Rappels d’algèbre . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381A.2 Rappels de probabilités . . . . . . . . . . . . . . . . . . . . . . . . 384A.3 Modules Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385Bibliographie 391Index 395Notations 403Fonctions et modules python 405<div> </div> 21 00 06 01 https://laboutique.edpsciences.fr/produit/1476/9782759837793/regression-avec-python 01 00 03 02 https://laboutique.edpsciences.fr/system/product_pictures/data/009/983/353/original/9782759824328-Regression-python_couv-sofedis.jpg 17 14 20250306T163035+0100 01 P1 EDP Sciences 01 01 P1 EDP Sciences 17 avenue du Hoggar - PA de Courtaboeuf - 91944 Les Ulis cedex A http://publications.edpsciences.org/ 04 11 00 20250515 01 00 20250515 19 00 20250515 2026 06 3052868830012 01 WORLD 27 03 9782759837793 15 9782759837793 WORLD 08 EDP Sciences 04 01 00 20250515 03 01 D1 EDP Sciences 21 04 05 01 02 1 00 34.00 01 5.50 1.77 EUR laboutique.edpsciences.fr-R002701 03 01 01 R002701 00 ED E107 00 01 01 Régression avec Python 01 fre 08 426 03 22 4969542 17 01 P1 EDP Sciences 01 01 P1 EDP Sciences 17 avenue du Hoggar - PA de Courtaboeuf - 91944 Les Ulis cedex A http://publications.edpsciences.org/ 11 00 20250515 02 01 002881 03 9782759837793 15 9782759837793 03 01 D1 EDP Sciences 45 03 laboutique.edpsciences.fr-002881 03 01 01 002881 03 9782759837793 15 9782759837793 10 EA E107 10 00 01 R002701 ED E107 1 10 01 02 PratiqueR 01 01 Régression avec Python 1 A01 01 A1790 Pierre-André Cornillon Cornillon, Pierre-André Pierre-André Cornillon Pierre-André Cornillon est Maître de Conférences à l’université Rennes-2-Haute-Bretagne. 2 A01 01 A1791 Nicolas Hengartner Hengartner, Nicolas Nicolas Hengartner Après un doctorat en statistique obtenu à l’Université de Berkely (Californie), Nicolas W. Hengartner a rejoint le Département de statistique de l'Université de Yale en tant que professeur adjoint, puis promu professeur associé en 1999. En 2002, il a rejoint le groupe de science statistique du laboratoire national de Los Alamos. Il est actif dans les activités de sensibilisation académique et, en 2004, a été nommé professeur auxiliaire au Département de statistique de l'Université Simon Fraser, Burnaby , au Canada. Ses recherches portent sur l'application transdisciplinaire des statistiques, de la modélisation stochastique et des sciences de l'information à la physique, à l'épidémiologie et aux simulations sociotechniques à grande échelle. Nicolas Hengartner est du Los Alamos National Laboratory (USA) 3 A01 01 A1792 Eric Matzner-Løber Matzner-Løber, Eric Eric Matzner-Løber Eric Matzner-Løber est Professeur à l’université Rennes-2-Haute-Bretagne. 4 A01 01 A1793 Laurent Rouvière Rouvière, Laurent Laurent Rouvière Laurent Rouvière est Maître de Conférences à l’université Rennes-2-Haute-Bretagne. 01 fre 08 424 03 01 24 Izibook:Subject Mathématiques 24 Izibook:Subject Informatique 24 Izibook:SubjectAndCategoryAndTags |Mathématiques| 24 Izibook:SubjectAndCategoryAndTags |Informatique| 20 Régression;inférence;analyse de la variance;covariance;variable;algorithme;modèle linéaire;Poisson;technique de régularisation;données déséquilibrées;régression binaire 10 2011 MAT029030 29 CLIL3056 29 CLIL3057 29 CLIL3231 01 510 05 06 06 03 00 <blockquote>Cet ouvrage expose de manière détaillée et exemples à l’appui, différentes façons de répondre à un des problèmes statistiques les plus courants : la régression. Cette nouvelle édition se décompose en 4 parties. La première donne les grands principes des régressions simple et multiple par moindres carrés. Les fondamentaux de la méthode tant au niveau des choix opérés que des hypothèses et leur utilité sont expliqués. La deuxième partie est consacrée à l’inférence et présente les outils permettant de vérifier les hypothèses mises en oeuvre. Les techniques d’analyse de la variance et de la covariance sont également présentées dans cette partie. Le cas de la grande dimension est ensuite abordé dans la troisième partie. Différentes méthodes de réduction de la dimension telles que la sélection de variables, les régressions sous contraintes (lasso, elastic-net ou ridge) et sur composantes (PLS ou PCR) sont notamment proposées. Un dernier chapitre propose des algorithmes, basés sur des méthodes de ré-échantillonnage comme l’apprentissage/validation ou la validation croisée, qui permettent d’établir une comparaison entre toutes ces méthodes. Enfin la quatrième et dernière partie se concentre sur les modèles linéaires généralisés et plus particulièrement sur les régressions logistiques et de Poisson avec ou sans technique de régularisation. Une section particulière est consacrée aux comparaisons de méthodes en classification supervisée. Elle introduit notamment des critères de performance pour « scorer » des individus comme les courbes ROC et lift et propose des stratégies de choix seuil (Youden, F1...) pour les classer. Ces notions sont ensuite mises en oeuvre sur des données réelles afin de sélectionner une méthode de prévision parmi plusieurs algorithmes basés sur des modèles logistiques (régularisés ou non). Une dernière section aborde le problème des données déséquilibrées qui est souvent rencontré en régression binaire.</blockquote><div> </div> 02 00 Ce livre rappelle les grands principes des régressions simple et multiple par moindres carrés, puis présente l’inférence et les outils permettant de vérifier les hypothèses mises en oeuvre. Le cas de la grande dimension est ensuite abordé, puis les modèles linéaires généralisés et plus particulièrement sur les régressions logistiques et de Poisson. 04 00 Remerciements viiAvant-Propos ixI Introduction au modèle linéaire 11 La régression linéaire simple 31.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.1.1 Un exemple : la pollution de l’air . . . . . . . . . . . . . . . 31.1.2 Un second exemple : la hauteur des arbres . . . . . . . . . . 51.2 Modélisation mathématique . . . . . . . . . . . . . . . . . . . . . 71.2.1 Choix du critère de qualité et distance à la droite . . . . . . 71.2.2 Choix des fonctions à utiliser . . . . . . . . . . . . . . . . . 91.3 Modélisation statistique . . . . . . . . . . . . . . . . . . . . . . . . 101.4 Estimateurs des moindres carrés . . . . . . . . . . . . . . . . . . . 111.4.1 Calcul des estimateurs de βj , quelques propriétés . . . . . . 111.4.2 Résidus et variance résiduelle . . . . . . . . . . . . . . . . . 151.4.3 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.5 Interprétations géométriques . . . . . . . . . . . . . . . . . . . . . 161.5.1 Représentation des individus . . . . . . . . . . . . . . . . . 161.5.2 Représentation des variables . . . . . . . . . . . . . . . . . . 171.6 Inférence statistique . . . . . . . . . . . . . . . . . . . . . . . . . . 191.7 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 La régression linéaire multiple 312.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312.2 Modélisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322.3 Estimateurs des moindres carrés . . . . . . . . . . . . . . . . . . . 342.3.1 Calcul de ˆ β . . . . . . . . . . . . . . . . . . . . . . . . . . . 352.3.2 Interprétation . . . . . . . . . . . . . . . . . . . . . . . . . . 372.3.3 Quelques propriétés statistiques . . . . . . . . . . . . . . . . 382.3.4 Résidus et variance résiduelle . . . . . . . . . . . . . . . . . 402.3.5 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412.4 Interprétation géométrique . . . . . . . . . . . . . . . . . . . . . . 422.5 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463 Validation du modèle 513.1 Analyse des résidus . . . . . . . . . . . . . . . . . . . . . . . . . . . 523.1.1 Les différents résidus . . . . . . . . . . . . . . . . . . . . . . 523.1.2 Ajustement individuel au modèle, valeur aberrante . . . . . 533.1.3 Analyse de la normalité . . . . . . . . . . . . . . . . . . . . 543.1.4 Analyse de l’homoscédasticité . . . . . . . . . . . . . . . . . 553.1.5 Analyse de la structure des résidus . . . . . . . . . . . . . . 563.2 Analyse de la matrice de projection . . . . . . . . . . . . . . . . . . 593.3 Autres mesures diagnostiques . . . . . . . . . . . . . . . . . . . . . 603.4 Effet d’une variable explicative . . . . . . . . . . . . . . . . . . . . 633.4.1 Ajustement au modèle . . . . . . . . . . . . . . . . . . . . . 633.4.2 Régression partielle : impact d’une variable . . . . . . . . . 643.4.3 Résidus partiels et résidus partiels augmentés . . . . . . . . 653.5 Exemple : la concentration en ozone . . . . . . . . . . . . . . . . . 673.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 714 Extensions : non-inversibilité et (ou) erreurs corrélées 734.1 Régression ridge . . . . . . . . . . . . . . . . . . . . . . . . . . . . 734.1.1 Une solution historique . . . . . . . . . . . . . . . . . . . . 744.1.2 Minimisation des MCO pénalisés . . . . . . . . . . . . . . . 754.1.3 Equivalence avec une contrainte sur la norme des coefficients 754.1.4 Propriétés statistiques de l’estimateur ridge ˆ βridge . . . . . . 764.2 Erreurs corrélées : moindres carrés généralisés . . . . . . . . . . . . . 784.2.1 Erreurs hétéroscédastiques . . . . . . . . . . . . . . . . . . . 794.2.2 Estimateur des moindres carrés généralisés . . . . . . . . . 814.2.3 Matrice Ω inconnue . . . . . . . . . . . . . . . . . . . . . . 844.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 855 Régression polynomiale et régression spline 875.1 Régression polynomiale . . . . . . . . . . . . . . . . . . . . . . . . 875.2 Régression spline . . . . . . . . . . . . . . . . . . . . . . . . . . . . 915.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 915.2.2 Spline de régression . . . . . . . . . . . . . . . . . . . . . . 925.3 Spline de lissage . . . . . . . . . . . . . . . . . . . . . . . . . . . . 965.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99II Inférence 1016 Inférence dans le modèle gaussien 1036.1 Estimateurs du maximum de vraisemblance . . . . . . . . . . . . . 103Table des matières xiii6.2 Nouvelles propriétés statistiques . . . . . . . . . . . . . . . . . . . 1046.3 Intervalles et régions de confiance . . . . . . . . . . . . . . . . . . . 1066.4 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1096.5 Les tests d’hypothèses . . . . . . . . . . . . . . . . . . . . . . . . . 1106.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 1106.5.2 Test entre modèles emboîtés . . . . . . . . . . . . . . . . . . 1116.6 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1146.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1186.8 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1216.8.1 Intervalle de confiance : bootstrap . . . . . . . . . . . . . . 1216.8.2 Test de Fisher pour une hypothèse linéaire quelconque . . . 1236.8.3 Propriétés asymptotiques . . . . . . . . . . . . . . . . . . . 1257 Variables qualitatives : ANCOVA et ANOVA 1297.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1297.2 Analyse de la covariance . . . . . . . . . . . . . . . . . . . . . . . . 1317.2.1 Introduction : exemple des eucalyptus . . . . . . . . . . . . 1317.2.2 Modélisation du problème . . . . . . . . . . . . . . . . . . . 1337.2.3 Hypothèse gaussienne . . . . . . . . . . . . . . . . . . . . . 1357.2.4 Exemple : la concentration en ozone . . . . . . . . . . . . . 1367.2.5 Exemple : la hauteur des eucalyptus . . . . . . . . . . . . . 1407.3 Analyse de la variance à 1 facteur . . . . . . . . . . . . . . . . . . . 1427.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 1427.3.2 Modélisation du problème . . . . . . . . . . . . . . . . . . . 1437.3.3 Interprétation des contraintes . . . . . . . . . . . . . . . . . 1457.3.4 Estimation des paramètres . . . . . . . . . . . . . . . . . . 1457.3.5 Hypothèse gaussienne et test d’influence du facteur . . . . . 1477.3.6 Exemple : la concentration en ozone . . . . . . . . . . . . . 1487.3.7 Une décomposition directe de la variance . . . . . . . . . . 1527.4 Analyse de la variance à 2 facteurs . . . . . . . . . . . . . . . . . . 1537.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . 1537.4.2 Modélisation du problème . . . . . . . . . . . . . . . . . . . 1547.4.3 Estimation des paramètres . . . . . . . . . . . . . . . . . . 1567.4.4 Analyse graphique de l’interaction . . . . . . . . . . . . . . 1577.4.5 Hypothèse gaussienne et test de l’interaction . . . . . . . . 1587.4.6 Exemple : la concentration en ozone . . . . . . . . . . . . . 1617.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1627.6 Note : identifiabilité et contrastes . . . . . . . . . . . . . . . . . . . 165III Réduction de dimension 1678 Choix de variables 1698.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1698.2 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1718.3 Choix incorrect de variables : conséquences . . . . . . . . . . . . . 1728.3.1 Biais des estimateurs . . . . . . . . . . . . . . . . . . . . . 1728.3.2 Variance des estimateurs . . . . . . . . . . . . . . . . . . . . 1748.3.3 Erreur quadratique moyenne . . . . . . . . . . . . . . . . . 1758.3.4 Erreur quadratique moyenne de prévision . . . . . . . . . . 1778.4 Critères classiques de choix de modèles . . . . . . . . . . . . . . . 1798.4.1 Tests entre modèles emboîtés . . . . . . . . . . . . . . . . . 1808.4.2 Le R2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1818.4.3 Le R2 ajusté . . . . . . . . . . . . . . . . . . . . . . . . . . 1828.4.4 Le Cp de Mallows . . . . . . . . . . . . . . . . . . . . . . . 1838.4.5 Vraisemblance et pénalisation . . . . . . . . . . . . . . . . . 1858.4.6 Liens entre les critères . . . . . . . . . . . . . . . . . . . . . 1878.5 Procédure de sélection . . . . . . . . . . . . . . . . . . . . . . . . . 1898.5.1 Recherche exhaustive . . . . . . . . . . . . . . . . . . . . . . 1898.5.2 Recherche pas à pas . . . . . . . . . . . . . . . . . . . . . . 1898.6 Exemple : la concentration en ozone . . . . . . . . . . . . . . . . . 1918.6.1 Variables explicatives quantitatives . . . . . . . . . . . . . . 1918.6.2 Intégration de variables qualitatives . . . . . . . . . . . . . 1928.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1938.8 Note : Cp et biais de sélection . . . . . . . . . . . . . . . . . . . . . 1959 Régularisation des moindres carrés : ridge, lasso et elastic-net 1999.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1999.2 Problème du centrage réduction des variables . . . . . . . . . . . . 2029.3 Propriétés des régressions ridge et lasso . . . . . . . . . . . . . . . 2039.3.1 Interprétation géométrique . . . . . . . . . . . . . . . . . . 2079.3.2 Simplification quand les X sont orthogonaux . . . . . . . . 2099.3.3 Choix de λ par validation croisée . . . . . . . . . . . . . . . 2119.4 Régularisation avec le module scikitlearn . . . . . . . . . . . . . . . 2149.4.1 Estimation des paramètres . . . . . . . . . . . . . . . . . . 2159.4.2 Chemin de régularisation . . . . . . . . . . . . . . . . . . . 2169.4.3 Choix du paramètre de régularisation α . . . . . . . . . . . 2179.4.4 Mise en pratique . . . . . . . . . . . . . . . . . . . . . . . . 2199.5 Intégration de variables qualitatives . . . . . . . . . . . . . . . . . 2199.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2229.7 Note : lars et lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . 22610 Régression sur composantes : PCR et PLS 22910.1 Régression sur composantes principales (PCR) . . . . . . . . . . . 23010.1.1 Changement de base . . . . . . . . . . . . . . . . . . . . . . 23010.1.2 Estimateurs des MCO . . . . . . . . . . . . . . . . . . . . . 23110.1.3 Choix de composantes/variables . . . . . . . . . . . . . . . 23210.1.4 Retour aux données d’origine . . . . . . . . . . . . . . . . . 23410.1.5 La régression sur composantes en pratique . . . . . . . . . . 23510.2 Régression aux moindres carrés partiels (PLS) . . . . . . . . . . . . 23810.2.1 Algorithmes PLS . . . . . . . . . . . . . . . . . . . . . . . . 24010.2.2 Choix de composantes/variables . . . . . . . . . . . . . . . 24010.2.3 Retour aux données d’origine . . . . . . . . . . . . . . . . . 24110.2.4 La régression PLS en pratique . . . . . . . . . . . . . . . . 24310.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24410.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24610.4.1 ACP et changement de base . . . . . . . . . . . . . . . . . . 24610.4.2 Colinéarité parfaite : |X’X|=0 . . . . . . . . . . . . . . . . 24711 Comparaison des différentes méthodes, étude de cas réels 25111.1 Erreur de prévision et validation croisée . . . . . . . . . . . . . . . 25111.2 Analyse de l’ozone . . . . . . . . . . . . . . . . . . . . . . . . . . . 25511.2.1 Préliminaires . . . . . . . . . . . . . . . . . . . . . . . . . . 25511.2.2 Méthodes et comparaison . . . . . . . . . . . . . . . . . . . 25611.3 Modification de variables : feature engineering . . . . . . . . . . . . 25911.3.1 Modèle de prévision avec interactions . . . . . . . . . . . . 25911.3.2 Modèle de prévision avec des polynômes . . . . . . . . . . . 26011.3.3 Modèle de prévision avec des splines . . . . . . . . . . . . . 26011.3.4 Modèle de prévision avec interactions et splines . . . . . . . 26111.3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . 262IV Le modèle linéaire généralisé 26312 Régression logistique 26512.1 Présentation du modèle . . . . . . . . . . . . . . . . . . . . . . . . 26512.1.1 Exemple introductif . . . . . . . . . . . . . . . . . . . . . . 26512.1.2 Modélisation statistique . . . . . . . . . . . . . . . . . . . . 26612.1.3 Variables explicatives qualitatives, interactions . . . . . . . 26912.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27112.2.1 La vraisemblance . . . . . . . . . . . . . . . . . . . . . . . . 27112.2.2 Calcul des estimateurs : l’algorithme IRLS . . . . . . . . . . 27312.2.3 Propriétés asymptotiques de l’EMV . . . . . . . . . . . . . 27412.3 Intervalles de confiance et tests . . . . . . . . . . . . . . . . . . . . 27512.3.1 IC et tests sur les paramètres du modèle . . . . . . . . . . . 27612.3.2 Test sur un sous-ensemble de paramètres . . . . . . . . . . 27712.3.3 Prévision . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28012.4 Adéquation du modèle . . . . . . . . . . . . . . . . . . . . . . . . . 28212.4.1 Le modèle saturé . . . . . . . . . . . . . . . . . . . . . . . . 28312.4.2 Tests d’adéquation de la déviance et de Pearson . . . . . . 28512.4.3 Analyse des résidus . . . . . . . . . . . . . . . . . . . . . . . 28812.5 Choix de variables . . . . . . . . . . . . . . . . . . . . . . . . . . . 29212.5.1 Tests entre modèles emboîtés . . . . . . . . . . . . . . . . . 29212.5.2 Procédures automatiques . . . . . . . . . . . . . . . . . . . 29312.6 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29513 Régression de Poisson 30113.1 Le modèle linéaire généralisé (GLM) . . . . . . . . . . . . . . . . . 30113.2 Exemple : modélisation du nombre de visites . . . . . . . . . . . . 30413.3 Régression Log-linéaire . . . . . . . . . . . . . . . . . . . . . . . . . 30713.3.1 Le modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30713.3.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . 30813.3.3 Tests et intervalles de confiance . . . . . . . . . . . . . . . . 30913.3.4 Choix de variables . . . . . . . . . . . . . . . . . . . . . . . 31313.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31414 Régularisation de la vraisemblance 31914.1 Régressions ridge, lasso et elastic-net . . . . . . . . . . . . . . . . . 31914.2 Choix du paramètre de régularisation λ . . . . . . . . . . . . . . . 32414.3 Group-lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32714.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32915 Comparaison en classification supervisée 33115.1 Prévision en classification supervisée . . . . . . . . . . . . . . . . . 33115.2 Performance d’une règle . . . . . . . . . . . . . . . . . . . . . . . . 33315.2.1 Erreur de classification et accuracy . . . . . . . . . . . . . . 33615.2.2 Sensibilité (recall) et taux de faux négatifs . . . . . . . . . . 33715.2.3 Spécificité et taux de faux positifs . . . . . . . . . . . . . . 33715.2.4 Mesure sur les tables de contingence . . . . . . . . . . . . . 33815.3 Performance d’un score . . . . . . . . . . . . . . . . . . . . . . . . 33915.3.1 Courbe ROC . . . . . . . . . . . . . . . . . . . . . . . . . . 33915.3.2 Courbe lift . . . . . . . . . . . . . . . . . . . . . . . . . . . 34115.4 Choix du seuil . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34215.4.1 Respect des proportions initiales . . . . . . . . . . . . . . . 34215.4.2 Maximisation d’indices ad hoc . . . . . . . . . . . . . . . . 34215.4.3 Maximisation d’un coût moyen . . . . . . . . . . . . . . . . 34315.5 Analyse des données chd . . . . . . . . . . . . . . . . . . . . . . . . 34415.5.1 Les données . . . . . . . . . . . . . . . . . . . . . . . . . . . 34415.5.2 Méthodes et comparaison . . . . . . . . . . . . . . . . . . . 34415.6Modification de variables : feature engineering . . . . . . . . . . . . 35115.6.1 Modèle de prévision avec interactions . . . . . . . . . . . . 35215.6.2 Modèle de prévision avec des polynômes . . . . . . . . . . . 35215.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35416 Données déséquilibrées 35716.1 Données déséquilibrées et modèle logistique . . . . . . . . . . . . . 35716.1.1 Un exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . 35716.1.2 Rééquilibrage pour le modèle logistique . . . . . . . . . . . 35916.1.3 Exemples de schéma de rééquilibrage . . . . . . . . . . . . . 36016.2 Stratégies pour données déséquilibrées . . . . . . . . . . . . . . . . 36516.2.1 Quelques méthodes de rééquilibrage . . . . . . . . . . . . . 36516.2.2 Critères pour données déséquilibrées . . . . . . . . . . . . . 37016.3 Choisir un algorithme de rééquilibrage . . . . . . . . . . . . . . . . 37316.3.1 Rééquilibrage et validation croisée . . . . . . . . . . . . . . 37416.3.2 Application aux données d’images publicitaires . . . . . . . 37516.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379A Rappels 381A.1 Rappels d’algèbre . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381A.2 Rappels de probabilités . . . . . . . . . . . . . . . . . . . . . . . . 384A.3 Modules Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385Bibliographie 391Index 395Notations 403Fonctions et modules python 405<div> </div> 21 00 06 01 https://laboutique.edpsciences.fr/produit/1476/9782759837793/regression-avec-python 01 00 03 02 https://laboutique.edpsciences.fr/system/product_pictures/data/009/983/353/original/9782759824328-Regression-python_couv-sofedis.jpg 17 14 20250306T163035+0100 01 P1 EDP Sciences 01 01 P1 EDP Sciences 17 avenue du Hoggar - PA de Courtaboeuf - 91944 Les Ulis cedex A http://publications.edpsciences.org/ 04 11 00 20250515 01 00 20250515 19 00 20250515 2026 06 3052868830012 01 WORLD 13 03 9782759824328 15 9782759824328 WORLD 08 EDP Sciences 04 01 00 20250515 03 01 D1 EDP Sciences 20 04 05 01 02 1 00 22.99 01 5.50 1.20 EUR 04 06 01 02 1 00 82.99 01 5.50 1.20 EUR 01 04 06 01 02 1 00 90.99 01 5.50 4.74 USD 01