1. Optimisation continue 1
1.1 Formulation 2
1.1.1 Forme standard 2
1.1.2 Fonction de plusieurs variables 3
1.1.3 Lignes de niveau 5
1.1.4 Direction de descente 6
1.1.5 Variation directionnelle 7
1.1.6 Solution 10
1.2 Dérivées numériques 14
1.2.1 Dérivées premières 15
1.2.2 Dérivées secondes 15
1.2.3 Réglage de l’incrément 16
1.2.4 Dérivée complexe 19
1.2.5 Dérivées par extrapolation 20
1.3 Réduction du problème 25
1.3.1 Réduction linéaire 25
1.3.2 Réduction généralisée 31
1.4 Optimum global 37
1.4.1 Problème dual 37
1.4.2 Point-selle 40
1.4.3 Programmation linéaire 45
1.5 Optimum local 49
1.5.1 Directions admissibles 49
1.5.2 Conditions de Karush, Kuhn etTucker 54
1.5.3 Interprétation géométrique 70
1.5.4 Problème linéaire-quadratique 76
1.5.5 Analyse de sensibilité 77
1.6 Conclusion 82
1.6.1 Les points essentiels 82
1.6.2 Pour aller plus loin 82
2. Optimisation sans gradient 85
2.1 Optimisation difficile 86
2.1.1 Variables discrètes 86
2.1.2 Minima locaux 88
2.1.3 Méthodes locales et globales 93
2.2 Optimisation unidimensionnelle 96
2.2.1 Partage d’intervalles 96
2.2.2 Positionnement des points 97
2.2.3 Méthode du nombre d’or 99
2.2.4 Interpolation quadratique 102
2.3 Méthode DIRECT 105
2.3.1 Fonction lipschitzienne 105
2.3.2 Algorithme en dimension 1 107
2.3.3 Algorithme en dimension n 118
2.4 Méthode de Nelder-Mead 131
2.4.1 Polytope 131
2.4.2 Nouveau point 134
2.4.3 Améliorations 136
2.5 Affine shaker 140
2.5.1 Principe 140
2.5.2 Transformation affine 142
2.5.3 Algorithme 144
2.6 CMAES 146
2.6.1 Principe 146
2.6.2 Adaptation de la covariance 147
2.6.3 Algorithme 150
2.7 Recuit simulé 153
2.7.1 Principe 153
2.7.2 Probabilité de transition 154
2.7.3 Algorithme 155
2.8 Recherche avec tabou 161
2.8.1 Principe 161
2.8.2 Liste taboue et voisinage 161
2.8.3 Affectation quadratique 163
2.9 Essaims de particules 171
2.9.1 Principe 171
2.9.2 Déplacement des particules 171
2.9.3 Voisinage 173
2.9.4 Algorithme 174
2.10 Colonies de fourmis 176
2.10.1 Principe 176
2.10.2 Mouvement des fourmis 177
2.10.3 Problème du voyageur de commerce177
2.11 Algorithmes évolutionnaires 179
2.11.1 Principe 179
2.11.2 Mécanismes d’évolution 180
2.11.3 Algorithme 181
2.12 Conclusion 186
2.12.1 Les points essentiels 186
2.12.2 Pour aller plus loin 186
3. Optimisation sans contraintes 189
3.1 Méthode de Newton 190
3.1.1 Système d’équations 190
3.1.2 Méthode d’homotopie 196
3.1.3 Minimisation 204
3.1.4 Moindres carrés 207
3.2 Méthodes de quasi-Newton 213
3.2.1 Méthode de Broyden 213
3.2.2 Méthodes DFP, BFGS et SR1 217
3.2.3 Améliorations BFGS 227
3.3 Recherche linéaire 231
3.3.1 Direction de descente 232
3.3.2 Pas de déplacement 248
3.3.3 Algorithme 251
3.4 Région de confiance 256
3.4.1 Modèle quadratique 257
3.4.2 Solution directe 259
3.4.3 Solution dogleg 261
3.4.4 Algorithme 265
3.5 Méthodes proximales 268
3.5.1 Opérateur proximal 268
3.5.2 Interprétations 272
3.5.3 Gradient proximal 275
3.5.4 Méthode primale-duale 278
3.5.5 Calcul de l’opérateur proximal 280
3.6 Convergence 284
3.6.1 Convergence globale 284
3.6.2 Vitesse de convergence 286
3.6.3 Précision numérique 290
3.7 Conclusion 292
3.7.1 Les points essentiels 292
3.7.2 Pour aller plus loin 292
4. Optimisation avec contraintes 295
4.1 Classification des méthodes 296
4.1.1 Formulations du problème 296
4.1.2 Méthodes primales, primales-dualeset duales 298
4.1.3 Mesure de l’amélioration 301
4.2 Pénalisation 308
4.2.1 Problème pénalisé 308
4.2.2 Pénalisation différentiable 311
4.2.3 Pénalisation exacte 312
4.2.4 Pénalisation quadratique 315
4.2.5 Pénalisation barrière 322
4.3 Gradient réduit 323
4.3.1 Déplacement dans l’espace tangent323
4.3.2 Déplacement de restauration 330
4.3.3 Recherche linéaire 332
4.3.4 Méthode de quasi-Newton 336
4.3.5 Algorithme 337
4.4 Programmation quadratique séquentielle 341
4.4.1 Modèle quadratique local 341
4.4.2 Globalisation 347
4.4.3 Gestion des contraintes 352
4.4.4 Méthode de quasi-Newton 356
4.4.5 Algorithme 358
4.5 Point intérieur 362
4.5.1 Problème barrière 362
4.5.2 Globalisation 365
4.5.3 Hauteur de barrière 366
4.6 Lagrangien augmenté 367
4.6.1 Problème dual 367
4.6.2 Problème dual augmenté 371
4.6.3 Contraintes inégalité 375
4.6.4 Algorithme 377
4.7 Conclusion 381
4.7.1 Les points essentiels 381
4.7.2 Pour aller plus loin 381
5.Programmation linéaire 383
5.1 Simplexe 384
5.1.1 Forme standard 384
5.1.2 Base 387
5.1.3 Pivotage 398
5.1.4 Tableau du simplexe 404
5.1.5 Problème auxiliaire 410
5.1.6 Méthode des deux phases 415
5.1.7 Simplexe révisé 422
5.1.8 Simplexe dual 423
5.1.9 Simplexe complémentaire 430
5.2 Point intérieur 436
5.2.1 Chemin central 436
5.2.2 Direction de déplacement 443
5.2.3 Pas de déplacement 448
5.2.4 Algorithme deprédiction-correction 455
5.2.5 Extensions 458
5.3 Conclusion 460
5.3.1 Les points essentiels 460
5.3.2 Pour aller plus loin 461
Index
Bibliographie
