EDP Sciences 1776852135 20260422 fre

laboutique.edpsciences.fr-002482 03 01 01 002482 03 9782759831623 15 9782759831623 00 BA 02 160 mm 01 240 mm 10 01 02 Current Natural Sciences 01 01 Optimization techniques I Continuous optimization 1 A01 01 A2081 Max Cerf Cerf, Max Max Cerf Max CERF est ingénieur à Ariane Group depuis 1990. Ses activités portent sur l’optimisation des trajectoires et véhicules de transport spatial. Ancien élève de l’Ecole Centrale de Paris (1989), il est titulaire d’une habilitation à diriger des recherches (2019) et exerce des fonctions d’enseignement à l’université. Il a reçu le grade de Chevalier de l’Ordre National du Mérite (2015). Max CERF is an expert engineer in mission analysis at Ariane Group. His activities focus on the optimization of space vehicles and their trajectories. He also teaches at engineering schools and universities. 01 eng 08 482 03 01 24 Izibook:Subject Mathématiques 24 Izibook:Subject Informatique 24 Izibook:Subject Ingénierie 24 Izibook:SubjectAndCategoryAndTags |Mathématiques| 24 Izibook:SubjectAndCategoryAndTags |Informatique| 24 Izibook:SubjectAndCategoryAndTags |Ingénierie| 20 path;flow;assignment problems;variations;differential equations;gradient-free algorithms;linear programming 10 2011 MAT003000 01 510 06 06 05 03 00 <blockquote>This book in two volumes provides an overview of continuous, discrete and functional optimization techniques. This first volume is devoted to continuous optimization, which deals with problems with real variables, without or with constraints. After a reminder of the optimality conditions and their geometrical interpretation, the topics covered are:-gradient-free algorithms that can be applied to any type of function;-unconstrained algorithms based on Newton-type descent methods;-algorithms with constraints: penalization, primal, dual and primal-dual methods;-linear programming with the simplex method and interior point methods. The emphasis is on understanding the principles rather than on mathematical rigor. Each concept or algorithm is accompanied by a detailed example to help you grasp the main ideas. This book is the result of 30 years of experience and is intended for students, researchers and engineers wishing to acquire a general knowledge in the field of optimization.</blockquote><blockquote>This book is the English translation of «Techniques d'optimisation tomes 1 et 2» which was part of the final selection of «Prix Roberval 2023» in the «Higher Education» category.</blockquote> <blockquote>This book in two volumes provides an overview of continuous, discrete and functional optimization techniques. This first volume is devoted to continuous optimization, which deals with problems with real variables, without or with constraints. After a reminder of the optimality conditions and their geometrical interpretation, the topics covered are:-gradient-free algorithms that can be applied to any type of function;-unconstrained algorithms based on Newton-type descent methods;-algorithms with constraints: penalization, primal, dual and primal-dual methods;-linear programming with the simplex method and interior point methods. The emphasis is on understanding the principles rather than on mathematical rigor. Each concept or algorithm is accompanied by a detailed example to help you grasp the main ideas. This book is the result of 30 years of experience and is intended for students, researchers and engineers wishing to acquire a general knowledge in the field of optimization.</blockquote> 02 00 This book in two volumes provides an overview of continuous, discrete and functional optimization techniques. 04 00 1. Continuous optimization 1<o:p></o:p>1.1 Formulation 2<o:p></o:p>1.1.1 Standard form 2<o:p></o:p>1.1.2 Function of several variables 3<o:p></o:p>1.1.3 Level lines 5<o:p></o:p>1.1.4 Direction of descent 6<o:p></o:p>1.1.5 Directional variation 7<o:p></o:p>1.1.6 Solution 10<o:p></o:p>1.2 Numerical derivatives 14<o:p></o:p>1.2.1 First derivatives 15<o:p></o:p>1.2.2 Second derivatives 15<o:p></o:p>1.2.3 Increment setting 16<o:p></o:p>1.2.4 Complex derivative 19<o:p></o:p>1.2.5 Derivatives by extrapolation 20<o:p></o:p>1.3 Problem reduction 25<o:p></o:p>1.3.1 Linear reduction 25<o:p></o:p>1.3.2 Generalized reduction 31<o:p></o:p>1.4 Global optimum 37<o:p></o:p>1.4.1 Dual problem 37<o:p></o:p>1.4.2 Saddle point 40<o:p></o:p>1.4.3 Linear programming 45<o:p></o:p>1.5 Local optimum 49<o:p></o:p>1.5.1 Feasible directions 49<o:p></o:p>1.5.2 Conditions of Karush, Kuhn and Tucker 54<o:p></o:p>1.5.3 Geometric interpretation 70<o:p></o:p>1.5.4 Quadratic-linear problem 76<o:p></o:p>1.5.5 Sensitivity analysis 77<o:p></o:p>1.6 Conclusion 82<o:p></o:p>1.6.1 The key points 82<o:p></o:p>1.6.2 To go further 82<o:p></o:p>2. Gradient<o:p></o:p>-free optimization 85<o:p></o:p>2.1 Difficult optimization 86<o:p></o:p>2.1.1 Discrete variables 86<o:p></o:p>2.1.2 Local minima 88<o:p></o:p>2.1.3 Local and global methods 93<o:p></o:p>2.2 One-dimensional optimization 962.2.1 Interval splitting 96<o:p></o:p>2.2.2 Split points positioning 97<o:p></o:p>2.2.3 Golden ratio method 99<o:p></o:p>2.2.4 Quadratic interpolation 102<o:p></o:p>2.3 DIRECT method 105<o:p></o:p>2.3.1 Lipschitzian function 105<o:p></o:p>2.3.2 Algorithm in dimension 1 107<o:p></o:p>2.3.3 Algorithm in dimension n 118<o:p></o:p>2.4 Nelder-Mead method 1312.4.1 Polytope 131<o:p></o:p>2.4.2 Calculation stages 134<o:p></o:p>2.4.3 Improvements 136<o:p></o:p>2.5 Affine shaker 140<o:p></o:p>2.5.1 Principle 140<o:p></o:p>2.5.2 Affine transformation 142<o:p></o:p>2.5.3 Algorithm 144<o:p></o:p>2.6 CMAES 146<o:p></o:p>2.6.1 Principle 146<o:p></o:p>2.6.2 Covariance adaptation 147<o:p></o:p>2.6.3 Algorithm 150<o:p></o:p>2.7 Simulated annealing 153<o:p></o:p>2.7.1 Principle 153<o:p></o:p>2.7.2 Probability of transition 154<o:p></o:p>2.7.3 Algorithm 155<o:p></o:p>2.8 Research with tabu 161<o:p></o:p>2.8.1 Principle 161<o:p></o:p>2.8.2 Taboo list and neighborhood 161<o:p></o:p>2.8.3 Quadratic assignment 163<o:p></o:p>2.9 Particle swarms 171<o:p></o:p>2.9.1 Principle 171<o:p></o:p>2.9.2 Particle movement 171<o:p></o:p>2.9.3 Neighborhood 173<o:p></o:p>2.9.4 Algorithm 174<o:p></o:p>2.10 Ant colonies 176<o:p></o:p>2.10.1 Principle 176<o:p></o:p>2.10.2 Ant movement 177<o:p></o:p>2.10.3 Problem of the travelling salesman 177<o:p></o:p>2.11 Evolutionary algorithms 179<o:p></o:p>2.11.1 Principle 179<o:p></o:p>2.11.2 Evolutionary mechanisms 180<o:p></o:p>2.11.3 Algorithm 180<o:p></o:p>2.12 Conclusion 186<o:p></o:p>2.12.1 The key points 186<o:p></o:p>2.12.2 To go further 186<o:p></o:p>3. Unconstrained optimization 189<o:p></o:p>3.1 Newton’s method 190<o:p></o:p>3.1.1 System of equations 190<o:p></o:p>3.1.2 Homotopy method 196<o:p></o:p>3.1.3 Minimization 204<o:p></o:p>3.1.4 Least squares 207<o:p></o:p>3.2 Quasi-Newton methods 213<o:p></o:p>3.2.1 Broyden's method 213<o:p></o:p>3.2.2 DFP, BFGS and SR1 methods 217<o:p></o:p>3.2.3 BFGS improvements 227<o:p></o:p>3.3 Line search 231<o:p></o:p>3.3.1 Direction of descent 232<o:p></o:p>3.3.2 Step length 248<o:p></o:p>3.3.3 Algorithm 251<o:p></o:p>3.4 Trust region 256<o:p></o:p>3.4.1 Quadratic model 257<o:p></o:p>3.4.2 Direct solution 259<o:p></o:p>3.4.3 Dogleg solution 261<o:p></o:p>3.4.4 Algorithm 265<o:p></o:p>3.5 Proximal methods 268<o:p></o:p>3.5.1 Proximal operator 268<o:p></o:p>3.5.2 Interpretations 272<o:p></o:p>3.5.3 Proximal gradient 275<o:p></o:p>3.5.4 Primal-dual method 278<o:p></o:p>3.5.5 Calculation of the proximal operator 280<o:p></o:p>3.6 Convergence 284<o:p></o:p>3.6.1 Global convergence 284<o:p></o:p>3.6.2 Speed of convergence 286<o:p></o:p>3.6.3 Numerical accuracy 290<o:p></o:p>3.7 Conclusion 292<o:p></o:p>3.7.1 The key points 292<o:p></o:p>3.7.2 To go further 292<o:p></o:p>4. Constrained optimization 295<o:p></o:p>4.1 Classification of methods 296<o:p></o:p>4.1.1 Problem formulations 296<o:p></o:p>4.1.2 Primal, primal-dual and dual methods 298<o:p></o:p>4.1.3 Measuring improvement 301<o:p></o:p>4.2 Penalization 308<o:p></o:p>4.2.1 Penalized problem 308<o:p></o:p>4.2.2 Differentiable penalization 311<o:p></o:p>4.2.3 Exact penalization 312<o:p></o:p>4.2.4 Quadratic penalization 315<o:p></o:p>4.2.5 Barrier penalization 322<o:p></o:p>4.3 Reduced gradient 323<o:p></o:p>4.3.1 Move in tangent space 323<o:p></o:p>4.3.2 Restoration move 330<o:p></o:p>4.3.3 Line search 332<o:p></o:p>4.3.4 Quasi-Newton method 336<o:p></o:p>4.3.5 Algorithm 337<o:p></o:p>4.4 Sequential quadratic programming 341<o:p></o:p>4.4.1 Local quadratic model 341<o:p></o:p>4.4.2 Globalization 347<o:p></o:p>4.4.3 Constraint management 352<o:p></o:p>4.4.4 Quasi-Newton method 356<o:p></o:p>4.4.5 Algorithm 358<o:p></o:p>4.5 Interior point 362<o:p></o:p>4.5.1 Barrier problem 362<o:p></o:p>4.5.2 Globalization 365<o:p></o:p>4.5.3 Barrier height 366<o:p></o:p>4.6 Augmented Lagrangian 367<o:p></o:p>4.6.1 Dual problem 367<o:p></o:p>4.6.2 Augmented dual problem 371<o:p></o:p>4.6.3 Inequality constraints 375<o:p></o:p>4.6.4 Algorithm 377<o:p></o:p>4.7 Conclusion 381<o:p></o:p>4.7.1 The key points 381<o:p></o:p>4.7.2 To go further 381<o:p></o:p>5. Linear programming 383<o:p></o:p>5.1 Simplex 384<o:p></o:p>5.1.1 Standard form 384<o:p></o:p>5.1.2 Basis 387<o:p></o:p>5.1.3 Pivoting 398<o:p></o:p>5.1.4 Simplex array 404<o:p></o:p>5.1.5 Auxiliary problem 410<o:p></o:p>5.1.6 Two-phase method 415<o:p></o:p>5.1.7 Revised simplex 422<o:p></o:p>5.1.8 Dual simplex 423<o:p></o:p>5.1.9 Complementary simplex 430<o:p></o:p>5.2 Interior point 436<o:p></o:p>5.2.1 Central path 436<o:p></o:p>5.2.2 Direction of move 443<o:p></o:p>5.2.3 Step length 448<o:p></o:p>5.2.4 Prediction-correction algorithm 455<o:p></o:p>5.2.5 Extensions 458<o:p></o:p>5.3 Conclusion 460<o:p></o:p>5.3.1 The key points 460<o:p></o:p>5.3.2 To go further 461<o:p></o:p>Index<o:p></o:p>Bibliography<o:p></o:p> 1. Continuous optimization 1<o:p></o:p>1.1 Formulation 2<o:p></o:p>1.1.1 Standard form 2<o:p></o:p>1.1.2 Function of several variables 3<o:p></o:p>1.1.3 Level lines 5<o:p></o:p>1.1.4 Direction of descent 6<o:p></o:p>1.1.5 Directional variation 7<o:p></o:p>1.1.6 Solution 10<o:p></o:p>1.2 Numerical derivatives 14<o:p></o:p>1.2.1 First derivatives 15<o:p></o:p>1.2.2 Second derivatives 15<o:p></o:p>1.2.3 Increment setting 16<o:p></o:p>1.2.4 Complex derivative 19<o:p></o:p>1.2.5 Derivatives by extrapolation 20<o:p></o:p>1.3 Problem reduction 25<o:p></o:p>1.3.1 Linear reduction 25<o:p></o:p>1.3.2 Generalized reduction 31<o:p></o:p>1.4 Global optimum 37<o:p></o:p>1.4.1 Dual problem 37<o:p></o:p>1.4.2 Saddle point 40<o:p></o:p>1.4.3 Linear programming 45<o:p></o:p>1.5 Local optimum 49<o:p></o:p>1.5.1 Feasible directions 49<o:p></o:p>1.5.2 Conditions of Karush, Kuhn and Tucker 54<o:p></o:p>1.5.3 Geometric interpretation 70<o:p></o:p>1.5.4 Quadratic-linear problem 76<o:p></o:p>1.5.5 Sensitivity analysis 77<o:p></o:p>1.6 Conclusion 82<o:p></o:p>1.6.1 The key points 82<o:p></o:p>1.6.2 To go further 82<o:p></o:p>2. Gradient-free optimization 852.1 Difficult optimization 86<o:p></o:p>2.1.1 Discrete variables 86<o:p></o:p>2.1.2 Local minima 88<o:p></o:p>2.1.3 Local and global methods 93<o:p></o:p>2.2 One-dimensional optimization 962.2.1 Interval splitting 96<o:p></o:p>2.2.2 Split points positioning 97<o:p></o:p>2.2.3 Golden ratio method 99<o:p></o:p>2.2.4 Quadratic interpolation 102<o:p></o:p>2.3 DIRECT method 105<o:p></o:p>2.3.1 Lipschitzian function 105<o:p></o:p>2.3.2 Algorithm in dimension 1 107<o:p></o:p>2.3.3 Algorithm in dimension n 118<o:p></o:p>2.4 Nelder-Mead method 1312.4.1 Polytope 131<o:p></o:p>2.4.2 Calculation stages 134<o:p></o:p>2.4.3 Improvements 136<o:p></o:p>2.5 Affine shaker 140<o:p></o:p>2.5.1 Principle 140<o:p></o:p>2.5.2 Affine transformation 142<o:p></o:p>2.5.3 Algorithm 144<o:p></o:p>2.6 CMAES 146<o:p></o:p>2.6.1 Principle 146<o:p></o:p>2.6.2 Covariance adaptation 147<o:p></o:p>2.6.3 Algorithm 150<o:p></o:p>2.7 Simulated annealing 153<o:p></o:p>2.7.1 Principle 153<o:p></o:p>2.7.2 Probability of transition 154<o:p></o:p>2.7.3 Algorithm 155<o:p></o:p>2.8 Research with tabu 161<o:p></o:p>2.8.1 Principle 161<o:p></o:p>2.8.2 Taboo list and neighborhood 161<o:p></o:p>2.8.3 Quadratic assignment 163<o:p></o:p>2.9 Particle swarms 171<o:p></o:p>2.9.1 Principle 171<o:p></o:p>2.9.2 Particle movement 171<o:p></o:p>2.9.3 Neighborhood 173<o:p></o:p>2.9.4 Algorithm 174<o:p></o:p>2.10 Ant colonies 176<o:p></o:p>2.10.1 Principle 176<o:p></o:p>2.10.2 Ant movement 177<o:p></o:p>2.10.3 Problem of the travelling salesman 177<o:p></o:p>2.11 Evolutionary algorithms 179<o:p></o:p>2.11.1 Principle 179<o:p></o:p>2.11.2 Evolutionary mechanisms 180<o:p></o:p>2.11.3 Algorithm 180<o:p></o:p>2.12 Conclusion 186<o:p></o:p>2.12.1 The key points 186<o:p></o:p>2.12.2 To go further 186<o:p></o:p>3. Unconstrained optimization 189<o:p></o:p>3.1 Newton’s method 190<o:p></o:p>3.1.1 System of equations 190<o:p></o:p>3.1.2 Homotopy method 196<o:p></o:p>3.1.3 Minimization 204<o:p></o:p>3.1.4 Least squares 207<o:p></o:p>3.2 Quasi-Newton methods 213<o:p></o:p>3.2.1 Broyden's method 213<o:p></o:p>3.2.2 DFP, BFGS and SR1 methods 217<o:p></o:p>3.2.3 BFGS improvements 227<o:p></o:p>3.3 Line search 231<o:p></o:p>3.3.1 Direction of descent 232<o:p></o:p>3.3.2 Step length 248<o:p></o:p>3.3.3 Algorithm 251<o:p></o:p>3.4 Trust region 256<o:p></o:p>3.4.1 Quadratic model 257<o:p></o:p>3.4.2 Direct solution 259<o:p></o:p>3.4.3 Dogleg solution 261<o:p></o:p>3.4.4 Algorithm 265<o:p></o:p>3.5 Proximal methods 268<o:p></o:p>3.5.1 Proximal operator 268<o:p></o:p>3.5.2 Interpretations 272<o:p></o:p>3.5.3 Proximal gradient 275<o:p></o:p>3.5.4 Primal-dual method 278<o:p></o:p>3.5.5 Calculation of the proximal operator 280<o:p></o:p>3.6 Convergence 284<o:p></o:p>3.6.1 Global convergence 284<o:p></o:p>3.6.2 Speed of convergence 286<o:p></o:p>3.6.3 Numerical accuracy 290<o:p></o:p>3.7 Conclusion 292<o:p></o:p>3.7.1 The key points 292<o:p></o:p>3.7.2 To go further 292<o:p></o:p>4. Constrained optimization 295<o:p></o:p>4.1 Classification of methods 296<o:p></o:p>4.1.1 Problem formulations 296<o:p></o:p>4.1.2 Primal, primal-dual and dual methods 298<o:p></o:p>4.1.3 Measuring improvement 301<o:p></o:p>4.2 Penalization 308<o:p></o:p>4.2.1 Penalized problem 308<o:p></o:p>4.2.2 Differentiable penalization 311<o:p></o:p>4.2.3 Exact penalization 312<o:p></o:p>4.2.4 Quadratic penalization 315<o:p></o:p>4.2.5 Barrier penalization 322<o:p></o:p>4.3 Reduced gradient 323<o:p></o:p>4.3.1 Move in tangent space 323<o:p></o:p>4.3.2 Restoration move 330<o:p></o:p>4.3.3 Line search 332<o:p></o:p>4.3.4 Quasi-Newton method 336<o:p></o:p>4.3.5 Algorithm 337<o:p></o:p>4.4 Sequential quadratic programming 341<o:p></o:p>4.4.1 Local quadratic model 341<o:p></o:p>4.4.2 Globalization 347<o:p></o:p>4.4.3 Constraint management 352<o:p></o:p>4.4.4 Quasi-Newton method 356<o:p></o:p>4.4.5 Algorithm 358<o:p></o:p>4.5 Interior point 362<o:p></o:p>4.5.1 Barrier problem 362<o:p></o:p>4.5.2 Globalization 365<o:p></o:p>4.5.3 Barrier height 366<o:p></o:p>4.6 Augmented Lagrangian 367<o:p></o:p>4.6.1 Dual problem 367<o:p></o:p>4.6.2 Augmented dual problem 371<o:p></o:p>4.6.3 Inequality constraints 375<o:p></o:p>4.6.4 Algorithm 377<o:p></o:p>4.7 Conclusion 381<o:p></o:p>4.7.1 The key points 381<o:p></o:p>4.7.2 To go further 381<o:p></o:p>5. Linear programming 383<o:p></o:p>5.1 Simplex 384<o:p></o:p>5.1.1 Standard form 384<o:p></o:p>5.1.2 Basis 387<o:p></o:p>5.1.3 Pivoting 398<o:p></o:p>5.1.4 Simplex array 404<o:p></o:p>5.1.5 Auxiliary problem 410<o:p></o:p>5.1.6 Two-phase method 415<o:p></o:p>5.1.7 Revised simplex 422<o:p></o:p>5.1.8 Dual simplex 423<o:p></o:p>5.1.9 Complementary simplex 430<o:p></o:p>5.2 Interior point 436<o:p></o:p>5.2.1 Central path 436<o:p></o:p>5.2.2 Direction of move 443<o:p></o:p>5.2.3 Step length 448<o:p></o:p>5.2.4 Prediction-correction algorithm 455<o:p></o:p>5.2.5 Extensions 458<o:p></o:p>5.3 Conclusion 460<o:p></o:p>5.3.1 The key points 460<o:p></o:p>5.3.2 To go further 461<o:p></o:p>Index<o:p></o:p>Bibliography<o:p></o:p> 21 00 06 01 https://laboutique.edpsciences.fr/produit/1365/9782759831647/optimization-techniques-i 01 00 03 02 https://laboutique.edpsciences.fr/system/product_pictures/data/009/983/016/original/9782759831623-Optimization-tome1_couv-sofedis.jpg 17 14 20240913T175127+0200 15 00 03 02 https://laboutique.edpsciences.fr/system/product_pictures/data/009/983/017/original/9782759831623-Optimization-tome1_couv-THUBNAIL.jpg 17 14 20250728T120513+0200 01 P15 EDP Sciences & Science Press 01 01 P15 EDP Sciences & Science Press 04 11 00 20231012 01 00 20231012 19 00 20231012 2026 06 3052868830012 01 WORLD 27 03 9782759831647 15 9782759831647 27 03 9782759831661 15 9782759831661 WORLD 08 EDP Sciences & Science Press 04 01 00 20231012 03 01 D1 EDP Sciences 21 04 05 01 02 1 00 123.00 01 5.50 6.41 EUR laboutique.edpsciences.fr-R002252 03 01 01 R002252 00 ED E107 00 01 01 Optimization techniques I Continuous optimization 01 eng 08 484 03 22 15746329 17 01 P15 EDP Sciences & Science Press 01 01 P15 EDP Sciences & Science Press 11 00 20231012 02 01 002483 03 9782759831647 15 9782759831647 03 01 D1 EDP Sciences 45 03 laboutique.edpsciences.fr-002483 03 01 01 002483 03 9782759831647 15 9782759831647 10 EA E107 10 00 01 R002252 ED E107 1 10 01 02 Current Natural Sciences 01 01 Optimization techniques I Continuous optimization 1 A01 01 A2081 Max Cerf Cerf, Max Max Cerf Max CERF est ingénieur à Ariane Group depuis 1990. Ses activités portent sur l’optimisation des trajectoires et véhicules de transport spatial. Ancien élève de l’Ecole Centrale de Paris (1989), il est titulaire d’une habilitation à diriger des recherches (2019) et exerce des fonctions d’enseignement à l’université. Il a reçu le grade de Chevalier de l’Ordre National du Mérite (2015). Max CERF is an expert engineer in mission analysis at Ariane Group. His activities focus on the optimization of space vehicles and their trajectories. He also teaches at engineering schools and universities. 01 eng 08 482 03 01 24 Izibook:Subject Mathématiques 24 Izibook:Subject Informatique 24 Izibook:Subject Ingénierie 24 Izibook:SubjectAndCategoryAndTags |Mathématiques| 24 Izibook:SubjectAndCategoryAndTags |Informatique| 24 Izibook:SubjectAndCategoryAndTags |Ingénierie| 20 path;flow;assignment problems;variations;differential equations;gradient-free algorithms;linear programming 10 2011 MAT003000 01 510 06 06 05 03 00 <blockquote>This book in two volumes provides an overview of continuous, discrete and functional optimization techniques. This first volume is devoted to continuous optimization, which deals with problems with real variables, without or with constraints. After a reminder of the optimality conditions and their geometrical interpretation, the topics covered are:-gradient-free algorithms that can be applied to any type of function;-unconstrained algorithms based on Newton-type descent methods;-algorithms with constraints: penalization, primal, dual and primal-dual methods;-linear programming with the simplex method and interior point methods. The emphasis is on understanding the principles rather than on mathematical rigor. Each concept or algorithm is accompanied by a detailed example to help you grasp the main ideas. This book is the result of 30 years of experience and is intended for students, researchers and engineers wishing to acquire a general knowledge in the field of optimization.</blockquote><blockquote>This book is the English translation of «Techniques d'optimisation tomes 1 et 2» which was part of the final selection of «Prix Roberval 2023» in the «Higher Education» category.</blockquote> <blockquote>This book in two volumes provides an overview of continuous, discrete and functional optimization techniques. This first volume is devoted to continuous optimization, which deals with problems with real variables, without or with constraints. After a reminder of the optimality conditions and their geometrical interpretation, the topics covered are:-gradient-free algorithms that can be applied to any type of function;-unconstrained algorithms based on Newton-type descent methods;-algorithms with constraints: penalization, primal, dual and primal-dual methods;-linear programming with the simplex method and interior point methods. The emphasis is on understanding the principles rather than on mathematical rigor. Each concept or algorithm is accompanied by a detailed example to help you grasp the main ideas. This book is the result of 30 years of experience and is intended for students, researchers and engineers wishing to acquire a general knowledge in the field of optimization.</blockquote> 02 00 This book in two volumes provides an overview of continuous, discrete and functional optimization techniques. 04 00 1. Continuous optimization 1<o:p></o:p>1.1 Formulation 2<o:p></o:p>1.1.1 Standard form 2<o:p></o:p>1.1.2 Function of several variables 3<o:p></o:p>1.1.3 Level lines 5<o:p></o:p>1.1.4 Direction of descent 6<o:p></o:p>1.1.5 Directional variation 7<o:p></o:p>1.1.6 Solution 10<o:p></o:p>1.2 Numerical derivatives 14<o:p></o:p>1.2.1 First derivatives 15<o:p></o:p>1.2.2 Second derivatives 15<o:p></o:p>1.2.3 Increment setting 16<o:p></o:p>1.2.4 Complex derivative 19<o:p></o:p>1.2.5 Derivatives by extrapolation 20<o:p></o:p>1.3 Problem reduction 25<o:p></o:p>1.3.1 Linear reduction 25<o:p></o:p>1.3.2 Generalized reduction 31<o:p></o:p>1.4 Global optimum 37<o:p></o:p>1.4.1 Dual problem 37<o:p></o:p>1.4.2 Saddle point 40<o:p></o:p>1.4.3 Linear programming 45<o:p></o:p>1.5 Local optimum 49<o:p></o:p>1.5.1 Feasible directions 49<o:p></o:p>1.5.2 Conditions of Karush, Kuhn and Tucker 54<o:p></o:p>1.5.3 Geometric interpretation 70<o:p></o:p>1.5.4 Quadratic-linear problem 76<o:p></o:p>1.5.5 Sensitivity analysis 77<o:p></o:p>1.6 Conclusion 82<o:p></o:p>1.6.1 The key points 82<o:p></o:p>1.6.2 To go further 82<o:p></o:p>2. Gradient<o:p></o:p>-free optimization 85<o:p></o:p>2.1 Difficult optimization 86<o:p></o:p>2.1.1 Discrete variables 86<o:p></o:p>2.1.2 Local minima 88<o:p></o:p>2.1.3 Local and global methods 93<o:p></o:p>2.2 One-dimensional optimization 962.2.1 Interval splitting 96<o:p></o:p>2.2.2 Split points positioning 97<o:p></o:p>2.2.3 Golden ratio method 99<o:p></o:p>2.2.4 Quadratic interpolation 102<o:p></o:p>2.3 DIRECT method 105<o:p></o:p>2.3.1 Lipschitzian function 105<o:p></o:p>2.3.2 Algorithm in dimension 1 107<o:p></o:p>2.3.3 Algorithm in dimension n 118<o:p></o:p>2.4 Nelder-Mead method 1312.4.1 Polytope 131<o:p></o:p>2.4.2 Calculation stages 134<o:p></o:p>2.4.3 Improvements 136<o:p></o:p>2.5 Affine shaker 140<o:p></o:p>2.5.1 Principle 140<o:p></o:p>2.5.2 Affine transformation 142<o:p></o:p>2.5.3 Algorithm 144<o:p></o:p>2.6 CMAES 146<o:p></o:p>2.6.1 Principle 146<o:p></o:p>2.6.2 Covariance adaptation 147<o:p></o:p>2.6.3 Algorithm 150<o:p></o:p>2.7 Simulated annealing 153<o:p></o:p>2.7.1 Principle 153<o:p></o:p>2.7.2 Probability of transition 154<o:p></o:p>2.7.3 Algorithm 155<o:p></o:p>2.8 Research with tabu 161<o:p></o:p>2.8.1 Principle 161<o:p></o:p>2.8.2 Taboo list and neighborhood 161<o:p></o:p>2.8.3 Quadratic assignment 163<o:p></o:p>2.9 Particle swarms 171<o:p></o:p>2.9.1 Principle 171<o:p></o:p>2.9.2 Particle movement 171<o:p></o:p>2.9.3 Neighborhood 173<o:p></o:p>2.9.4 Algorithm 174<o:p></o:p>2.10 Ant colonies 176<o:p></o:p>2.10.1 Principle 176<o:p></o:p>2.10.2 Ant movement 177<o:p></o:p>2.10.3 Problem of the travelling salesman 177<o:p></o:p>2.11 Evolutionary algorithms 179<o:p></o:p>2.11.1 Principle 179<o:p></o:p>2.11.2 Evolutionary mechanisms 180<o:p></o:p>2.11.3 Algorithm 180<o:p></o:p>2.12 Conclusion 186<o:p></o:p>2.12.1 The key points 186<o:p></o:p>2.12.2 To go further 186<o:p></o:p>3. Unconstrained optimization 189<o:p></o:p>3.1 Newton’s method 190<o:p></o:p>3.1.1 System of equations 190<o:p></o:p>3.1.2 Homotopy method 196<o:p></o:p>3.1.3 Minimization 204<o:p></o:p>3.1.4 Least squares 207<o:p></o:p>3.2 Quasi-Newton methods 213<o:p></o:p>3.2.1 Broyden's method 213<o:p></o:p>3.2.2 DFP, BFGS and SR1 methods 217<o:p></o:p>3.2.3 BFGS improvements 227<o:p></o:p>3.3 Line search 231<o:p></o:p>3.3.1 Direction of descent 232<o:p></o:p>3.3.2 Step length 248<o:p></o:p>3.3.3 Algorithm 251<o:p></o:p>3.4 Trust region 256<o:p></o:p>3.4.1 Quadratic model 257<o:p></o:p>3.4.2 Direct solution 259<o:p></o:p>3.4.3 Dogleg solution 261<o:p></o:p>3.4.4 Algorithm 265<o:p></o:p>3.5 Proximal methods 268<o:p></o:p>3.5.1 Proximal operator 268<o:p></o:p>3.5.2 Interpretations 272<o:p></o:p>3.5.3 Proximal gradient 275<o:p></o:p>3.5.4 Primal-dual method 278<o:p></o:p>3.5.5 Calculation of the proximal operator 280<o:p></o:p>3.6 Convergence 284<o:p></o:p>3.6.1 Global convergence 284<o:p></o:p>3.6.2 Speed of convergence 286<o:p></o:p>3.6.3 Numerical accuracy 290<o:p></o:p>3.7 Conclusion 292<o:p></o:p>3.7.1 The key points 292<o:p></o:p>3.7.2 To go further 292<o:p></o:p>4. Constrained optimization 295<o:p></o:p>4.1 Classification of methods 296<o:p></o:p>4.1.1 Problem formulations 296<o:p></o:p>4.1.2 Primal, primal-dual and dual methods 298<o:p></o:p>4.1.3 Measuring improvement 301<o:p></o:p>4.2 Penalization 308<o:p></o:p>4.2.1 Penalized problem 308<o:p></o:p>4.2.2 Differentiable penalization 311<o:p></o:p>4.2.3 Exact penalization 312<o:p></o:p>4.2.4 Quadratic penalization 315<o:p></o:p>4.2.5 Barrier penalization 322<o:p></o:p>4.3 Reduced gradient 323<o:p></o:p>4.3.1 Move in tangent space 323<o:p></o:p>4.3.2 Restoration move 330<o:p></o:p>4.3.3 Line search 332<o:p></o:p>4.3.4 Quasi-Newton method 336<o:p></o:p>4.3.5 Algorithm 337<o:p></o:p>4.4 Sequential quadratic programming 341<o:p></o:p>4.4.1 Local quadratic model 341<o:p></o:p>4.4.2 Globalization 347<o:p></o:p>4.4.3 Constraint management 352<o:p></o:p>4.4.4 Quasi-Newton method 356<o:p></o:p>4.4.5 Algorithm 358<o:p></o:p>4.5 Interior point 362<o:p></o:p>4.5.1 Barrier problem 362<o:p></o:p>4.5.2 Globalization 365<o:p></o:p>4.5.3 Barrier height 366<o:p></o:p>4.6 Augmented Lagrangian 367<o:p></o:p>4.6.1 Dual problem 367<o:p></o:p>4.6.2 Augmented dual problem 371<o:p></o:p>4.6.3 Inequality constraints 375<o:p></o:p>4.6.4 Algorithm 377<o:p></o:p>4.7 Conclusion 381<o:p></o:p>4.7.1 The key points 381<o:p></o:p>4.7.2 To go further 381<o:p></o:p>5. Linear programming 383<o:p></o:p>5.1 Simplex 384<o:p></o:p>5.1.1 Standard form 384<o:p></o:p>5.1.2 Basis 387<o:p></o:p>5.1.3 Pivoting 398<o:p></o:p>5.1.4 Simplex array 404<o:p></o:p>5.1.5 Auxiliary problem 410<o:p></o:p>5.1.6 Two-phase method 415<o:p></o:p>5.1.7 Revised simplex 422<o:p></o:p>5.1.8 Dual simplex 423<o:p></o:p>5.1.9 Complementary simplex 430<o:p></o:p>5.2 Interior point 436<o:p></o:p>5.2.1 Central path 436<o:p></o:p>5.2.2 Direction of move 443<o:p></o:p>5.2.3 Step length 448<o:p></o:p>5.2.4 Prediction-correction algorithm 455<o:p></o:p>5.2.5 Extensions 458<o:p></o:p>5.3 Conclusion 460<o:p></o:p>5.3.1 The key points 460<o:p></o:p>5.3.2 To go further 461<o:p></o:p>Index<o:p></o:p>Bibliography<o:p></o:p> 1. Continuous optimization 1<o:p></o:p>1.1 Formulation 2<o:p></o:p>1.1.1 Standard form 2<o:p></o:p>1.1.2 Function of several variables 3<o:p></o:p>1.1.3 Level lines 5<o:p></o:p>1.1.4 Direction of descent 6<o:p></o:p>1.1.5 Directional variation 7<o:p></o:p>1.1.6 Solution 10<o:p></o:p>1.2 Numerical derivatives 14<o:p></o:p>1.2.1 First derivatives 15<o:p></o:p>1.2.2 Second derivatives 15<o:p></o:p>1.2.3 Increment setting 16<o:p></o:p>1.2.4 Complex derivative 19<o:p></o:p>1.2.5 Derivatives by extrapolation 20<o:p></o:p>1.3 Problem reduction 25<o:p></o:p>1.3.1 Linear reduction 25<o:p></o:p>1.3.2 Generalized reduction 31<o:p></o:p>1.4 Global optimum 37<o:p></o:p>1.4.1 Dual problem 37<o:p></o:p>1.4.2 Saddle point 40<o:p></o:p>1.4.3 Linear programming 45<o:p></o:p>1.5 Local optimum 49<o:p></o:p>1.5.1 Feasible directions 49<o:p></o:p>1.5.2 Conditions of Karush, Kuhn and Tucker 54<o:p></o:p>1.5.3 Geometric interpretation 70<o:p></o:p>1.5.4 Quadratic-linear problem 76<o:p></o:p>1.5.5 Sensitivity analysis 77<o:p></o:p>1.6 Conclusion 82<o:p></o:p>1.6.1 The key points 82<o:p></o:p>1.6.2 To go further 82<o:p></o:p>2. Gradient-free optimization 852.1 Difficult optimization 86<o:p></o:p>2.1.1 Discrete variables 86<o:p></o:p>2.1.2 Local minima 88<o:p></o:p>2.1.3 Local and global methods 93<o:p></o:p>2.2 One-dimensional optimization 962.2.1 Interval splitting 96<o:p></o:p>2.2.2 Split points positioning 97<o:p></o:p>2.2.3 Golden ratio method 99<o:p></o:p>2.2.4 Quadratic interpolation 102<o:p></o:p>2.3 DIRECT method 105<o:p></o:p>2.3.1 Lipschitzian function 105<o:p></o:p>2.3.2 Algorithm in dimension 1 107<o:p></o:p>2.3.3 Algorithm in dimension n 118<o:p></o:p>2.4 Nelder-Mead method 1312.4.1 Polytope 131<o:p></o:p>2.4.2 Calculation stages 134<o:p></o:p>2.4.3 Improvements 136<o:p></o:p>2.5 Affine shaker 140<o:p></o:p>2.5.1 Principle 140<o:p></o:p>2.5.2 Affine transformation 142<o:p></o:p>2.5.3 Algorithm 144<o:p></o:p>2.6 CMAES 146<o:p></o:p>2.6.1 Principle 146<o:p></o:p>2.6.2 Covariance adaptation 147<o:p></o:p>2.6.3 Algorithm 150<o:p></o:p>2.7 Simulated annealing 153<o:p></o:p>2.7.1 Principle 153<o:p></o:p>2.7.2 Probability of transition 154<o:p></o:p>2.7.3 Algorithm 155<o:p></o:p>2.8 Research with tabu 161<o:p></o:p>2.8.1 Principle 161<o:p></o:p>2.8.2 Taboo list and neighborhood 161<o:p></o:p>2.8.3 Quadratic assignment 163<o:p></o:p>2.9 Particle swarms 171<o:p></o:p>2.9.1 Principle 171<o:p></o:p>2.9.2 Particle movement 171<o:p></o:p>2.9.3 Neighborhood 173<o:p></o:p>2.9.4 Algorithm 174<o:p></o:p>2.10 Ant colonies 176<o:p></o:p>2.10.1 Principle 176<o:p></o:p>2.10.2 Ant movement 177<o:p></o:p>2.10.3 Problem of the travelling salesman 177<o:p></o:p>2.11 Evolutionary algorithms 179<o:p></o:p>2.11.1 Principle 179<o:p></o:p>2.11.2 Evolutionary mechanisms 180<o:p></o:p>2.11.3 Algorithm 180<o:p></o:p>2.12 Conclusion 186<o:p></o:p>2.12.1 The key points 186<o:p></o:p>2.12.2 To go further 186<o:p></o:p>3. Unconstrained optimization 189<o:p></o:p>3.1 Newton’s method 190<o:p></o:p>3.1.1 System of equations 190<o:p></o:p>3.1.2 Homotopy method 196<o:p></o:p>3.1.3 Minimization 204<o:p></o:p>3.1.4 Least squares 207<o:p></o:p>3.2 Quasi-Newton methods 213<o:p></o:p>3.2.1 Broyden's method 213<o:p></o:p>3.2.2 DFP, BFGS and SR1 methods 217<o:p></o:p>3.2.3 BFGS improvements 227<o:p></o:p>3.3 Line search 231<o:p></o:p>3.3.1 Direction of descent 232<o:p></o:p>3.3.2 Step length 248<o:p></o:p>3.3.3 Algorithm 251<o:p></o:p>3.4 Trust region 256<o:p></o:p>3.4.1 Quadratic model 257<o:p></o:p>3.4.2 Direct solution 259<o:p></o:p>3.4.3 Dogleg solution 261<o:p></o:p>3.4.4 Algorithm 265<o:p></o:p>3.5 Proximal methods 268<o:p></o:p>3.5.1 Proximal operator 268<o:p></o:p>3.5.2 Interpretations 272<o:p></o:p>3.5.3 Proximal gradient 275<o:p></o:p>3.5.4 Primal-dual method 278<o:p></o:p>3.5.5 Calculation of the proximal operator 280<o:p></o:p>3.6 Convergence 284<o:p></o:p>3.6.1 Global convergence 284<o:p></o:p>3.6.2 Speed of convergence 286<o:p></o:p>3.6.3 Numerical accuracy 290<o:p></o:p>3.7 Conclusion 292<o:p></o:p>3.7.1 The key points 292<o:p></o:p>3.7.2 To go further 292<o:p></o:p>4. Constrained optimization 295<o:p></o:p>4.1 Classification of methods 296<o:p></o:p>4.1.1 Problem formulations 296<o:p></o:p>4.1.2 Primal, primal-dual and dual methods 298<o:p></o:p>4.1.3 Measuring improvement 301<o:p></o:p>4.2 Penalization 308<o:p></o:p>4.2.1 Penalized problem 308<o:p></o:p>4.2.2 Differentiable penalization 311<o:p></o:p>4.2.3 Exact penalization 312<o:p></o:p>4.2.4 Quadratic penalization 315<o:p></o:p>4.2.5 Barrier penalization 322<o:p></o:p>4.3 Reduced gradient 323<o:p></o:p>4.3.1 Move in tangent space 323<o:p></o:p>4.3.2 Restoration move 330<o:p></o:p>4.3.3 Line search 332<o:p></o:p>4.3.4 Quasi-Newton method 336<o:p></o:p>4.3.5 Algorithm 337<o:p></o:p>4.4 Sequential quadratic programming 341<o:p></o:p>4.4.1 Local quadratic model 341<o:p></o:p>4.4.2 Globalization 347<o:p></o:p>4.4.3 Constraint management 352<o:p></o:p>4.4.4 Quasi-Newton method 356<o:p></o:p>4.4.5 Algorithm 358<o:p></o:p>4.5 Interior point 362<o:p></o:p>4.5.1 Barrier problem 362<o:p></o:p>4.5.2 Globalization 365<o:p></o:p>4.5.3 Barrier height 366<o:p></o:p>4.6 Augmented Lagrangian 367<o:p></o:p>4.6.1 Dual problem 367<o:p></o:p>4.6.2 Augmented dual problem 371<o:p></o:p>4.6.3 Inequality constraints 375<o:p></o:p>4.6.4 Algorithm 377<o:p></o:p>4.7 Conclusion 381<o:p></o:p>4.7.1 The key points 381<o:p></o:p>4.7.2 To go further 381<o:p></o:p>5. Linear programming 383<o:p></o:p>5.1 Simplex 384<o:p></o:p>5.1.1 Standard form 384<o:p></o:p>5.1.2 Basis 387<o:p></o:p>5.1.3 Pivoting 398<o:p></o:p>5.1.4 Simplex array 404<o:p></o:p>5.1.5 Auxiliary problem 410<o:p></o:p>5.1.6 Two-phase method 415<o:p></o:p>5.1.7 Revised simplex 422<o:p></o:p>5.1.8 Dual simplex 423<o:p></o:p>5.1.9 Complementary simplex 430<o:p></o:p>5.2 Interior point 436<o:p></o:p>5.2.1 Central path 436<o:p></o:p>5.2.2 Direction of move 443<o:p></o:p>5.2.3 Step length 448<o:p></o:p>5.2.4 Prediction-correction algorithm 455<o:p></o:p>5.2.5 Extensions 458<o:p></o:p>5.3 Conclusion 460<o:p></o:p>5.3.1 The key points 460<o:p></o:p>5.3.2 To go further 461<o:p></o:p>Index<o:p></o:p>Bibliography<o:p></o:p> 21 00 06 01 https://laboutique.edpsciences.fr/produit/1365/9782759831647/optimization-techniques-i 01 00 03 02 https://laboutique.edpsciences.fr/system/product_pictures/data/009/983/016/original/9782759831623-Optimization-tome1_couv-sofedis.jpg 17 14 20240913T175127+0200 15 00 03 02 https://laboutique.edpsciences.fr/system/product_pictures/data/009/983/017/original/9782759831623-Optimization-tome1_couv-THUBNAIL.jpg 17 14 20250728T120513+0200 01 P15 EDP Sciences & Science Press 01 01 P15 EDP Sciences & Science Press 04 11 00 20231012 01 00 20231012 19 00 20231012 2026 06 3052868830012 01 WORLD 13 03 9782759831623 15 9782759831623 06 03 9782759831661 15 9782759831661 WORLD 08 EDP Sciences & Science Press 04 01 00 20231012 03 01 D1 EDP Sciences 20 04 05 01 02 1 00 85.99 01 5.50 4.48 EUR 04 06 01 02 1 00 300.99 01 5.50 4.48 EUR 01 04 06 01 02 1 00 330.99 01 5.50 17.26 USD 01 laboutique.edpsciences.fr-002484 03 01 01 002484 03 9782759831661 15 9782759831661 10 EA 10 10 01 02 Current Natural Sciences 01 01 Optimization techniques I Continuous optimization 1 A01 01 A2081 Max Cerf Cerf, Max Max Cerf Max CERF est ingénieur à Ariane Group depuis 1990. Ses activités portent sur l’optimisation des trajectoires et véhicules de transport spatial. Ancien élève de l’Ecole Centrale de Paris (1989), il est titulaire d’une habilitation à diriger des recherches (2019) et exerce des fonctions d’enseignement à l’université. Il a reçu le grade de Chevalier de l’Ordre National du Mérite (2015). Max CERF is an expert engineer in mission analysis at Ariane Group. His activities focus on the optimization of space vehicles and their trajectories. He also teaches at engineering schools and universities. 01 eng 08 482 03 01 24 Izibook:Subject Mathématiques 24 Izibook:Subject Informatique 24 Izibook:Subject Ingénierie 24 Izibook:SubjectAndCategoryAndTags |Mathématiques| 24 Izibook:SubjectAndCategoryAndTags |Informatique| 24 Izibook:SubjectAndCategoryAndTags |Ingénierie| 20 path;flow;assignment problems;variations;differential equations;gradient-free algorithms;linear programming 10 2011 MAT003000 01 510 06 06 05 03 00 <blockquote>This book in two volumes provides an overview of continuous, discrete and functional optimization techniques. This first volume is devoted to continuous optimization, which deals with problems with real variables, without or with constraints. After a reminder of the optimality conditions and their geometrical interpretation, the topics covered are:-gradient-free algorithms that can be applied to any type of function;-unconstrained algorithms based on Newton-type descent methods;-algorithms with constraints: penalization, primal, dual and primal-dual methods;-linear programming with the simplex method and interior point methods. The emphasis is on understanding the principles rather than on mathematical rigor. Each concept or algorithm is accompanied by a detailed example to help you grasp the main ideas. This book is the result of 30 years of experience and is intended for students, researchers and engineers wishing to acquire a general knowledge in the field of optimization.</blockquote><blockquote>This book is the English translation of «Techniques d'optimisation tomes 1 et 2» which was part of the final selection of «Prix Roberval 2023» in the «Higher Education» category.</blockquote> <blockquote>This book in two volumes provides an overview of continuous, discrete and functional optimization techniques. This first volume is devoted to continuous optimization, which deals with problems with real variables, without or with constraints. After a reminder of the optimality conditions and their geometrical interpretation, the topics covered are:-gradient-free algorithms that can be applied to any type of function;-unconstrained algorithms based on Newton-type descent methods;-algorithms with constraints: penalization, primal, dual and primal-dual methods;-linear programming with the simplex method and interior point methods. The emphasis is on understanding the principles rather than on mathematical rigor. Each concept or algorithm is accompanied by a detailed example to help you grasp the main ideas. This book is the result of 30 years of experience and is intended for students, researchers and engineers wishing to acquire a general knowledge in the field of optimization.</blockquote> 02 00 This book in two volumes provides an overview of continuous, discrete and functional optimization techniques. 04 00 1. Continuous optimization 1<o:p></o:p>1.1 Formulation 2<o:p></o:p>1.1.1 Standard form 2<o:p></o:p>1.1.2 Function of several variables 3<o:p></o:p>1.1.3 Level lines 5<o:p></o:p>1.1.4 Direction of descent 6<o:p></o:p>1.1.5 Directional variation 7<o:p></o:p>1.1.6 Solution 10<o:p></o:p>1.2 Numerical derivatives 14<o:p></o:p>1.2.1 First derivatives 15<o:p></o:p>1.2.2 Second derivatives 15<o:p></o:p>1.2.3 Increment setting 16<o:p></o:p>1.2.4 Complex derivative 19<o:p></o:p>1.2.5 Derivatives by extrapolation 20<o:p></o:p>1.3 Problem reduction 25<o:p></o:p>1.3.1 Linear reduction 25<o:p></o:p>1.3.2 Generalized reduction 31<o:p></o:p>1.4 Global optimum 37<o:p></o:p>1.4.1 Dual problem 37<o:p></o:p>1.4.2 Saddle point 40<o:p></o:p>1.4.3 Linear programming 45<o:p></o:p>1.5 Local optimum 49<o:p></o:p>1.5.1 Feasible directions 49<o:p></o:p>1.5.2 Conditions of Karush, Kuhn and Tucker 54<o:p></o:p>1.5.3 Geometric interpretation 70<o:p></o:p>1.5.4 Quadratic-linear problem 76<o:p></o:p>1.5.5 Sensitivity analysis 77<o:p></o:p>1.6 Conclusion 82<o:p></o:p>1.6.1 The key points 82<o:p></o:p>1.6.2 To go further 82<o:p></o:p>2. Gradient<o:p></o:p>-free optimization 85<o:p></o:p>2.1 Difficult optimization 86<o:p></o:p>2.1.1 Discrete variables 86<o:p></o:p>2.1.2 Local minima 88<o:p></o:p>2.1.3 Local and global methods 93<o:p></o:p>2.2 One-dimensional optimization 962.2.1 Interval splitting 96<o:p></o:p>2.2.2 Split points positioning 97<o:p></o:p>2.2.3 Golden ratio method 99<o:p></o:p>2.2.4 Quadratic interpolation 102<o:p></o:p>2.3 DIRECT method 105<o:p></o:p>2.3.1 Lipschitzian function 105<o:p></o:p>2.3.2 Algorithm in dimension 1 107<o:p></o:p>2.3.3 Algorithm in dimension n 118<o:p></o:p>2.4 Nelder-Mead method 1312.4.1 Polytope 131<o:p></o:p>2.4.2 Calculation stages 134<o:p></o:p>2.4.3 Improvements 136<o:p></o:p>2.5 Affine shaker 140<o:p></o:p>2.5.1 Principle 140<o:p></o:p>2.5.2 Affine transformation 142<o:p></o:p>2.5.3 Algorithm 144<o:p></o:p>2.6 CMAES 146<o:p></o:p>2.6.1 Principle 146<o:p></o:p>2.6.2 Covariance adaptation 147<o:p></o:p>2.6.3 Algorithm 150<o:p></o:p>2.7 Simulated annealing 153<o:p></o:p>2.7.1 Principle 153<o:p></o:p>2.7.2 Probability of transition 154<o:p></o:p>2.7.3 Algorithm 155<o:p></o:p>2.8 Research with tabu 161<o:p></o:p>2.8.1 Principle 161<o:p></o:p>2.8.2 Taboo list and neighborhood 161<o:p></o:p>2.8.3 Quadratic assignment 163<o:p></o:p>2.9 Particle swarms 171<o:p></o:p>2.9.1 Principle 171<o:p></o:p>2.9.2 Particle movement 171<o:p></o:p>2.9.3 Neighborhood 173<o:p></o:p>2.9.4 Algorithm 174<o:p></o:p>2.10 Ant colonies 176<o:p></o:p>2.10.1 Principle 176<o:p></o:p>2.10.2 Ant movement 177<o:p></o:p>2.10.3 Problem of the travelling salesman 177<o:p></o:p>2.11 Evolutionary algorithms 179<o:p></o:p>2.11.1 Principle 179<o:p></o:p>2.11.2 Evolutionary mechanisms 180<o:p></o:p>2.11.3 Algorithm 180<o:p></o:p>2.12 Conclusion 186<o:p></o:p>2.12.1 The key points 186<o:p></o:p>2.12.2 To go further 186<o:p></o:p>3. Unconstrained optimization 189<o:p></o:p>3.1 Newton’s method 190<o:p></o:p>3.1.1 System of equations 190<o:p></o:p>3.1.2 Homotopy method 196<o:p></o:p>3.1.3 Minimization 204<o:p></o:p>3.1.4 Least squares 207<o:p></o:p>3.2 Quasi-Newton methods 213<o:p></o:p>3.2.1 Broyden's method 213<o:p></o:p>3.2.2 DFP, BFGS and SR1 methods 217<o:p></o:p>3.2.3 BFGS improvements 227<o:p></o:p>3.3 Line search 231<o:p></o:p>3.3.1 Direction of descent 232<o:p></o:p>3.3.2 Step length 248<o:p></o:p>3.3.3 Algorithm 251<o:p></o:p>3.4 Trust region 256<o:p></o:p>3.4.1 Quadratic model 257<o:p></o:p>3.4.2 Direct solution 259<o:p></o:p>3.4.3 Dogleg solution 261<o:p></o:p>3.4.4 Algorithm 265<o:p></o:p>3.5 Proximal methods 268<o:p></o:p>3.5.1 Proximal operator 268<o:p></o:p>3.5.2 Interpretations 272<o:p></o:p>3.5.3 Proximal gradient 275<o:p></o:p>3.5.4 Primal-dual method 278<o:p></o:p>3.5.5 Calculation of the proximal operator 280<o:p></o:p>3.6 Convergence 284<o:p></o:p>3.6.1 Global convergence 284<o:p></o:p>3.6.2 Speed of convergence 286<o:p></o:p>3.6.3 Numerical accuracy 290<o:p></o:p>3.7 Conclusion 292<o:p></o:p>3.7.1 The key points 292<o:p></o:p>3.7.2 To go further 292<o:p></o:p>4. Constrained optimization 295<o:p></o:p>4.1 Classification of methods 296<o:p></o:p>4.1.1 Problem formulations 296<o:p></o:p>4.1.2 Primal, primal-dual and dual methods 298<o:p></o:p>4.1.3 Measuring improvement 301<o:p></o:p>4.2 Penalization 308<o:p></o:p>4.2.1 Penalized problem 308<o:p></o:p>4.2.2 Differentiable penalization 311<o:p></o:p>4.2.3 Exact penalization 312<o:p></o:p>4.2.4 Quadratic penalization 315<o:p></o:p>4.2.5 Barrier penalization 322<o:p></o:p>4.3 Reduced gradient 323<o:p></o:p>4.3.1 Move in tangent space 323<o:p></o:p>4.3.2 Restoration move 330<o:p></o:p>4.3.3 Line search 332<o:p></o:p>4.3.4 Quasi-Newton method 336<o:p></o:p>4.3.5 Algorithm 337<o:p></o:p>4.4 Sequential quadratic programming 341<o:p></o:p>4.4.1 Local quadratic model 341<o:p></o:p>4.4.2 Globalization 347<o:p></o:p>4.4.3 Constraint management 352<o:p></o:p>4.4.4 Quasi-Newton method 356<o:p></o:p>4.4.5 Algorithm 358<o:p></o:p>4.5 Interior point 362<o:p></o:p>4.5.1 Barrier problem 362<o:p></o:p>4.5.2 Globalization 365<o:p></o:p>4.5.3 Barrier height 366<o:p></o:p>4.6 Augmented Lagrangian 367<o:p></o:p>4.6.1 Dual problem 367<o:p></o:p>4.6.2 Augmented dual problem 371<o:p></o:p>4.6.3 Inequality constraints 375<o:p></o:p>4.6.4 Algorithm 377<o:p></o:p>4.7 Conclusion 381<o:p></o:p>4.7.1 The key points 381<o:p></o:p>4.7.2 To go further 381<o:p></o:p>5. Linear programming 383<o:p></o:p>5.1 Simplex 384<o:p></o:p>5.1.1 Standard form 384<o:p></o:p>5.1.2 Basis 387<o:p></o:p>5.1.3 Pivoting 398<o:p></o:p>5.1.4 Simplex array 404<o:p></o:p>5.1.5 Auxiliary problem 410<o:p></o:p>5.1.6 Two-phase method 415<o:p></o:p>5.1.7 Revised simplex 422<o:p></o:p>5.1.8 Dual simplex 423<o:p></o:p>5.1.9 Complementary simplex 430<o:p></o:p>5.2 Interior point 436<o:p></o:p>5.2.1 Central path 436<o:p></o:p>5.2.2 Direction of move 443<o:p></o:p>5.2.3 Step length 448<o:p></o:p>5.2.4 Prediction-correction algorithm 455<o:p></o:p>5.2.5 Extensions 458<o:p></o:p>5.3 Conclusion 460<o:p></o:p>5.3.1 The key points 460<o:p></o:p>5.3.2 To go further 461<o:p></o:p>Index<o:p></o:p>Bibliography<o:p></o:p> 1. Continuous optimization 1<o:p></o:p>1.1 Formulation 2<o:p></o:p>1.1.1 Standard form 2<o:p></o:p>1.1.2 Function of several variables 3<o:p></o:p>1.1.3 Level lines 5<o:p></o:p>1.1.4 Direction of descent 6<o:p></o:p>1.1.5 Directional variation 7<o:p></o:p>1.1.6 Solution 10<o:p></o:p>1.2 Numerical derivatives 14<o:p></o:p>1.2.1 First derivatives 15<o:p></o:p>1.2.2 Second derivatives 15<o:p></o:p>1.2.3 Increment setting 16<o:p></o:p>1.2.4 Complex derivative 19<o:p></o:p>1.2.5 Derivatives by extrapolation 20<o:p></o:p>1.3 Problem reduction 25<o:p></o:p>1.3.1 Linear reduction 25<o:p></o:p>1.3.2 Generalized reduction 31<o:p></o:p>1.4 Global optimum 37<o:p></o:p>1.4.1 Dual problem 37<o:p></o:p>1.4.2 Saddle point 40<o:p></o:p>1.4.3 Linear programming 45<o:p></o:p>1.5 Local optimum 49<o:p></o:p>1.5.1 Feasible directions 49<o:p></o:p>1.5.2 Conditions of Karush, Kuhn and Tucker 54<o:p></o:p>1.5.3 Geometric interpretation 70<o:p></o:p>1.5.4 Quadratic-linear problem 76<o:p></o:p>1.5.5 Sensitivity analysis 77<o:p></o:p>1.6 Conclusion 82<o:p></o:p>1.6.1 The key points 82<o:p></o:p>1.6.2 To go further 82<o:p></o:p>2. Gradient-free optimization 852.1 Difficult optimization 86<o:p></o:p>2.1.1 Discrete variables 86<o:p></o:p>2.1.2 Local minima 88<o:p></o:p>2.1.3 Local and global methods 93<o:p></o:p>2.2 One-dimensional optimization 962.2.1 Interval splitting 96<o:p></o:p>2.2.2 Split points positioning 97<o:p></o:p>2.2.3 Golden ratio method 99<o:p></o:p>2.2.4 Quadratic interpolation 102<o:p></o:p>2.3 DIRECT method 105<o:p></o:p>2.3.1 Lipschitzian function 105<o:p></o:p>2.3.2 Algorithm in dimension 1 107<o:p></o:p>2.3.3 Algorithm in dimension n 118<o:p></o:p>2.4 Nelder-Mead method 1312.4.1 Polytope 131<o:p></o:p>2.4.2 Calculation stages 134<o:p></o:p>2.4.3 Improvements 136<o:p></o:p>2.5 Affine shaker 140<o:p></o:p>2.5.1 Principle 140<o:p></o:p>2.5.2 Affine transformation 142<o:p></o:p>2.5.3 Algorithm 144<o:p></o:p>2.6 CMAES 146<o:p></o:p>2.6.1 Principle 146<o:p></o:p>2.6.2 Covariance adaptation 147<o:p></o:p>2.6.3 Algorithm 150<o:p></o:p>2.7 Simulated annealing 153<o:p></o:p>2.7.1 Principle 153<o:p></o:p>2.7.2 Probability of transition 154<o:p></o:p>2.7.3 Algorithm 155<o:p></o:p>2.8 Research with tabu 161<o:p></o:p>2.8.1 Principle 161<o:p></o:p>2.8.2 Taboo list and neighborhood 161<o:p></o:p>2.8.3 Quadratic assignment 163<o:p></o:p>2.9 Particle swarms 171<o:p></o:p>2.9.1 Principle 171<o:p></o:p>2.9.2 Particle movement 171<o:p></o:p>2.9.3 Neighborhood 173<o:p></o:p>2.9.4 Algorithm 174<o:p></o:p>2.10 Ant colonies 176<o:p></o:p>2.10.1 Principle 176<o:p></o:p>2.10.2 Ant movement 177<o:p></o:p>2.10.3 Problem of the travelling salesman 177<o:p></o:p>2.11 Evolutionary algorithms 179<o:p></o:p>2.11.1 Principle 179<o:p></o:p>2.11.2 Evolutionary mechanisms 180<o:p></o:p>2.11.3 Algorithm 180<o:p></o:p>2.12 Conclusion 186<o:p></o:p>2.12.1 The key points 186<o:p></o:p>2.12.2 To go further 186<o:p></o:p>3. Unconstrained optimization 189<o:p></o:p>3.1 Newton’s method 190<o:p></o:p>3.1.1 System of equations 190<o:p></o:p>3.1.2 Homotopy method 196<o:p></o:p>3.1.3 Minimization 204<o:p></o:p>3.1.4 Least squares 207<o:p></o:p>3.2 Quasi-Newton methods 213<o:p></o:p>3.2.1 Broyden's method 213<o:p></o:p>3.2.2 DFP, BFGS and SR1 methods 217<o:p></o:p>3.2.3 BFGS improvements 227<o:p></o:p>3.3 Line search 231<o:p></o:p>3.3.1 Direction of descent 232<o:p></o:p>3.3.2 Step length 248<o:p></o:p>3.3.3 Algorithm 251<o:p></o:p>3.4 Trust region 256<o:p></o:p>3.4.1 Quadratic model 257<o:p></o:p>3.4.2 Direct solution 259<o:p></o:p>3.4.3 Dogleg solution 261<o:p></o:p>3.4.4 Algorithm 265<o:p></o:p>3.5 Proximal methods 268<o:p></o:p>3.5.1 Proximal operator 268<o:p></o:p>3.5.2 Interpretations 272<o:p></o:p>3.5.3 Proximal gradient 275<o:p></o:p>3.5.4 Primal-dual method 278<o:p></o:p>3.5.5 Calculation of the proximal operator 280<o:p></o:p>3.6 Convergence 284<o:p></o:p>3.6.1 Global convergence 284<o:p></o:p>3.6.2 Speed of convergence 286<o:p></o:p>3.6.3 Numerical accuracy 290<o:p></o:p>3.7 Conclusion 292<o:p></o:p>3.7.1 The key points 292<o:p></o:p>3.7.2 To go further 292<o:p></o:p>4. Constrained optimization 295<o:p></o:p>4.1 Classification of methods 296<o:p></o:p>4.1.1 Problem formulations 296<o:p></o:p>4.1.2 Primal, primal-dual and dual methods 298<o:p></o:p>4.1.3 Measuring improvement 301<o:p></o:p>4.2 Penalization 308<o:p></o:p>4.2.1 Penalized problem 308<o:p></o:p>4.2.2 Differentiable penalization 311<o:p></o:p>4.2.3 Exact penalization 312<o:p></o:p>4.2.4 Quadratic penalization 315<o:p></o:p>4.2.5 Barrier penalization 322<o:p></o:p>4.3 Reduced gradient 323<o:p></o:p>4.3.1 Move in tangent space 323<o:p></o:p>4.3.2 Restoration move 330<o:p></o:p>4.3.3 Line search 332<o:p></o:p>4.3.4 Quasi-Newton method 336<o:p></o:p>4.3.5 Algorithm 337<o:p></o:p>4.4 Sequential quadratic programming 341<o:p></o:p>4.4.1 Local quadratic model 341<o:p></o:p>4.4.2 Globalization 347<o:p></o:p>4.4.3 Constraint management 352<o:p></o:p>4.4.4 Quasi-Newton method 356<o:p></o:p>4.4.5 Algorithm 358<o:p></o:p>4.5 Interior point 362<o:p></o:p>4.5.1 Barrier problem 362<o:p></o:p>4.5.2 Globalization 365<o:p></o:p>4.5.3 Barrier height 366<o:p></o:p>4.6 Augmented Lagrangian 367<o:p></o:p>4.6.1 Dual problem 367<o:p></o:p>4.6.2 Augmented dual problem 371<o:p></o:p>4.6.3 Inequality constraints 375<o:p></o:p>4.6.4 Algorithm 377<o:p></o:p>4.7 Conclusion 381<o:p></o:p>4.7.1 The key points 381<o:p></o:p>4.7.2 To go further 381<o:p></o:p>5. Linear programming 383<o:p></o:p>5.1 Simplex 384<o:p></o:p>5.1.1 Standard form 384<o:p></o:p>5.1.2 Basis 387<o:p></o:p>5.1.3 Pivoting 398<o:p></o:p>5.1.4 Simplex array 404<o:p></o:p>5.1.5 Auxiliary problem 410<o:p></o:p>5.1.6 Two-phase method 415<o:p></o:p>5.1.7 Revised simplex 422<o:p></o:p>5.1.8 Dual simplex 423<o:p></o:p>5.1.9 Complementary simplex 430<o:p></o:p>5.2 Interior point 436<o:p></o:p>5.2.1 Central path 436<o:p></o:p>5.2.2 Direction of move 443<o:p></o:p>5.2.3 Step length 448<o:p></o:p>5.2.4 Prediction-correction algorithm 455<o:p></o:p>5.2.5 Extensions 458<o:p></o:p>5.3 Conclusion 460<o:p></o:p>5.3.1 The key points 460<o:p></o:p>5.3.2 To go further 461<o:p></o:p>Index<o:p></o:p>Bibliography<o:p></o:p> 21 00 06 01 https://laboutique.edpsciences.fr/produit/1365/9782759831647/optimization-techniques-i 01 00 03 02 https://laboutique.edpsciences.fr/system/product_pictures/data/009/983/016/original/9782759831623-Optimization-tome1_couv-sofedis.jpg 17 14 20240913T175127+0200 15 00 03 02 https://laboutique.edpsciences.fr/system/product_pictures/data/009/983/017/original/9782759831623-Optimization-tome1_couv-THUBNAIL.jpg 17 14 20250728T120513+0200 01 P15 EDP Sciences & Science Press 01 01 P15 EDP Sciences & Science Press 04 11 00 20231012 01 00 20231012 19 00 20231012 2026 06 3052868830012 01 WORLD 13 03 9782759831623 15 9782759831623 06 03 9782759831647 15 9782759831647 WORLD 08 EDP Sciences & Science Press 04 01 00 20231012 03 01 D1 EDP Sciences 31 04 05 01 02 1 00 85.99 01 5.50 4.48 EUR 04 06 01 02 1 00 300.99 01 5.50 4.48 EUR 01 04 06 01 02 1 00 330.99 01 5.50 17.26 USD 01