Table of Contents

Chapter 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Backgrounds and Motivations of the Book . . . . . . . . . . . . . . . . . . . 1
1.2 Optimal Control Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.1 Some Examples of Optimal Control Problems . . . . . . . 12
1.3.2 Mathematical Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4 Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Chapter 2 Extrema of Functional via Variational Method . . 31
2.1 Fundamental Notions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.1.1 Linearity of Function and Functional . . . . . . . . . . . . . . . . 32
2.1.2 Norm in Euclidean Space and Functional . . . . . . . . . . . . 34
2.1.3 Increment of Function and Functional . . . . . . . . . . . . . . . 35
2.1.4 Di erential of Function and Variation of
Functional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.2 Extrema of Functional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2.1 Extrema with Fixed Final Time and Fixed
Final State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.2.2 Speci c Forms of Euler Equation in
Di erent Cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.2.3 Su cient Condition for Extrema . . . . . . . . . . . . . . . . . . . . 55
2.2.4 Extrema with Fixed Final Time and
Free Final State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.2.5 Extrema with Free Final Time and
Fixed Final State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.2.6 Extrema with Free Final Time and
Free Final State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.3 Extrema of Functional with Multiple Independent
Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.4 Extrema of Function with Constraints . . . . . . . . . . . . . . . . . . . . . . 80
2.4.1 Elimination/Direct Method . . . . . . . . . . . . . . . . . . . . . . . . . 81
2.4.2 Lagrange Multiplier Method . . . . . . . . . . . . . . . . . . . . . . . . . 82
2.5 Extrema of Functional with Constraints . . . . . . . . . . . . . . . . . . . . 84
2.5.1 Extrema of Functional with Di erential
Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
2.5.2 Extrema of Functional with Isoperimetric
Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
2.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
2.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Chapter 3 Optimal Control via Variational Method . . . . . . . . . 96
3.1 Necessary and Su cient Condition for Optimal Control . . . . . 96
3.2 Optimal Control Problems with Di erent
Boundary Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
3.2.1 Optimal Control with Fixed Final Time and
State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
3.2.2 Optimal Control with Fixed Final Time and
Free Final State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
3.2.3 Optimal Control with Free Final Time and
Fixed Final State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
3.2.4 Optimal Control with Free Final Time and State . . . 112
3.3 Linear Quadratic Regulator Problems . . . . . . . . . . . . . . . . . . . . . 122
3.3.1 In nite-interval Time-invariant LQR Problems . . . . . 130
3.4 Linear Quadratic Tracking Problems . . . . . . . . . . . . . . . . . . . . . . 132
3.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
3.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
Chapter 4 Pontryagin's Minimum Principle . . . . . . . . . . . . . . . . . 145
4.1 Pontryagin's Minimum Principle with Constrained
Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
4.2 Pontryagin's Minimum Principle with Constrained
State Variable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
4.3 Minimum Time Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
4.3.1 Optimal Control Solution for Minimum
Time Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
4.3.2 Minimum Time Problems for Linear
Time-invariant Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
4.4 Minimum Fuel Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
4.5 Performance Cost Composed of Elapsed Time and
Consumed Fuel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
4.6 Minimum Energy Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
4.7 Performance Cost Composed of Elapsed Time and
Consumed Energy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
4.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
4.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
Chapter 5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226