311 views
# 01NELO Nelineární optimalizace 2026 ### Rozcestník * [Web předmětu](https://mmg.fjfi.cvut.cz/~fucik/index.php?page=01NELO) * [Sharepoint předmětu](https://campuscvut-my.sharepoint.com/:f:/g/personal/fucikrad_cvut_cz/ErEef84ePltFuAHnxM0IqVAB_iiuBZjyqTEtTLnQwQxBxw?e=ju4nIv): pro sdílení elektronických materiálů * [mmg-gitlab: nelo-examples](https://mmg-gitlab.fjfi.cvut.cz/gitlab/fucik/nelo-examples) ## 1. přednáška 16. 2. 2026 - [x] Představení předmětu a podmínek pro zakončení - experimentální přechod z formátu 3+0 na 2+0+0+2 - ![](https://jlk.fjfi.cvut.cz/md/uploads/7686f47d-7bdf-406d-9932-ee5a703285ff.png) - [x] Úvodní prezentace - [x] Skriptum - [x] 1. Formulace obecné úlohy matematické optimalizace - [x] 2. Konvexní množiny a funkce: - [x] 2.1 Konvexní množiny - [x] 2.2 Oddělitelnost Lineární optimalizace: * [01LIP](https://bilakniha.cvut.cz/cs/predmet11339905.html) Lineární programování: [stránky Honzy Bureše](https://buresj.cz/teaching/01lip) a * [LP za 2 minuty](https://www.youtube.com/watch?v=C0TTxV0n9OA) * [Python / SciPy](https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.linprog.html) * [Julia – JuMP](https://jump.dev/JuMP.jl/stable/) * [Google OR-tools](https://developers.google.com/optimization/) Nelineární optimalizace: * [Julia – Optim.jl](https://julianlsolvers.github.io/Optim.jl/stable/) * [Python – SciPy](https://apmonitor.com/pdc/index.php/Main/NonlinearProgramming) * [Testovací úlohy a funkce](https://en.wikipedia.org/wiki/Test_functions_for_optimization) ### Domácí studium * projít si v klidu důkazy u konvexních množin: * věta 2.2 o konvexní množině * věta 2.3 o striktní oddělitelnosti konvexních množin * věta 2.4 o projekci bodu na konvexní množinu * osvěžit si lineární programování (viz [stránky Honzy Bureše](https://buresj.cz/teaching/01lip)) * popularizační okénko * [The Art of Linear Programming ](https://www.youtube.com/watch?v=E72DWgKP_1Y) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/The_Art_of_Linear_Programming.webm)) * [The Closest We’ve Come to a Theory of Everything ](https://www.youtube.com/watch?v=Q10_srZ-pbs) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/The_Closest_We_ve_Come_to_a_Theory_of_Everything.webm)) * [What Is Mathematical Optimization?](https://www.youtube.com/watch?v=AM6BY4btj-M) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/What_Is_Mathematical_Optimization.webm)) * [Convexity and The Principle of Duality](https://www.youtube.com/watch?v=d0CF3d5aEGc) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/Convexity_and_The_Principle_of_Duality.webm)) * [The Karush–Kuhn–Tucker (KKT) Conditions and the Interior Point Method for Convex Optimization ](https://www.youtube.com/watch?v=uh1Dk68cfWs) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/)) * [Gradient descent, how neural networks learn](https://www.youtube.com/watch?v=IHZwWFHWa-w) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/Gradient_descent_how_neural_networks_learn.webm)) * [AlphaFold - The Most Useful Thing AI Has Ever Done](https://www.youtube.com/watch?v=P_fHJIYENdI) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/AlphaFold_The_Most_Useful_Thing_AI_Has_Ever_Done.webm)) ## 2. přednáška 23. 2. 2026 (host Honza Bureš) - [x] 6. Black-Box (bezgradientní) metody - [x] 6.1 Heuristické metody - [x] 6.2 Metody přı́mého vyhledávánı́ - [x] 6.3 Optimalizace pomocı́ náhradnı́ho modelu ### Domácí studium * Bayesovská optimalizace: * Rychločtení: [Wikipedia – Bayesian optimization](https://en.wikipedia.org/wiki/Bayesian_optimization) * Delší čtení: [A Tutorial on Bayesian Optimization](https://arxiv.org/abs/1807.02811) * YouTube: [Bayesian optimization and multi-armed bandits](https://www.youtube.com/watch?v=vz3D36VXefI) ([mkv](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/Machine_learning_Bayesian_optimization_and_multi-armed_bandits.mkv)) * Covariance matrix adaptation evolution strategy (CMA-ES): * Rychločtení: [Wikipedia – CMA-ES](https://en.wikipedia.org/wiki/CMA-ES) * Delší čtení: [The CMA Evolution Strategy: A Tutorial](https://arxiv.org/abs/1604.00772) * YouTube: [CMA-ES and Advanced Adaptation Mechanisms](https://www.youtube.com/watch?v=7VBKLH3oDuw) ([mkv](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/GECCO2021_tut104_Advanced_Tutorials_CMA-ES_and_Advanced_Adaptation_Mechanisms.mkv)) * *Případně dále*: *Powellovy DFO metody (NEWUOA / BOBYQA)*: * Rychločtení: [NLopt dokumentace – stručný popis BOBYQA + NEWUOA](https://nlopt.readthedocs.io/en/latest/NLopt_Algorithms) * Delší čtení: [The BOBYQA algorithm for bound constrained optimization without derivatives](https://www.damtp.cam.ac.uk/user/na/NA_papers/NA2009_06.pdf) a [DAMTP 2004/NA05 The NEWUOA software for unconstrained optimization without derivatives](https://www.damtp.cam.ac.uk/user/na/NA_papers/NA2004_08.pdf) * Ukázky * [Genetický algoritmus: I programmed some creatures. They Evolved. ](https://www.youtube.com/watch?v=N3tRFayqVtk) ([mkv](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/I_programmed_some_creatures_They_Evolved.webm)) ## 3. přednáška 2. 3. 2026 - [x] 2. Konvexní množiny a funkce: - [x] 2.2 Oddělitelnost - zopakování a dokončení - [x] 2.3 Konvexní funkce ### Domácí studium * projít si v klidu důkazy: * Věta 2.10 Nutná podmínka konvexnosti na otevřené množině * Věta 2.11 Charakterizace konvexní funkce 1. řádu * Věta 2.13 Charakterizace konvexní funkce 2. řádu * [Konvexní funkce a jejich zobecnění (bakalářská páce)](https://dspace.cuni.cz/handle/20.500.11956/5795) ## 4. přednáška 9. 3. 2026 - [x] 2. Konvexní množiny a funkce: - [x] 2.4 Kvazikonvexní funkce - [x] 2.5 Pseudokonvexní funkce - [x] 3. Lagrangeova dualita: - [x] 3.1 Lagrangeova duální funkce - [x] 3.2 Slabá a silná dualita ### Domácí studium * projít si v klidu důkazy: * Věta 2.17 Charakterizace kvazikonvexní funkce 1. řádu * Věta 2.19 * literatura * [Konvexní funkce a jejich zobecnění (bakalářská páce)](https://dspace.cuni.cz/handle/20.500.11956/5795) * [Kvazikonvexní funkce](https://campuscvut-my.sharepoint.com/:f:/r/personal/fucikrad_cvut_cz/Documents/edu/01NELO/literatura/kvazikonvexni?csf=1&web=1&e=vx4EXF) * video * [Lagrange Multipliers | Geometric Meaning & Full Example](https://www.youtube.com/watch?v=8mjcnxGMwFo) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/Lagrange_Multipliers_Geometric_Meaning_Full_Example.webm)) ## 5. přednáška 16. 3. 2026 - [x] 3. Lagrangeova dualita: - [x] 3.2 Slabá a silná dualita - dokončení - geometrická interpretace duality - [x] 3.3 Duální úloha jako konkávní optimalizační úloha ### Domácí studium * příklady ke kapitole 3.1 * [kap_3_1.pdf](https://campuscvut-my.sharepoint.com/:b:/r/personal/fucikrad_cvut_cz/Documents/edu/01NELO/2025_2026/kapitola_3/kap_3_1.pdf?csf=1&web=1&e=K2ujme) * ilustrace k příkladu: [pr01.asy](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/pr01.asy) ke spuštění v https://asymptote.ualberta.ca/ * uvedený příklad viz též videona YouTube níže * příklady ke kapitole 3.2 * [kap_3_2.pdf](https://campuscvut-my.sharepoint.com/:b:/r/personal/fucikrad_cvut_cz/Documents/edu/01NELO/2025_2026/kapitola_3/kap_3_2.pdf?csf=1&web=1&e=4osHFy) * [desmos: příklad s nenulovou mezerou duální optimality](https://www.desmos.com/calculator/gusnnv7okh) * literatura * [Milan Hladík skripta ZNO](https://campuscvut-my.sharepoint.com/:f:/r/personal/fucikrad_cvut_cz/Documents/edu/01NELO/literatura/kvazikonvexni?csf=1&web=1&e=Ih1G6w) + [Milan Hladík web mff](https://kam.mff.cuni.cz/~hladik/teaching.html) * videa * [Lagrange Multipliers | Geometric Meaning & Full Example](https://www.youtube.com/watch?v=8mjcnxGMwFo) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/Lagrange_Multipliers_Geometric_Meaning_Full_Example.webm)) * [Understanding Lagrange Multipliers Visually](https://www.youtube.com/watch?v=5A39Ht9Wcu0) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/Understanding_Lagrange_Multipliers_Visually.webm)) ## 6. přednáška 23. 3. 2026 - kontaktní přednáška se ze zdravotních důvodů nekoná, prosím nastudujte si kapitolu 4 ze skript ### Domácí studium - 4. Podmínky optimality pro úlohy bez vazeb: - 4.1 Podmínky 1. řádu - 4.2 Podmínky 2. řádu - 4.3 Globální minima ## 7. přednáška 30. 3. 2026 - [x] 4. Podmínky optimality pro úlohy bez vazeb: - [x] 4.1 Podmínky 1. řádu - [x] 4.2 Podmínky 2. řádu - [x] 4.3 Globální minima - [x] 5. Podmínky optimality pro úlohy s vazbami: - [x] 5.1 Globální podmínky optimality - [x] 5.2 Aktivní omezení ### Domácí studium * [ilustrace polárního kuželu](https://www.desmos.com/calculator/fxs3npctwz) * [ilustrace k množinám $\mathcal{F}$ a $\mathcal{G}$](https://www.desmos.com/calculator/pttjtynttb) ## 8. přednáška 13. 4. 2026 - [x] 5. Podmínky optimality pro úlohy s vazbami - [x] 5.3 Podmínky Fritze Johna - [x] 5.4 Podmínky Karushe, Kuhna a Tuckera - [Podmínky regularity](https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions#Regularity_conditions_(or_constraint_qualifications)) ### Domácí studium * projít si v klidu důkazy: * Farkasova lemma (viz kapitola 5.3 ve skriptech) * Věty v kapitole 5.3 a 5.4 * videa * [The Karush–Kuhn–Tucker (KKT) Conditions and the Interior Point Method for Convex Optimization](https://www.youtube.com/watch?v=uh1Dk68cfWs) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/The_Karush–Kuhn–Tucker_Conditions_and_the_Interior_Point_Method_for_Convex_Optimization.webm)) * [L1.6 –⁠ Inequality-constrained optimization: KKT conditions as first-order conditions of optimality ](https://www.youtube.com/watch?v=BwqaNf__6Tc) ([mkv](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/Inequality-constrained_optimization_KKT_conditions_as_first-order_conditions_of_optimality.mkv)) ## 9. přednáška 20. 4. 2026 - [x] 7. Algoritmy pro úlohy bez vazeb: - [x] 7.1 Jednorozměrná minimalizace (Line search) - [x] 7.2 Metoda největšı́ho spádu (GD) - [x] 7.3 Metoda sdružených gradientů (FR & PR) * Přı́klady optimalizačnı́ch úloh bez vazeb * [mmg-gitlab: nelo-examples](https://mmg-gitlab.fjfi.cvut.cz/gitlab/fucik/nelo-examples) ### Domácí studium * Projít si pro úplnost důkazy (ve skriptech): * Lemma 7.3 (O nenulovém gradientu) * Věta 7.6 (O metodě sdružených gradientů) * Věta 7.7 (O konvergenci metody sdružených gradientů) * videa * [Conjugate Gradient Method](https://www.youtube.com/watch?v=h4cG8jLGmKg) ([mkv](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/Conjugate_Gradient_Method.mkv)) ## 10. přednáška 27. 4. 2026 - [x] 7. Algoritmy pro úlohy bez vazeb: - [x] 7.4 Kvazinewtonovské metody (DFP & BFGS) - [ ] 7.5 Metoda nejmenšı́ch čtverců & SVD & $A^+$ * Přı́klady optimalizačnı́ch úloh bez vazeb * prostudovat `algoritmy.asy` - viz zdroje: * [mmg-gitlab: nelo-examples](https://mmg-gitlab.fjfi.cvut.cz/gitlab/fucik/nelo-examples) * skriptum: kapitola 9 * [Sharepoint: viz kapitola_7](https://campuscvut-my.sharepoint.com/:f:/r/personal/fucikrad_cvut_cz/Documents/edu/01NELO/2025_2026/kapitola_7?csf=1&web=1&e=UKq7Im) ### Domácí studium * nastudovat si důkaz Věty 7.12 (Powellova o DFP algoritmu) * nastudovat kapitolu 7.5 - metoda nejmenších čtverců * prográmek na basins of attraction * [mmg-gitlab: nelo-examples](https://mmg-gitlab.fjfi.cvut.cz/fucik/nelo-examples/-/tree/main/unconstrained/python/basins_of_attraction?ref_type=heads) * ukázka pro BFGS: * ![](https://jlk.fjfi.cvut.cz/md/uploads/5a18656e-a887-4b4f-898d-87572cda7b3c.png) * videa k metodě nejmenších čtverců a SVD * [Singular Value Decomposition (SVD): Overview](https://www.youtube.com/watch?v=gXbThCXjZFM) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/Singular_Value_Decomposition_SVD_Overview.webm)) * [SVD Visualized, Singular Value Decomposition explained](https://www.youtube.com/watch?v=vSczTbgc8Rc) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/SVD_Visualized_Singular_Value_Decomposition_explained.webm)) * [Linear Systems of Equations, Least Squares Regression, Pseudoinverse](https://www.youtube.com/watch?v=PjeOmOz9jSY) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/Linear_Systems_of_Equations_Least_Squares_Regression_Pseudoinverse.webm)) * [Singular Value Decomposition (SVD): Mathematical Overview](https://www.youtube.com/watch?v=nbBvuuNVfco) ([webm](https://mmg.fjfi.cvut.cz/~fucik/files/nelo/Singular_Value_Decomposition_SVD_Mathematical_Overview.webm)) ## 11. přednáška 4. 5. 2026 - [x] 7. Algoritmy pro úlohy bez vazeb: - ukázka DFP a BFGS implementací v asymptote [mmg-gitlab: nelo-examples](https://mmg-gitlab.fjfi.cvut.cz/gitlab/fucik/nelo-examples) - [L-BFGS](https://en.wikipedia.org/wiki/Limited-memory_BFGS) - [x] 7.5 Metoda nejmenšı́ch čtverců & SVD & $A^+$ - stručné představení (pdf na [Sharepoint předmětu](https://campuscvut-my.sharepoint.com/:f:/g/personal/fucikrad_cvut_cz/ErEef84ePltFuAHnxM0IqVAB_iiuBZjyqTEtTLnQwQxBxw?e=ju4nIv) ) + domácí úkol k nastudování - [x] Metody vnitřního bodu: - [x] 8.1 Metoda přı́pustných směrů - [x] 8.2 Bariérová metoda ### Domácí studium * Projít si důkazy vět 8.1 a 8.2 (ve skriptech) ## 12. přednáška 11. 5. 2026 - [x] Metody vnitřního bodu: - [x] 8.2 Bariérová metoda - dodělávka a důkaz věty 8.4 - příklady implementace - [x] Metody vnějšího bodu: - [x] 8.3 Penalizační metoda - příklady implementace - [x] 8.4 Metoda sečných nadrovin * [desmos: ilustrace k metodě sečných nadrovin](https://www.desmos.com/calculator/d0zonenxyq) ### Domácí studium * projít si důkazy vět 8.4 a 8.5 (ve skriptech) * 01NELO na zkoušku (viz zkouškové otázky ve skriptech) ## 13. přednáška 18. 5. 2026 - [x] Zkouškový testík! - další zkouškové termíny (přihlašujte se v KOSu) - 2. června 2026 v T-101 od 9:00 (spolu se zkouškou z 01MATZ2) - 23. června 2026 v T-101 od 9:00 (spolu se zkouškou z 01MATZ2) - případně další termíny po dohodě - [anketka k výuce](https://forms.gle/WKiLvZM8pEBPuC1F6): prosím o vyplnění zpětné vazby ke kurzu 01NELO ![](https://jlk.fjfi.cvut.cz/md/uploads/b282e319-b467-4ffe-a3f3-ed9582f2053c.png)