Jak využít různé benchmarkové funkce pro optimalizační metody?

Funkce jako Goldstein–Price, Rastrigin, Alpine1 a další, známé jako benchmarkové funkce, se často používají v oblasti optimalizace pro hodnocení výkonnosti různých algoritmů. V následujících kapitolách se podíváme na několik takových funkcí a jak je lze efektivně využít při testování metod optimalizace. Každá z těchto funkcí má své specifické charakteristiky, které mohou ovlivnit, jakým způsobem se optimalizační metoda vyvíjí a jak rychle dosahuje optimálních řešení.

Goldstein–Price funkce je příkladem multimodální funkce, která má více než jedno lokální minimum. Tato funkce je definována dvěma proměnnými, a její výraz obsahuje složité trigonometrické a polynomiální komponenty. Tato funkce může být náročná pro optimalizační algoritmy, protože obsahuje několik lokálních minim a jedno globální optimum. Výhodou této funkce je, že testuje schopnost algoritmu vyhnout se místním minimům a najít globální optimum, které je v tomto případě 3.

Rastriginova funkce je známá svou periodickou strukturou, která vytváří množství lokalizovaných minim. Tento typ funkce je obzvlášť náročný pro optimalizaci, protože časté oscilace mezi těmito minimy mohou vést k zacyklení optimalizačních metod v lokálních minimech. Funkce je dvourozměrná, což zjednodušuje vizualizaci, ale její skutečné náročnosti se ukazují při použití v praxi, kdy je potřeba najít globální minimum (v tomto případě 0) mezi mnoha rovnými a strmými vlnami.

Podobně Alpine2 funkce používá součin sinusových funkcí, což činí její optimalizaci ještě složitější, zejména při zpracování více dimenzionálních verzí této funkce. Tento typ funkce testuje citlivost optimalizačních algoritmů na malé změny parametrů a jejich schopnost pracovat s komplexními interakcemi mezi proměnnými.

Každá z těchto funkcí, přestože se na první pohled může jevit jako izolovaný matematický problém, ve skutečnosti testuje klíčové aspekty schopností optimalizační metody, jako je hledání globálního optima, vyhýbání se lokálním minimům a schopnost efektivně prozkoumávat rozsáhlé a složité prostory řešení. Proto je důležité nejen pochopit strukturu jednotlivých funkcí, ale i vědět, jak různé optimalizační techniky reagují na tyto výzvy.

Důležitou součástí porozumění těmto funkcím je i schopnost interpretovat výsledky optimalizace. V některých případech může být dosažení optimální hodnoty velmi obtížné, což je pro algoritmy typu gradientního sestupu nebo evoluční algoritmy skutečná výzva. Kromě toho, výsledky optimalizace mohou značně záviset na počátečních podmínkách a nastavení parametrů, což činí některé funkce více závislé na začátečním odhadu než jiné.

Pokud jde o šíři problémů, se kterými se optimalizační metody potýkají, testování na více dimenzionálních verzích těchto funkcí (například v případě Dixon–Price nebo Hartman6 funkcí) ukazuje, jak náročné může být nalézt globální optimum v problémových prostorech s vysokou dimenzionalitou. Funkce jako Hartman6, která se nachází v šestidimenzionálním prostoru, jsou příkladem problémů, které vyžadují efektivní metody, jež nejen že prozkoumávají prostor, ale i umí správně vybírat optimální směry pro hledání minima.

Jak efektivně optimalizovat drahé černé skříňkové modely pomocí surrogate modelů?

V současné době, kdy inženýrství dosahuje stále větší komplexity a přesnosti, se optimalizace založená na vysokofrekvenční simulaci stává nepostradatelnou součástí vývoje. Pokročilé simulační metody umožňují detailní analýzy reálných aplikací, avšak jsou spojeny s extrémními výpočetními náklady. Častým problémem jsou modely, které jsou multimodální, časově náročné a fungují jako „černé skříňky“ – tedy bez přístupu k jejich vnitřní struktuře či analytickým derivacím. Tyto charakteristiky činí tradiční derivativní optimalizační metody neefektivními, protože vyžadují mnoho výpočtů a jsou navíc závislé na přesnosti derivací, která je u simulací často ovlivněna šumem či nepřesnostmi.

V reakci na tyto výzvy vznikly derivativně nezávislé optimalizační algoritmy, jako jsou evoluční výpočty (EC) nebo metody inteligence hejn (SI), například particle swarm optimization (PSO), grey wolf optimizer (GWO) či differential evolution (DE). Tyto metody nabízejí paralelní průzkum designového prostoru a lepší schopnost vyhnout se lokálním minimům. Jejich nevýhodou však je značná potřeba mnoha vyhodnocení funkce, což u drahých černých skřínkových modelů není přijatelné.

Klíčovým přístupem k omezení výpočetních nákladů je využití surrogate modelů, také nazývaných meta-modely nebo response surface models. Tyto modely jsou vytvořeny na základě omezeného počtu nákladných vzorků, z nichž vytvářejí jednodušší matematické aproximace původního komplexního problému. Mezi nejpoužívanější surrogate modely patří Kriging, radiální báze funkce (RBF) nebo kvadratické regresní modely (QRS). I když tyto modely vždy obsahují určitou predikční chybu, poskytují cenné vodítko, jak efektivněji směřovat optimalizační proces.

Jaký algoritmus je nejúčinnější při optimalizaci náročných černých skříněk?

V oblasti optimalizace černých skříněk, kde jsou výpočty extrémně nákladné a prostor řešení komplikovaný množstvím lokálních minim, se stále více ukazuje výjimečná výkonnost algoritmu MGOSIC. Při porovnání s metodami EGO, MSEGO a SOCE se MGOSIC stabilně dostává blíže k pravému globálnímu optimu zejména u nelineárních funkcí jako SE, Peak, SC a BR. Tyto problémy obsahují relativně méně lokálních minim, a tak je schopnost MGOSIC efektivně je prohledávat zvláště cenná. Jeho výhodou je také minimální počet potřebných iterací, zatímco ostatní algoritmy, především MSEGO, vykazují výrazně vyšší počet volání cílové funkce (NFE).

Naopak u složitějších funkcí s výraznou multimodalitou jako F1 nebo GN, mají EGO a MSEGO omezenou výkonnost. Zajímavým zjištěním však je, že MSEGO, navzdory své větší náročnosti na počet výpočtů, s pomocí více zástupných modelů dokáže dosáhnout kvalitnějších řešení než klasické EGO. To ukazuje, že v určitých případech může zvýšení výpočetní náročnosti přinést vyšší robustnost v hledání globálního optima.

V testech rozšířených na devět různých funkcí se ukazuje konzistentní dominance MGOSIC v rychlosti konvergence. Jeho výkonnost je nejzřetelnější u problémů jako HN6 nebo GF', kde ostatní algoritmy selhávají v dosažení cílových hodnot během stanoveného počtu iterací. Přestože EGO na některých funkcích (např. HN6) vykazuje akceptovatelnou výkonnost, obecně zaostává v rychlosti i přesnosti, zejména na funkcích s vyšší komplexitou prostoru řešení jako GP nebo GF'.

Další úroveň srovnání zahrnuje algoritmy MSSR a HAM, které byly v nedávné době navrženy jako pokročilé přístupy v oblasti stochastické optimalizace. Při testování srovnatelných parametrů (maximální počet vzorků na iteraci definován jako sedm) se ukazuje, že MGOSIC je schopen opakovaně a stabilně dosahovat globálního optima rychleji než oba tyto algoritmy. Například u funkcí jako RS, Schw nebo Levy, kde dochází k výraznému poklesu výkonnosti MSSR a HAM s rostoucí dimenzionalitou problému, MGOSIC zůstává robustní.

Z grafických výstupů iterací jednotlivých algoritmů je patrné, že MGOSIC se dokáže adaptivně vyhýbat lokálním optimům, i když se v některých případech (Peak, GP, F1) krátkodobě "zasekne". Díky svému sofistikovanému systému průzkumu prostoru je však schopen tyto pasti překonat a najít skutečné globální optimum. Naopak HAM často postrádá efektivní strategii průzkumu, což vede k opakovanému neúspěchu při hledání optimálního řešení. MSSR je pak zcela závislý na prediktivní schopnosti modelu Kriging, což jej činí méně flexibilním a náchylným k chybám zejména u problémů s komplexní topologií.

Důležitou roli v úspěšnosti MGOSIC hraje konstrukce zástupných modelů na bázi kvadratické regrese (QRS), která umožňuje přesnější predikci trendu hodnot i v případech silně nelineárních funkcí. To se ukazuje jako rozhodující faktor například u problému RS, kde ostatní algoritmy selhávají navzdory tomu, že funkce obsahuje předvídatelný sestupný trend.

Co je však třeba čtenáři dodat nad rámec těchto experimentálních výsledků, je porozumění samotnému významu kompromisu mezi počtem volání funkce a dosaženou kvalitou řešení. Optimalizace černých skříněk je oblast, kde není možné spoléhat se pouze na konvergenci k optimu — klíčové je, jak rychle a s jakou mírou jistoty se k němu algoritmus přibližuje. MGOSIC zde prokazuje, že správně navržená rovnováha mezi průzkumem a využitím predikční síly zástupných modelů vede ke konzistentně lepším výsledkům.

Také je důležité zdůraznit, že i v případech, kde MGOSIC nedosahuje nejlepších výsledků na první pohled

Jak SCGOSR může zlepšit optimalizaci s omezenými zdroji a výpočetními náklady?

Algoritmus SCGOSR (Surrogate-Based Constrained Global Optimization with Surrogates) vykazuje působivý výkon při řešení složitých optimalizačních úloh s omezenými zdroji a vysokými výpočetními náklady. Tento přístup se ukázal jako efektivní při práci s problémy, které jsou typické pro inženýrský design, kde jsou objektivní funkce a omezení náročné na výpočty. SCGOSR využívá surrogátní modely, konkrétně modely Kriging, které umožňují zrychlit hledání globálního optima bez nutnosti opakovaných nákladných výpočtů skutečných hodnot objektivních funkcí.

Při testování na různých benchmarkových úlohách, jako jsou G4′, G6, G7, G8 a G9, SCGOSR pravidelně dosahuje lepších výsledků než alternativní algoritmy, jako je KCGO (Kriging-based Constrained Global Optimization) a superEGO (Sasena et al., 2002), zejména pokud jde o počet potřebných hodnocení funkcí (NFE). Například na úloze G4′ je SCGOSR schopno nalézt přibližný optimální výsledek s pouhými 24 hodnoceními funkcí, zatímco KCGO potřebuje více než dvojnásobek. Na úloze G9 SCGOSR najde lepší hodnotu než KCGO s menším počtem výpočtů, a to i v případě, že KCGO používá více hodnocení k dosažení optimální hodnoty.

Další analýza ukazuje, že SCGOSR může efektivně řešit problémy s oddělenými přípustnými oblastmi, což je typické pro úlohy s více lokálními optimy nebo složitými omezeními. Experimenty s metodami, jako je "superEGO" a algoritmy inspirované přírodou (např. SA, SQP), prokázaly, že SCGOSR dokáže najít globální optimum, i když začíná s horšími počátečními vzorky. V některých případech, například na příkladu Gomez, SCGOSR sice vyžaduje více hodnocení funkcí než superEGO, ale stále nachází lepší hodnoty v menším počtu iterací.

Testy s různými verzemi SCGOSR, jako je SCGOSR_S1 a SCGOSR_S2, ukazují, že kombinované využívání více podprostorů procházení vyhledávání může vést k lepší efektivitě v některých případech, i když to někdy zvyšuje počet potřebných hodnocení. Rozdělení prostoru na podprostory umožňuje SCGOSR efektivněji se soustředit na oblasti, které mají vysoký potenciál pro zlepšení výsledků, což vede k rychlejšímu dosažení optimálních hodnot.

SCGOSR se vyznačuje stabilitou a flexibilitou, což je zásadní pro řešení náročných optimalizačních problémů. I když kombinování dvou podprostorů může na některých příkladech zvyšovat výpočetní náklady, celkově činí tento přístup optimalizační algoritmus robustnějším a schopným lépe se přizpůsobit různým výzvám, které mohou nastat při řešení problémů s omezenými výpočetními prostředky.

Jak efektivně řešit náročné optimalizační problémy pomocí surrogačních modelů a metod omezené globální optimalizace

V posledních letech se staly náročné black-box optimalizační problémy, zejména ty, které zahrnují složité simulace a vysoké výpočetní náklady, jedním z hlavních témat inženýrské optimalizace. Takové problémy, které jsou charakterizovány náročnými matematickými modely a často složitými omezeními, vyžadují vysoce efektivní metody pro zajištění optimálního řešení při co nejnižších výpočetních nákladech. Množství simulovaných modelů, které jsou nejen náročné na čas, ale i na výpočetní zdroje, znamená, že dosažení požadované přesnosti často vyžaduje značné výpočetní prostředky, což činí tradiční přístupy k optimalizaci neefektivní.

Jedním z nejúčinnějších způsobů řešení těchto problémů je použití surrogačních modelů a metod redukce prostoru, které mohou zlepšit výkon optimalizace a snížit náklady na simulace. V tomto kontextu vznikla metoda SCGOSR (Surrogate-based Constrained Global Optimization using Space Reduction), která představuje revoluční přístup k vysoce náročným optimalizačním problémům. Tato metoda využívá kombinaci surrogačních modelů a prostorového snížení k dosažení optimálních řešení v omezeném čase.

SCGOSR se zaměřuje na efektivní prohledávání designového prostoru rozdělením tohoto prostoru na dva podprostory: Subspace1 a Subspace2. První z nich je oblast, která obklopuje aktuálně nejlepší nalezené řešení, zatímco druhý podprostor zahrnuje regiony, které mohou obsahovat několik slibných řešení. Tato dvě rozdělení prostoru umožňují efektivněji generovat nové kandidáty pro optimální řešení a zajišťují vyšší rychlost konvergence v lokálním rámci optimalizace.

Surrogační modely, které jsou na základě těchto podprostorů konstruovány, hrají klíčovou roli ve zrychlení optimalizačního procesu. Vytvářením lokálních surrogačních modelů pro objektivní funkce a funkce omezení se SCGOSR dostává k lepšímu místnímu zúžení prostoru a tím pádem i k vyšší efektivitě při hledání řešení. Tyto modely nejenom že zlepšují rychlost konvergence, ale také výrazně zkracují dobu potřebnou k vytvoření Krigingových modelů pro hodnoty objektivní funkce a funkcí omezení.

Pro optimální výsledky se SCGOSR střídavě zaměřuje na Subspace1, Subspace2 a celkový prostor návrhu. Jakmile se metoda dostane do lokálního optimálního regionu a splní se kritérium pro zahájení lokální konvergence, SCGOSR přechází k prozkoumání oblastí s řídkými vzorky. Tento přístup poskytuje vysoce efektivní způsob, jak se vyhnout problémům spojeným s lokálními minimy a zaměřit se na skutečně globální optimalizaci.

Optimalizační problémy tohoto typu, kdy objektivní funkce a funkce omezení nejsou analyticky dostupné a jsou časově náročné, patří k největším výzvám moderní inženýrské optimalizace. Přístup, který využívá surrogační modely, nejen že zvyšuje efektivitu optimalizace, ale také otevírá nové možnosti pro řešení problémů, které by jinak byly téměř neřešitelné s tradičními metodami.