Jak efektivně vybrat body v návrhovém prostoru pro optimalizaci modelu?

V rámci návrhu experimentů pro datově řízenou optimalizaci je klíčové pochopit vztah mezi počtem dimenzí návrhového prostoru a počtem návrhových bodů. Vzorec $m = \prod q(i)$, kde $q(i)$ značí počet návrhových bodů v i-té dimenzi, ukazuje, jak dramaticky může růst počet potřebných bodů s rostoucím počtem dimenzí. Tato vlastnost činí některé tradiční metody, jako je plný faktoriální návrh, v praxi téměř nepoužitelnými pro větší systémy.

Při výběru vhodné metody návrhu experimentu je třeba zvážit tři základní faktory: nákladnost jednotlivého experimentu, velikost návrhového prostoru a povahu aproximačního modelu, který má být vytvořen. V situacích, kde jsou experimenty nákladné, je výhodné volit metody generující menší počet vzorků. Naopak, pokud jsou experimenty levné nebo čistě numerické, je možné využít metody, které generují hustší síť bodů — například Grid Sampling (GS).

GS pokrývá návrhový prostor rovnoměrně, ale jeho nevýhodou je rychle rostoucí počet bodů s dimenzionalitou systému. Příklad s 225 body (15 úrovní na dimenzi) ukazuje extrémní výpočetní náročnost. Alternativou je metoda Latin Hypercube Sampling (LHS), která rozděluje každou dimenzi do m stejně velkých intervalů a do každého z nich umisťuje právě jeden vzorek, přičemž žádné dva vzorky se neopakují ve stejné řádce ani sloupci.

LHS zachovává náhodnost a zároveň zajišťuje rovnoměrné pokrytí prostoru, což jej činí vhodným pro kontinuální návrhové problémy. Lze jej dále upravit na tzv. optimalizované LHS (OLHS), kde se volí vzorky tak, aby bylo dosaženo rovnoměrnější distribuce. Kritériem pro výběr může být např. max–min strategie, kde se minimalizuje vzdálenost mezi nejbližšími dvojicemi bodů a zároveň maximalizuje tato minimální vzdálenost. Tato metoda umožňuje výběr z velké množiny vzorků (například z 225 bodů vybrat 25 tak, aby byly co nejrovnoměrněji rozmístěny).

Efektivní výběr bodů je iterativní proces: vnější smyčka maximalizuje minimální vzdálenost, zatímco vnitřní smyčka prohledává kombinace pro dosažení tohoto maxima. Výsledkem je postupné rovnoměrnější rozmístění vzorků v návrhovém prostoru, což přispívá k lepší generalizaci modelu a efektivnější optimalizaci.

Dalším rozšířením je Symetrické Latin Hypercube Sampling (SLHS), který zavádí symetrii vzorků vůči středu návrhového prostoru. Při použití sudého počtu bodů jsou tyto body rozmístěny párově symetricky, zatímco při lichém počtu bodů je jeden bod umístěn ve středu a zbytek opět v párech kolem něj. Tento přístup zlepšuje homogenitu rozložení a zvyšuje robustnost aproximace.

Významným posunem v praxi je využití evolučních algoritmů k optimalizaci výběru bodů v rámci OLHS. Například genetický algoritmus (GA-OLHS) nebo stochastický evoluční algoritmus (ESEA-OLHS) umožňují cíleně optimalizovat rozmístění bodů podle zvoleného kritéria (např. entropy principle nebo centered discrepancy). Cílem je maximalizovat informační hustotu rozložení vzorků a minimalizovat korelaci mezi nimi. Míra informační hodnoty vzorků se měří pomocí Shannonovy entropie – čím nižší hodnota, tím přesnější je přenesená informace. Minimalizace entropie návrhové matice tedy vede k optimálnímu rozmístění bodů z hlediska získání co nejvíce relevantních dat.

Korelační matice $R$ mezi jednotlivými vzorky slouží jako základní nástroj pro výpočet informačních kritérií. Minimalizace výrazu $-\log_{10} R$ se tak stává cílem při určování optimálního rozmístění vzorků v návrhovém prostoru.

Je důležité si uvědomit, že volba konkrétní metody návrhu experimentu není izolovaný krok, ale součást širšího rámce návrhu celého optimalizačního procesu. Správně zvolený návrh datových bodů přímo ovlivňuje kvalitu aproximačního modelu a tím i efektivitu a úspěšnost celé optimalizace.

Je nutné také chápat, že rovnoměrnost rozmístění není sama o sobě zárukou kvality modelu. Reálné systémy často obsahují oblasti s vyšší variabilitou odezvy nebo silně nelineárními závislostmi, kde je vhodné použít adaptivní vzorkování, které dynamicky přizpůsobuje hustotu bodů podle potřeby. V takových případech může být klasické LHS či OLHS jen počátečním krokem, který musí být doplněn o adaptivní či sekvenční strategie založené na předchozím vývoji modelu.

Jak lze efektivně optimalizovat nákladné multimodální problémy pomocí surrogate modelů a klastrování?

V oblasti komplexních multidisciplinárních návrhů čelíme častému problému optimalizace nákladných černých skříněk (Expensive Black-Box Optimization Problems, EBOP), které vyžadují značné výpočetní a hardwarové zdroje. Tyto problémy jsou typicky nelineární, často mají více lokálních optim a jejich vyhodnocení bývá časově i finančně náročné. Proto je klíčové omezit počet vyhodnocení cílových a omezujících funkcí, označovaný jako NFE (Number of Function Evaluations).

Tradiční globální optimalizační algoritmy inspirované přírodou, jako jsou genetické algoritmy (GA), algoritmy hejna částic (PSO) či novější metody jako Gray Wolf Optimizer (GWO), jsou schopné řešit i složité nelineární problémy, ale často vyžadují značné množství hodnocení funkcí, což není u nákladných EBOP prakticky přijatelné. Tyto metody pracují s populací řešení a pomocí evolučních či sociálních principů postupně zlepšují kvalitu návrhů, avšak při vysoké nákladnosti vyhodnocení dochází k exponenciálnímu nárůstu celkové výpočetní zátěže.

K překonání této překážky byly vyvinuty surrogate modely, které umožňují efektivní aproximaci nákladných funkcí. Mezi nejpoužívanější techniky patří Kriging, který využívá prostorovou korelaci vzorků k přesnému interpolování, a Radial Basis Functions (RBF), které poskytují hladkou aproximaci funkce. Surrogate-based optimalizační algoritmy, jako například Efficient Global Optimization (EGO), kombinují predikční nejistotu modelu a nejlepší nalezené hodnoty k výběru nových vzorků optimalizací tzv. funkce očekávaného zlepšení (Expected Improvement, EI). Další metody, jako AQUARS nebo AMGO, kombinují různé surrogate modely a adaptivně upravují váhy modelů, aby minimalizovaly počet nákladných vyhodnocení a zároveň maximalizovaly přesnost.

U neomezených EBOP byly tyto metody úspěšné, nicméně při aplikaci na problémy s omezeními zůstává stav věci náročný. Evoluční algoritmy pro omezenou optimalizaci existují, ale z důvodu vysokého NFE jsou často nepraktické. Některé novější přístupy, například COBRA nebo Extended ConstrLMSRBF, využívají dvoufázový proces: nejdříve rychle nalézt přípustné řešení a následně ho lokalizovat směrem k optimu. Jiní autoři zavedli probabilistické metody pro redukci redundantních omezení, ovšem tyto metody jsou citlivé na hustotu vzorků v dané oblasti.

Pro řešení multimodálních a/nebo omezených EBOP byl vyvinut nový algoritmus SOCE (Surrogate-based Optimization with Clustering-based Exploration). SOCE kombinuje dvě surrogate modely – Quadratic Response Surface (QRS) a Kriging – které se liší v charakteru aproximace. Ke každému modelu je přiřazen vhodný optimalizátor: QRS je doplněn o multi-start lokální optimalizaci, zatímco Kriging využívá globální optimalizátor GWO. Multi-start přístup vyžaduje, aby se shromážděné vzorky nacházely ve vzájemné vzdálenosti, čímž se zajišťuje rozmanitost nalezených lokálních optim.

Klíčovou inovací SOCE je metoda průzkumu prostoru založená na k-means klastrování, která rozděluje návrhový prostor do podprostorů. Následně iterativně vybírá vzorky, které jsou vzdáleny od středů klastrů, čímž je umožněno efektivní prohledávání méně prozkoumaných oblastí a tím i potenciálních nových optimálních řešení. Kromě toho SOCE nabízí dvě varianty penalizačních funkcí, které umožňují efektivně zpracovávat omezené EBOP, což představuje významný posun oproti dosavadním metodám.

Při práci s surrogate modely je nezbytné pochopit jejich inherentní omezení a silné stránky. Kriging poskytuje přesné interpolace s kvantifikací nejistoty, což umožňuje strategické vybírání nových vzorků, zatímco QRS modely mohou být efektivnější pro rychlé aproximace, ale hůře zvládají komplikované nelinearity. Rozhodnutí, jaký model a jaký optimalizátor použít, závisí na povaze problému, dostupných zdrojích a požadované přesnosti.

Dále je důležité mít na paměti, že efektivní optimalizace EBOP nezávisí pouze na výběru surrogate modelů a algoritmů, ale také na správném návrhu experimentů a reprezentativním vzorkování prostoru návrhů. Klastrování a řízení rozmanitosti vzorků jsou klíčové prvky, které zabraňují předčasné konvergenci k suboptimálním řešením a umožňují objevovat nové perspektivní oblasti v prostoru řešení.

Navíc, zvláštní pozornost je třeba věnovat omezením v optimalizaci. Přesné zpracování a redukce redundantních či nesmyslných omezení může významně snížit výpočetní náročnost a zvýšit efektivitu algoritmu. Tím se také rozšiřují možnosti aplikace surrogate-based metod i na reálné průmyslové problémy s komplexními podmínkami.

Jak efektivně řešit složité problémy optimalizace s omezeními a vysokými náklady na výpočty?

V oblasti optimalizace s omezeními a náročnými výpočty se stále hledají nové, efektivní metody, které umožní dosáhnout globálně optimálních řešení s minimálními výpočetními náklady. Tradiční metody optimalizace, zejména ty, které se opírají o algoritmy evoluční optimalizace a diferenciální evoluci (DE), mají své limity, zejména při aplikaci na složité a nákladné simulační modely. Wang a Cai (2012) vyvinuli metodu CMODE, která spojuje vícerozměrnou optimalizaci s diferenciální evolucí a používá nižší počet parametrů pro ladění a efektivně nahrazuje nefeasible (neproveditelné) řešení. Takové metody jsou cenné, ale jejich efektivita je často omezena výpočetními nároky.

V roce 2016 Wang a kolegové představili nový přístup založený na integraci pravidel proveditelnosti s informacemi o cílových funkcích (FROFI). Tento přístup se ukázal jako silný nástroj pro generování slibných potomků a dosažení globálního prozkoumání prostoru hledání, což je klíčové pro efektivní optimalizaci v reálných problémech. Avšak i v tomto případě existují výzvy, zejména u výpočtově náročných úloh.

Současné metody, jako jsou algoritmy stochastické optimalizace (SI) a evoluční výpočetní algoritmy (EC), se ukázaly jako účinné pro řešení složitých úloh černé skříňky, ale stále se potýkají s vysokými náklady na vyhodnocení funkce. Často může jedna simulace trvat minuty nebo hodiny, což ztěžuje použití tisíců hodnocení simulace a výrazně prodlužuje dobu návrhu. Při těsných časových limitech na uvedení produktu na trh je nezbytné mít optimalizační metody, které vyžadují méně volání k výpočetně náročným modelům.

Dong, Li a jejich kolegové (2018) vyvinuli metodiku globální optimalizace založenou na více surrogátních modelech (MGOSIC), která používá Kriging, radiační základní funkce (RBF) a polynomické odpovědní plochy (PRS) k vytváření dynamicky aktualizovaných surrogátních modelů. Tento přístup zahrnuje skóre na základě infill kriteria, které pomáhá vybírat vzorky s nejvyššími skóre, což vede k efektivnějšímu hledání globálního optimálního řešení. Problémem však může být neschopnost těchto metod aplikovat na problémy s omezeními (EBCPs – expensive black-box problems with constraints), což je jeden z hlavních směrů výzkumu.

Regis (2011) vyvinul metodu ConstrLMSRBF pro omezené lokalizované metriky, která používá RBF modely pro cílové funkce i funkce omezení. Tato metoda je schopna efektivně zpracovávat EBCPs, ale stále závisí na počátečním vzorku, který musí být proveditelný, což může být v praxi problém, pokud nelze zjistit proveditelné řešení v počáteční fázi. Liu a kolegové (2017) vylepšili přístup eDIRECT-C, který využívá Voronoiho diagramu pro oddělené zpracování proveditelných a neproveditelných buněk, ale tato metoda má také omezení v čase výpočtu, což ji činí nevhodnou pro velké a vícerozměrné problémy s mnoha omezeními.

Jedním z nejnovějších pokroků v oblasti optimalizace s omezeními je metoda SCGOSR (Dong, Song, Dong, 2018), která využívá redukci prostoru pro efektivní hledání řešení. Použití Krigingových modelů a několika startů optimalizačních strategií KTLBO se ukázalo jako slibné při zlepšování výkonu na benchmarkových případech. Avšak výkonnost metody je silně závislá na kvalitě předpovědi Krigingu, což může vést k chybnému nasměrování algoritmu a špatným výsledkům.

KTLBO, který byl vyvinut pro optimalizaci s omezeními, se zaměřuje na kombinování výhod predikčních mechanismů Krigingových modelů a struktury výuky a učení známé z pedagogických studií (Rao et al., 2011). Tento přístup kombinuje dva fáze vyhledávání: fázi výuky, kdy je prostřednictvím optimálního vzorkování prozkoumána místní oblast a fázi učení, která se zaměřuje na globální prozkoumání prostoru s ohledem na nejistotu předpovědí Krigingu. Tento přístup je schopen efektivně řešit složité optimalizační problémy, kde jsou funkce omezení a cílové funkce náročné na výpočty.

Další důležitý aspekt pro čtenáře je porozumět výhodám a nevýhodám různých metod v konkrétních aplikacích. Například metody jako FROFI nebo SCGOSR mohou být efektivní při hledání globálních optimalizací v problémech s omezeními, avšak jejich úspěšnost závisí na specifických parametrech a vlastnostech modelu. Čtenář by měl mít na paměti, že každá metoda má své limity a že při použití v praxi je důležité zvážit komplexitu modelu a výpočetní náklady.