Jak zoptymalizować koszty i wydajność podczas trenowania dużych modeli językowych?

Podobnie jak w przypadku innych omawianych metod, LoRA (Low-Rank Adaptation) umożliwia dynamiczne przełączanie pomiędzy dostosowanymi wariantami modelu poprzez proste podmienianie wag LoRA, bez potrzeby ponownego ładowania pełnych parametrów modelu. Przechowując wstępnie wytrenowane wagi w pamięci VRAM, możliwe staje się szybkie ładowanie różnych wariantów modelu bez istotnych strat czasowych. Co więcej, modele LoRA są znacznie mniejsze, a ich trenowanie przebiega szybciej i taniej, ponieważ większość parametrów modelu pozostaje zamrożona – nie zachodzi potrzeba obliczania gradientów dla tych części sieci.

W przypadku ograniczonego budżetu obliczeniowego (co, zgodnie z prawami skalowania, przekłada się na budżet parametrów), konieczne staje się inteligentne rozplanowanie, które wagi powinny być aktualizowane poprzez LoRA, a które mogą pozostać zamrożone. Przeszukiwanie każdej możliwej kombinacji parametrów jest problemem obliczeniowo nierozwiązywalnym. Tu pojawia się AdaLoRA – metoda adaptacyjna, która dynamicznie alokuje budżet obliczeniowy w trakcie treningu poprzez dostosowanie rangi indywidualnych macierzy LoRA.

AdaLoRA dokonuje dekompozycji wag do uczonej wersji SVD (Singular Value Decomposition), ponieważ wykonywanie pełnej SVD na każdym kroku treningu byłoby nieopłacalne. Wartości własne macierzy V wskazują na znaczenie danej macierzy wag, co umożliwia selektywne zachowanie tylko tych wag, które rzeczywiście wpływają na jakość modelu. Kluczowe znaczenie ma tu eliminacja nieistotnych wag, co prowadzi do dalszych oszczędności pamięci i mocy obliczeniowej.

Alternatywą dla LoRA jest QLoRA – technika łącząca podwójną kwantyzację oraz paged optimizers. QLoRA operuje na dwóch typach danych: dane do przechowywania to niskoprecyzyjny format 4-bitowy, natomiast dane do obliczeń to BFloat16. Przy każdym użyciu tensorów QLoRA dochodzi do konwersji do BFloat16 i wykonania mnożenia macierzy w precyzji 16-bitowej. Kluczowe znaczenie ma tu proces podwójnej kwantyzacji (DQ), który kwantyzuje same stałe kwantyzacyjne, dzięki czemu zmniejsza się ogólny ślad pamięciowy modelu.

Drugim elementem QLoRA są tzw. paged optimizers, które wykorzystują funkcję NVIDIA unified memory. W sytuacji, gdy GPU wyczerpie pamięć, dane są automatycznie przenoszone między CPU a GPU bez ingerencji użytkownika. Optymalizatory te alokują stan optymalizacji w pamięci paged, która może być dynamicznie przenoszona do RAM-u CPU w przypadku niedoboru pamięci GPU. Połączenie tych dwóch technik – redukcji precyzji i dynamicznej alokacji pamięci – pozwala efektywnie trenować modele o dużej liczbie parametrów bez obniżenia jakości względem klasycznego LoRA.

Pełne pre-trenowanie lub fine-tuning dużych modeli językowych może być kosztowne w sposób zaporowy. Dlatego metody PEFT (Parameter-Efficient Fine-Tuning) takie jak LoRA, AdaLoRA czy QLoRA stanowią nie tylko optymalizację kosztową, lecz często także jakościową – przewyższając bazową wydajność pełnego trenowania.

Trenowanie modelu LLM o 40 miliardach parametrów, jak np. Falcon 40B, jest doskonałym studium przypadku. Twórcy Falcona trenowali go przez dwa miesiące na 384 GPU typu A100, korzystając z infrastruktury AWS (48 węzłów P4d). Przy godzinowej stawce ponad $37 za instancję, całkowity koszt trenowania przekroczył 2,6 miliona dolarów. Dla porównania, idealny scenariusz przy optymalnym budżecie obliczeniowym (mniej niż bilion tokenów, mniej instancji, lepsze rozłożenie obliczeń) mógłby kosztować poniżej miliona dolarów.

Istotny wpływ ma także objętość danych. Trenowanie na bilionie tokenów, jak w przypadku Falcona, wymaga ogromnych zasobów do pozyskania, przetworzenia i przechowania danych. W praktyce okazuje się, że odpowiednio dobrane i oczyszczone dane (nawet w mniejszej liczbie) mogą dawać lepsze rezultaty. Niestety, kuracja takich zbiorów danych wymaga dużych nakładów pracy ludzkiej i generuje kolejne koszty.

Jak wybrać między RAG a długim kontekstem w LLM?

Wybór między podejściem RAG (Retrieval-Augmented Generation) a modelami LLM z rozszerzonym kontekstem zależy od wielu czynników, w tym wymagań dotyczących wydajności zadania, ograniczeń opóźnienia wnioskowania oraz dostępnych zasobów obliczeniowych. RAG, poprzez efektywne pobieranie specyficznego kontekstu zadania, pozwala na bardziej ekonomiczne wykorzystanie zasobów podczas wnioskowania w porównaniu do rozbudowywania okna kontekstowego w LLM. Z drugiej strony, w przypadku bardziej złożonych zadań, modele LLM z dużym oknem kontekstowym mogą okazać się bardziej odpowiednie, aby uchwycić skomplikowane zależności kontekstowe w bardzo długich sekwencjach.

Połączenie RAG i modeli LLM z długim kontekstem może przynieść korzyści komplementarne – technika wyszukiwania kontekstu umożliwia szybkie pobranie istotnych informacji, a rozszerzone okno kontekstowe lepiej modeluje długozasięgowe zależności. Każdy system RAG opiera się na procesie wyszukiwania, co oznacza, że w przypadku, gdy zadanie wymaga głębokiej analizy długoterminowych zależności kontekstowych, połączenie obu podejść może zaoferować optymalne wyniki.

Ewolucja metod dostarczania kontekstu podkreśla znaczenie tego procesu oraz ciągłe wysiłki w dziedzinie sztucznej inteligencji mające na celu bardziej intuicyjne i produktywne interakcje z LLM. W miarę jak modele ewoluują, techniki i zakres dostarczania kontekstu również się rozwijają, co zmierza ku bardziej efektywnym sposobom interakcji użytkowników z modelami językowymi.

Pomimo wysiłków związanych z dostarczeniem kontekstu w promptach, LLM nadal mogą napotykać pewne ograniczenia w zrozumieniu lub generowaniu odpowiedzi. Istnieje szereg wewnętrznych i zewnętrznych czynników, które wpływają na wydajność modelu. Przede wszystkim, dane treningowe modelu odgrywają kluczową rolę w jego zdolności do rozumienia i precyzyjnego odpowiadania na zapytania. Jeśli model nie był trenowany na odpowiednich lub zaktualizowanych danych związanych z danym tematem, może generować nieprawidłowe lub przestarzałe odpowiedzi.

Kolejnym wyzwaniem jest zdolność modelu do skutecznego przechowywania i wykorzystywania dostarczonego kontekstu w trakcie długotrwałej lub złożonej interakcji. Czynniki zewnętrzne, takie jak długość promptu, jasność używanego języka czy złożoność postawionego pytania, mogą pogłębić te ograniczenia. Na przykład, zbyt rozwlekły lub zawiły prompt może wprowadzić model w błąd, skutkując odpowiedziami ogólnymi lub nieistotnymi. Z drugiej strony, zbyt krótki lub niejasny prompt może nie dostarczyć wystarczających informacji, by model mógł wygenerować odpowiedź spełniającą oczekiwania, nawet jeśli ma zdolność do rozumienia samego tematu.

Ostatecznie, mimo dobrze sformułowanego kontekstu, LLM mogą nadal wykazywać uprzedzenia lub generować nieodpowiednie odpowiedzi, które są efektem uprzedzeń zawartych w danych treningowych. W związku z tym, istotne jest, aby starannie weryfikować odpowiedzi generowane przez LLM, szczególnie w wypadku delikatnych lub krytycznych dziedzin. Świadomość tych ograniczeń i przygotowanie na możliwe błędy jest kluczowe, by efektywnie i niezawodnie wykorzystywać LLM w różnych dziedzinach.

Precyzyjne określenie formatu odpowiedzi stanowi istotny element inżynierii promptów. Określenie pożądanego formatu w promptach pozwala nie tylko na uproszczenie interakcji, ale także na oszczędność zasobów obliczeniowych, co ma istotne znaczenie w kontekście optymalizacji kosztów. W przypadku ekstrakcji danych z dokumentów, precyzyjne określenie formatu odpowiedzi – czy to tabeli, czy formatu JSON – może znacząco przyspieszyć proces oraz zminimalizować potrzebę dodatkowej obróbki wyników. Przykład z raportem finansowym Amazonu, w którym wstępna, ogólna prośba o dane prowadziła do długiego opisu, a doprecyzowanie formatu na tabelę pozwoliło na uzyskanie bardziej zorganizowanej odpowiedzi, stanowi doskonały przykład takiej praktyki. W przypadku bardziej złożonych zapytań, precyzyjne określenie oczekiwanego formatu może zminimalizować liczbę generowanych tokenów, co jest korzystne z punktu widzenia kosztów, zwłaszcza w modelach, gdzie opłaty zależą od liczby przetworzonych tokenów.

Choć poprawienie formatu zapytania nie gwarantuje idealnej odpowiedzi, to z pewnością zwiększa prawdopodobieństwo uzyskania bardziej trafnych, precyzyjnych wyników w krótszym czasie, co w długoterminowym użytkowaniu ma znaczący wpływ na efektywność i koszty.

Rola streszczenia w optymalizacji kosztów i wydajności w systemach LLM i GenAI

Streszczenie danych pozwala na wyciągnięcie z nich najistotniejszych informacji, dzięki czemu model może operować na skondensowanej wersji zbioru danych. Redukcja objętości danych prowadzi do oszczędności obliczeniowych, ponieważ mniej informacji wymaga dalszego przetwarzania w kolejnych etapach. Przykładem może być proces, w którym model LLM odpowiada na pytania z obszernego korpusu dokumentów. Streszczenie tego korpusu pozwala na zmniejszenie objętości danych, które muszą zostać przetworzone, co w efekcie zmniejsza obciążenie obliczeniowe.

Kolejnym aspektem, w którym streszczenie odgrywa ważną rolę, jest przechowywanie danych. Stosowanie streszczeń umożliwia znaczną redukcję przestrzeni wymaganej do przechowywania danych, co przekłada się bezpośrednio na oszczędności kosztów, zwłaszcza w przypadku korzystania z usług chmurowych, gdzie koszty przechowywania danych są istotnym czynnikiem. Dzięki streszczeniu danych, możliwe jest zatem zachowanie istoty informacji, przy jednoczesnym obniżeniu kosztów przechowywania.

Również w kontekście aplikacji downstream (wtórnych) streszczenie danych staje się wartościowym narzędziem. W systemach sztucznej inteligencji, które działają w kilku etapach, dane poddane streszczeniu mogą służyć jako cenne wejście dla kolejnych modeli, przyspieszając czas wnioskowania oraz zmniejszając wykorzystanie zasobów. W szczególności w przypadku systemów, które wykorzystują pamięć podręczną (cache), przechowywanie streszczeń zamiast pełnych dokumentów optymalizuje wykorzystanie tej pamięci i przyspiesza czas odzyskiwania danych. Ma to szczególne znaczenie w przypadku wektorowych baz danych stosowanych w wyszukiwaniu semantycznym czy systemach rekomendacyjnych, gdzie pamięć podręczna streszczonych wektorów umożliwia szybsze obliczenia podobieństwa.

Z perspektywy doświadczenia użytkownika, nawet jeśli streszczenie nie jest końcowym celem aplikacji, to jego zastosowanie przyczynia się do uzyskiwania bardziej zwięzłych i trafnych wyników z modeli LLM. W aplikacjach, gdzie zaangażowanie użytkownika zależy od trafności i zwięzłości informacji, takie podejście może być kluczowe.

Ponadto, warto zrozumieć, że sama redukcja danych nie oznacza utraty ich jakości. Wręcz przeciwnie, proces streszczenia pozwala na koncentrację na najistotniejszych aspektach informacji, co często prowadzi do lepszej precyzji w wynikach generowanych przez model. Współczesne technologie pozwalają na elastyczne zarządzanie danymi, a streszczenie staje się jednym z najistotniejszych narzędzi w tym procesie, które umożliwia nie tylko oszczędności, ale również poprawę jakości działania systemów opartych na AI.

Jak algorytmy optymalizacji hiperparametrów i narzędzia przyspieszające wnioskowanie wpływają na wydajność modeli językowych

Kluczowym elementem omawianego procesu jest argument algo, ustawiony na tpe.suggest, który odnosi się do Estymatora Parzenowego o Strukturze Drzewa (TPE). TPE to algorytm używany do optymalizacji hiperparametrów, który wyróżnia się efektywnością, zwłaszcza w przestrzeniach o wysokiej wymiarowości. Działa na bazie podejścia bayesowskiego, wykorzystując dane z poprzednich prób do aktualizacji swoich przekonań o przestrzeni hiperparametrów i dobierania nowych hiperparametrów poprzez balansowanie eksploracji z eksploatacją. Takie podejście zapewnia, że algorytm nie tylko próbuje nowych kombinacji hiperparametrów, ale także koncentruje się na najbardziej obiecujących obszarach. TPE wykorzystuje ograniczoną liczbę ocen, co pozwala na efektywne badanie przestrzeni. Wykorzystywanie losowej eksploracji (lub, co gorsza, wyczerpującego przeszukiwania) oznaczałoby konieczność przeprowadzenia tysięcy wdrożeń wnioskowania i testowania ich w procesie rozwoju, zanim uda się określić ostateczną konfigurację wnioskowania.

Argument max_evals w funkcji fmin jest ustawiony na 100, co definiuje maksymalną liczbę ocen, które będą przeprowadzone przez funkcję celu. Oznacza to, że Hyperopt przetestuje 100 różnych zestawów hiperparametrów, aby znaleźć optymalną kombinację. Cały ten proces prowadzi do optymalizacji, gdzie Hyperopt iteracyjnie ocenia funkcję celu z różnymi hiperparametrami wyciągniętymi z określonej przestrzeni. TPE działa jak przewodnik w tym poszukiwaniach, z ostatecznym celem odkrycia hiperparametrów, które minimalizują straty, a tym samym optymalizują wydajność modelu lub systemu.

Kolejne parametry obejmują flagi optymalizacji pamięci, takie jak low_cpu_mem_usage i paged_attention, a także metody kwantyzacji, takie jak bitsandbytes8 i smoothquant, które są badane pod kątem ich wpływu na wydajność. Parametry te razem stanowią kompleksową przestrzeń poszukiwań, mającą na celu zidentyfikowanie konfiguracji, która pozwala modelowi językowemu generować tekst z możliwie najwyższą prędkością. Linia na wykresie, oznaczona odcieniami od czerwieni do niebieskiego, ilustruje przejście przez różne kombinacje hiperparametrów, gdzie najczerwieńsze linie odpowiadają wyborom parametrów, które doprowadziły do najwyższego TPS. Najwyższa wartość TPS wynosi 83, co sugeruje bardzo wysoką efektywność generowania tekstu przy tych specyficznych ustawieniach.

Optymalizacja konfiguracji sprzętowej ma również ogromne znaczenie. Na przykład w przypadku modelu Llama 2, najlepiej sprawdziła się konfiguracja z użyciem silnika MPI, 256 tokenów wstępnych dla "rolling batch", strategią dekodowania typu contrastive, zrównoważoną mapą urządzeń, ustawionym parametrem low CPU memory usage na false, włączoną Paged Attention i brakiem kwantyzacji. Do takiej konfiguracji doszło po 100 ocenach, z których część prowadziła do nieudanych punktów wnioskowania. Więcej ocen pozwala na głębszą eksplorację przestrzeni projektowej, co może prowadzić do uzyskania jeszcze lepszej wydajności TPS.

W kontekście przyspieszania wnioskowania na procesorach CPU, Numenta we współpracy z Intelem wykazała znaczne przyspieszenie w działaniu LLM na procesorach Intel Xeon czwartej generacji, osiągając nawet 20-krotne zwiększenie wydajności w przetwarzaniu dużych dokumentów w porównaniu z implementacjami na procesorach AMD Milan. Dla aplikacji NLP ma to kluczowe znaczenie, ponieważ oferuje to efektywną i kosztową alternatywę w porównaniu do tradycyjnych procesów wykonywanych na CPU, które były wcześniej uznawane za wyzwaniem. DeepSparse, narzędzie opracowane przez Neural Magic, oferuje runtime wnioskowania, który dostarcza wydajność na poziomie GPU przy architekturach CPU. To rozwiązanie jest szczególnie istotne, ponieważ umożliwia uruchamianie zaawansowanych, otwartych modeli językowych na dostępnych maszynach, bez konieczności inwestowania w kosztowny sprzęt GPU.

Jak zrównoważyć wydajność i koszty w kontekście dużych modeli językowych (LLM)?

Wybór odpowiedniego modelu językowego (LLM) do konkretnego zadania nie jest prostą decyzją. Często zależy od specyficznych wymagań zadania oraz od tego, jaką równowagę chce się osiągnąć między dokładnością, złożonością a kosztami finansowymi. Należy tu uwzględnić różne aspekty adaptacji modeli do specyficznych zadań, co było omawiane w rozdziale 2. Kluczowe techniki takie jak inżynieria zapytań (prompt engineering), fine-tuning oraz destylacja wiedzy odgrywają istotną rolę w procesie dostosowywania modelu do potrzeb.

Inżynieria zapytań pozwala efektywnie kierować odpowiedziami modelu, co poprawia jego wydajność bez potrzeby rozległego ponownego trenowania. Fine-tuning natomiast polega na dopasowaniu modelu do specyficznych zadań, ale wiąże się to z dodatkowymi kosztami związanymi z koniecznością pozyskania specjalistycznych danych treningowych oraz zasobów obliczeniowych. Ważne jest również zrozumienie, że dostosowanie modelu do wąskich dziedzin czy zadań może znacząco poprawić wydajność w tych obszarach, ale jednocześnie ogranicza ogólną wszechstronność modelu, co może prowadzić do tzw. katastrofalnego zapomnienia (catastrophic forgetting).

W kontekście przedsiębiorstw i aplikacji, w których elastyczność jest kluczowa, decyzja o specjalizacji modelu powinna uwzględniać ten kompromis pomiędzy wydajnością a uniwersalnością. W tym przypadku destylacja wiedzy stanowi rozwiązanie pośrednie, umożliwiając zmniejszenie rozmiaru modelu i jego wymagań obliczeniowych przy jednoczesnym zachowaniu znacznej części jego zdolności.

Oczywiście, fine-tuning może znacząco poprawić wyniki modelu, ale wymaga to dużych i różnorodnych zbiorów danych, które są kosztowne w przygotowaniu. Budowa wysokiej jakości zbiorów danych do trenowania dużych modeli językowych, jak omówiono w rozdziale 5, to proces wieloaspektowy, który wymaga znacznych zasobów. Kluczowym elementem w tym procesie jest zaangażowanie specjalistów do etykietowania danych, co jest pracochłonnym zadaniem wymagającym wiedzy eksperckiej w danej dziedzinie.

Ważnym elementem jest także ciągłe monitorowanie i aktualizacja zbiorów danych, co wymaga regularnej opinii od użytkowników i eksperckiej interwencji w celu dostosowania wyników modelu do zmieniającego się użycia języka i norm społecznych. Proces ten jest iteracyjny, co oznacza, że należy go regularnie nadzorować, aby utrzymać odpowiednią jakość i trafność modelu. Dodatkowo, znaczące inwestycje w infrastrukturę technologiczną są niezbędne do sprawnego przechowywania i przetwarzania ogromnych zbiorów danych.

Koszt wdrożenia LLM nie ogranicza się tylko do wydatków na obliczenia. Uwzględnia także koszty związane z przetwarzaniem danych wejściowych i wyjściowych, utrzymaniem procesów szkolenia oraz hostingiem, jak opisano w rozdziale 5. Koszty te mogą się znacznie różnić w zależności od złożoności aplikacji AI, która jest wdrażana. Choć początkowe inwestycje w trening i dostosowanie modelu mogą być znaczne, trzeba również wziąć pod uwagę długoterminowe koszty związane z utrzymaniem modelu i jego codziennym użytkowaniem. Ostatecznie decyzja o wyborze modelu zależy od odpowiedniego bilansu między kosztami początkowymi a kosztami operacyjnymi.

Wszystkie te decyzje muszą być podejmowane w kontekście odpowiedzialności wobec środowiska, które może ponieść znaczące koszty związane z intensywnym zużyciem energii, emisjami dwutlenku węgla i problemem e-odpadów. Szkolenie dużych modeli językowych wiąże się z ogromnym zapotrzebowaniem na energię. Przykładowo, badanie przeprowadzone przez Uniwersytet Massachusetts Amherst oszacowało, że trening dużego modelu językowego może emitować ponad 626 000 funtów dwutlenku węgla, co odpowiada emisjom pięciu samochodów przez całe ich życie. Dodatkowo, modele takie jak GPT-3 wymagają ogromnych zasobów elektrycznych, co nie pozostaje bez wpływu na środowisko naturalne.

Istnieje kilka środków, które mogą pomóc zminimalizować te negatywne skutki. Przykładowo, algorytmy i hardware o wysokiej efektywności energetycznej, zastosowanie odnawialnych źródeł energii w centrach danych czy techniki kompresji modeli mogą ograniczyć zużycie energii i emisję gazów cieplarnianych. Zmniejszenie rozmiaru modeli może również wpłynąć na obniżenie kosztów energetycznych, jednocześnie utrzymując wysoką jakość wyników. Warto również podkreślić, że w miarę rozwoju technologii AI coraz bardziej istotne staje się rozważenie alternatyw, które zmniejszą wpływ sztucznej inteligencji na środowisko.

Endtext