Jakie wyzwania stawia przed nami zrozumienie wideo w kontekście modeli multimodalnych?

Multimodalne modele językowe stają się kluczowym narzędziem w rozwoju rozumienia wideo, łącząc tekst, obraz, dźwięk i mowę w jedną spójną całość. Jednym z najważniejszych aspektów tego podejścia jest stworzenie reprezentacji przestrzenno-czasowych, które pozwalają na bardziej zaawansowane zadania związane z analizą wideo. Z tego punktu widzenia, rozwój modeli, które potrafią zrozumieć nie tylko pojedyncze elementy, ale również ich interakcje w czasie, stanowi ogromne wyzwanie.

Przełomowym krokiem w tym kierunku jest zastosowanie trzech głównych strategii treningowych, które umożliwiają skuteczne rozwiązywanie problemów związanych z multimodalnym przetwarzaniem wideo. Pierwsza z nich, maskowane modelowanie wideo, pozwala na przewidywanie brakujących elementów wideo, co przyczynia się do lepszego uchwycenia jego struktury. Drugą strategią jest uczenie przez kontrast w różnych modalnościach, które umożliwia wyciąganie zależności między różnymi typami danych, takich jak obraz i tekst. Trzecią strategią jest przewidywanie następnego tokenu, które jest kluczowe w kontekście sekwencyjnego rozumienia wideo, w którym każdy kolejny obraz, dźwięk czy tekst ma wpływ na interpretację całego materiału.

Jednym z najistotniejszych elementów w tym podejściu jest akcentowanie spójności spatiotemporalnej, czyli zdolności modelu do rozumienia, jak różne elementy wideo współistnieją w przestrzeni i czasie. Aby to osiągnąć, kluczowe staje się zastosowanie zaawansowanej segmentacji semantycznej wideo, która pozwala na wyodrębnienie istotnych elementów obrazu i dźwięku. Dodatkowo, generowanie multimodalnych opisów wideo, które obejmują zarówno obrazy, jak i dźwięki oraz mowę, stanowi kolejny krok ku pełniejszemu zrozumieniu materiału. Dzięki temu możliwe staje się osiąganie wysokich wyników w zadaniach związanych z rozumieniem długich form wideo oraz wideo–tekstowym dopasowywaniu, które jest niezbędne do prawidłowego przetwarzania materiałów wideo w kontekście naturalnych interakcji.

Modele tego typu mają ogromny potencjał w tworzeniu zaawansowanych systemów dialogowych, które mogą rozumieć nie tylko tekst, ale i kontekst wideo, a także w rozwiązywaniu problemów związanych z analizą rozbudowanych sekwencji wideo. Dzięki wykorzystaniu rozbudowanej architektury, która obejmuje do 6 miliardów parametrów, możliwe jest uzyskanie imponujących rezultatów, które wykraczają poza tradycyjne podejścia w analizie wideo. Tego rodzaju modele pozwalają na zaawansowane wnioskowanie, które jest niezbędne w kontekście tworzenia sztucznej inteligencji zdolnej do interpretacji i przetwarzania wideo na najwyższym poziomie.

Pomimo ogromnych postępów w tej dziedzinie, ważne jest, aby pamiętać, że skuteczne rozumienie wideo nie polega jedynie na analizie pojedynczych modalności, ale na ich współpracy w ramach jednego systemu. Każdy typ danych (obraz, tekst, dźwięk) wnosi coś unikalnego, ale dopiero ich wzajemne powiązania umożliwiają pełne zrozumienie treści. W związku z tym, kluczowe jest dalsze doskonalenie metod łączenia tych danych, co pozwala na wyciąganie bardziej zaawansowanych wniosków z materiału wideo.

Modele takie jak te stanowią fundamenty rozwoju sztucznej inteligencji, zdolnej do głębszego przetwarzania i rozumienia materiałów multimedialnych. Ostatecznym celem jest stworzenie systemów, które potrafią nie tylko przetwarzać dane wideo, ale również angażować się w interakcje na poziomie, który jest porównywalny z ludzką zdolnością do rozumienia i komunikowania się w oparciu o różne modalności.

Jak modele napędzane tekstem rewolucjonizują generowanie ruchów 3D ludzi?

Modele oparte na tekście, które generują ruchy 3D postaci ludzkich, stanowią jedną z najbardziej fascynujących i przełomowych technologii współczesnej sztucznej inteligencji. Połączenie analizy tekstu z generowaniem ruchów pozwala na tworzenie realistycznych animacji bez potrzeby tradycyjnego modelowania, a tym samym otwiera nowe możliwości w różnych dziedzinach – od gier komputerowych po medycynę. Celem tych rozwiązań jest umożliwienie maszynom rozumienia i interpretowania tekstowych opisów w sposób, który pozwala na odwzorowanie naturalnych, złożonych ruchów w przestrzeni 3D. W tej dziedzinie kluczową rolę odgrywają nowe modele sieci neuronowych, które wykorzystują ogromne zbiory danych, aby nauczyć się precyzyjnego odwzorowywania interakcji między tekstem a ruchem.

W ostatnich latach nastąpił ogromny postęp w tej technologii, zwłaszcza dzięki zastosowaniu rozwiązań opartych na modelach diffuzji. Modele oparte na dyfuzji, które wcześniej były szeroko stosowane w generowaniu obrazów, teraz znalazły swoje zastosowanie również w generowaniu ruchów 3D. Tego rodzaju systemy uczą się na podstawie tekstów opisujących różne postawy, gesty i czynności, które są następnie przekładane na realistyczne sekwencje ruchów. Modele takie jak "Text-Driven Motion Diffusion" pozwalają na wysoce precyzyjne tworzenie animacji postaci na podstawie prostych tekstowych opisów, takich jak "tańczący mężczyzna w garniturze" czy "kobieta wykonująca ruchy jogi".

Z perspektywy praktycznej, kluczowym elementem tych systemów jest zdolność do przetwarzania skomplikowanych, wielowarstwowych informacji zawartych w opisach tekstowych i przełożenia ich na szczegółowe, dynamiczne obrazy. Wymaga to nie tylko dokładnego rozumienia semantyki tekstu, ale także umiejętności odwzorowywania złożonych interakcji w przestrzeni 3D, takich jak proporcje ciała, postawy, dynamika ruchu, a także korelacja między różnymi etapami ruchu. W tym celu wykorzystywane są zaawansowane sieci neuronowe oraz techniki takie jak transfer wiedzy z dużych zbiorów danych, które pozwalają na tworzenie coraz bardziej zaawansowanych animacji.

W kontekście generowania ruchu 3D, równie istotnym elementem jest zaawansowane dopasowywanie ruchów do tekstu. Modele takie jak Retrieval-Augmented Motion Generation umożliwiają wzbogacenie procesu generowania poprzez wykorzystanie wcześniej zebranych danych o ruchach, które są "wyciągane" z dużych zbiorów treści wizualnych i tekstowych. Dzięki temu, ruchy mogą być bardziej naturalne, a postacie w animacjach mogą zachowywać się w sposób, który jest bardziej zgodny z oczekiwaniami i normami kulturowymi związanymi z danym kontekstem.

Co więcej, w najnowszych badaniach pojawia się także koncepcja "fine-grained text-driven generation", czyli tworzenie animacji z większą precyzją, która uwzględnia subtelności w opisie tekstowym. Przykładowo, jeśli tekst zawiera specyficzne informacje o postawie ciała czy szczegółach wykonywanego ruchu, model jest w stanie odwzorować te niuanse w generowanej animacji. Tego typu podejście umożliwia tworzenie niezwykle złożonych i realistycznych sekwencji, które wcześniej wymagałyby zaawansowanego modelowania ręcznego.

Choć technologia ta jest jeszcze w fazie intensywnego rozwoju, jej potencjał w praktycznych zastosowaniach jest ogromny. Możliwość generowania realistycznych animacji ruchów na podstawie tekstowych opisów otwiera drzwi do nowych aplikacji w branży filmowej, gier komputerowych, wirtualnej rzeczywistości, a także w naukach biomedycznych, gdzie tego rodzaju technologie mogą zostać wykorzystane do analizy i symulacji ruchów ciała ludzkiego w kontekście rehabilitacji.

Z perspektywy użytkownika, ważne jest zrozumienie, że proces generowania ruchu 3D na podstawie tekstu to wciąż w dużej mierze eksperymentalna dziedzina, która wymaga dalszych badań nad doskonaleniem precyzyjności generowanych animacji. Ruchy, choć coraz bardziej realistyczne, wciąż mogą zawierać pewne niedoskonałości, zwłaszcza w przypadku złożonych i dynamicznych sekwencji. Technologia ta wciąż ma do pokonania wyzwania związane z pełnym odwzorowaniem emocji, intencji czy interakcji postaci w bardziej skomplikowanych kontekstach.

Przyszłość tej technologii wiąże się z dalszym rozwojem zarówno w zakresie modelowania ruchów, jak i w zakresie integracji różnych źródeł danych, takich jak zdjęcia, filmy czy interakcje w czasie rzeczywistym. Z czasem, po pokonaniu obecnych trudności, systemy te staną się jeszcze bardziej precyzyjne i efektywne, umożliwiając generowanie ruchów, które będą praktycznie nieodróżnialne od rzeczywistych.

Jak poprawić wydajność modeli wizji-języka przy użyciu lekkich adapterów?

W kontekście adaptacji modeli wizji-języka, jednym z głównych wyzwań jest efektywne łączenie dwóch różnych modalności: obrazu i tekstu. Modele takie jak CLIP (Contrastive Language-Image Pretraining) otworzyły nowe możliwości w zakresie klasyfikacji wizualnej i rozumienia semantycznego dzięki połączeniu wizualnych reprezentacji obrazów z tekstami. Chociaż CLIP osiąga imponującą wydajność w zadaniach zerowej próby, istnieje wciąż ogromny potencjał do poprawy wyników w kontekście nielicznych prób (few-shot learning). Jednym z nowych podejść w tym zakresie jest wykorzystanie lekkich adapterów, które umożliwiają efektywne dostosowanie modeli do konkretnych zadań bez konieczności pełnego ich przetrenowania.

Jednym z głównych osiągnięć w tej dziedzinie jest wprowadzenie metod takich jak Tip-Adapter i jego zaawansowana wersja Tip-Adapter-F, które pozwalają na szybkie dostosowanie modeli CLIP do różnych zadań, minimalizując przy tym czas treningu i zasoby obliczeniowe. Tip-Adapter-F, w odróżnieniu od innych metod, takich jak CoOp czy CLIP-Adapter, wprowadza dodatkową warstwę optymalizacji przez zamrożenie tylko części kluczowych parametrów modelu. Dzięki temu wystarcza jedynie 20 epok, aby osiągnąć wyniki na poziomie najlepszych metod, jak CoOp, które wymagają nawet 200 epok. Dzięki temu zyskujemy znacznie większą efektywność treningu, przy jednoczesnym zachowaniu wysokiej dokładności.

Wyniki eksperymentów wskazują, że podejście to jest nie tylko szybkie, ale i wszechstronne. Tip-Adapter i jego wersja Fine-Tuned stanowią praktyczne rozwiązanie do wydajnego uczenia się na niewielkiej liczbie przykładów. Porównanie wyników osiąganych przez różne metody, zaprezentowane w tabelach, ujawnia wyraźny kompromis między dokładnością, efektywnością treningu oraz szybkością wnioskowania, co sprawia, że te adaptery stają się cennym narzędziem w optymalizacji modeli wizji-języka.

W przypadku metod opartej na fine-tuningu, jak Tip-Adapter, szczególne znaczenie ma architektura modelu. W typowym podejściu, jak w przypadku CLIP, model jest trenowany w sposób kontrastywny na parze obraz-tekst, co pozwala na wyuczenie reprezentacji wizualnych w przestrzeni semantycznej. Po przeprowadzeniu takiego procesu, model jest w stanie wykonać klasyfikację zerowej próby, dopasowując obrazy do tekstów za pomocą wspólnej przestrzeni osadzeń. Jednakże, dla bardziej specyficznych zadań, jak klasyfikacja obrazów w określonej dziedzinie, konieczne staje się dostosowanie modelu do nowych danych.

Tip-Adapter i jego wariant Tip-Adapter-F wprowadzają subtelną zmianę – zamiast fine-tuningu całego modelu, stosują one lekkie adaptery, które są dodatkowo trenowane w celu optymalizacji reprezentacji na wybranym zadaniu. Tego typu rozwiązanie jest szczególnie użyteczne w sytuacjach, gdy chcemy uniknąć kosztów pełnego przetrenowania modelu, co jest czasochłonne i zasobochłonne. Adaptery te pozwalają na koncentrację na kluczowych elementach modelu, które odpowiadają za reprezentację obrazu, podczas gdy reszta struktury pozostaje zamrożona, co znacznie obniża koszty obliczeniowe.

Podobnie jak w przypadku innych metod takich jak CoOp, które optymalizują ciągłe promptowanie, czy CLIP-Adapter, który wprowadza nowe elementy do modelu, adaptery oparte na fine-tuningu pozwalają na elastyczne dostosowanie architektury modelu, ale w sposób znacznie bardziej zasobooszczędny. Warto zwrócić uwagę, że takie podejście nie tylko poprawia dokładność, ale również szybkość inferencji, co czyni je użytecznym w systemach wymagających szybkich odpowiedzi.

Równocześnie, warto zauważyć, że chociaż podejście oparte na adapterach wydaje się prostsze i bardziej efektywne, to nie jest jedyną możliwą ścieżką. Inne techniki, takie jak optymalizacja promptów czy transfer uczenia, wciąż mają swoje miejsce w obszarze adaptacji modeli wizji-języka. Transfer learning, zwłaszcza w kontekście modeli pretrenowanych na dużych zbiorach danych, daje możliwość szybkiego adaptowania do nowych zadań z minimalnym nakładem pracy. Jednak metoda adapterów, choć może wydawać się mniej zaawansowana, stanowi interesującą alternatywę, której efektywność wciąż rośnie w miarę dalszych eksperymentów i optymalizacji.

Należy również podkreślić, że jednym z kluczowych aspektów przy wdrażaniu takich rozwiązań jest równowaga między szybkością trenowania a uzyskiwaną dokładnością. Modele takie jak Tip-Adapter-F oferują szybkie dostosowanie, które w wielu przypadkach okazuje się wystarczające, nie wymagając przy tym kosztownego pełnego przetrenowania. Warto rozważyć takie podejście, zwłaszcza w kontekście aplikacji wymagających wysokiej wydajności obliczeniowej, gdzie czas treningu może stanowić istotne ograniczenie.

Jakie wyzwania stoją przed modelami wzrokowo-językowymi (VLM)?

Współczesne modele wzrokowo-językowe (VLM), które łączą obrazki, wideo i tekst w jednolitą reprezentację, stanowią fundament rozwoju sztucznej inteligencji w wielu dziedzinach. Te modele wymagają jednak przezwyciężenia szeregu wyzwań algorytmicznych i obliczeniowych, które mają na celu zapewnienie skuteczności i wszechstronności w zrozumieniu złożonych danych multimodalnych. Do najważniejszych wyzwań należy zaliczyć mostkowanie różnicy między modalnościami, projektowanie odpowiednich architektur, dostosowanie do zadań specyficznych oraz zapewnienie interpretowalności i wyjaśnialności decyzji podejmowanych przez modele.

Pierwszym i jednym z najtrudniejszych wyzwań jest rozbieżność pomiędzy modalnościami wizualnymi a językowymi. Obrazy i wideo kodują informacje o przestrzeni i percepcji za pomocą pikseli, podczas gdy język jest z natury symboliczny i abstrakcyjny. Zbudowanie modelu, który skutecznie połączy te różne typy danych, stanowi nie tylko techniczny, ale i teoretyczny problem. Efektywne modele łączą wizualne i tekstowe reprezentacje w jedną przestrzeń za pomocą metod takich jak kontrastowe uczenie maszynowe, co pozwala na wzajemne powiązanie obrazów i tekstów. Jednak niełatwo jest uzyskać solidne dopasowanie, zwłaszcza gdy dane są niejednoznaczne lub fragmentaryczne. Na przykład słowo "jaguar" może odnosić się zarówno do zwierzęcia, jak i do samochodu, co wymaga od modelu rozpoznania kontekstu wizualnego oraz wskazówek językowych.

Kolejnym istotnym wyzwaniem jest projektowanie architektur modeli, które będą w stanie przetwarzać i integrować informacje z bardzo różnych źródeł. W przeciwieństwie do modeli jednowymiarowych, VLM muszą radzić sobie z danymi obrazowymi, tekstowymi czy wideo, a także z ich złożoną interakcją. W ostatnich latach modele takie jak CLIP z powodzeniem łączą różne modalności przy pomocy specyficznych enkoderów. Również pojawienie się transformatorów znacząco zmieniło krajobraz uczenia multimodalnego, umożliwiając modelom przetwarzanie danych sekwencyjnych z różnych źródeł. Niemniej jednak, transformery wymagają dużych zasobów obliczeniowych, co może być problematyczne, zwłaszcza w przypadku długich sekwencji.

Dostosowanie modeli VLM do konkretnych zadań jest również wyzwaniem. Te modele zawierają miliony, a nawet miliardy parametrów, co czyni je wyjątkowo potężnymi, ale także podatnymi na problem nadmiernego dopasowania do danych treningowych. Istnieją metody fine-tuningu, takie jak uczenie oparte na promptach czy dostosowywanie adapterów, które pomagają w efektywnym dostosowaniu modeli do specyficznych zadań. Jednak nie wszystkie te techniki oferują wystarczającą zdolność generalizacji, co jest kluczowe w kontekście zadań wymagających elastyczności w różnych dziedzinach.

Interpretable learning, czyli zdolność do wyjaśnienia, jak model podejmuje decyzje, jest niezmiernie ważna w kontekście zastosowań modelów VLM wrażliwych na skutki swoich decyzji, jak np. w medycynie, autonomicznych pojazdach czy systemach monitoringu. Tradycyjne metody, takie jak mapy uwagi, okazują się niewystarczające, ponieważ nie wyjaśniają one, dlaczego konkretne regiony obrazu są uznawane za istotne. Z tego powodu badania nad wyjaśnialnością modeli VLM stają się kluczowym obszarem w kontekście zapewnienia ich zaufania i transparentności w bardziej krytycznych aplikacjach.

W obliczu wyzwań związanych z klasycznym uczeniem maszynowym, wyzwaniem jest również zapewnienie ciągłego uczenia. Modele VLM muszą mieć zdolność adaptacji do zmieniających się warunków, które nie były obecne w danych początkowych. W przypadku modeli stosowanych w pojazdach autonomicznych, takich jak systemy rozpoznawania znaków drogowych, wymagają one ciągłego dostosowywania do nowych, dynamicznych warunków. Problem ten dotyczy również innych dziedzin, takich jak monitorowanie środowiska czy analiza medyczna.

Nie mniejsze wyzwanie stanowi wykorzystanie zamkniętych modeli, które nie udostępniają pełnej dokumentacji swoich parametrów i architektury, jak np. GPT-4 czy inne systemy komercyjne. Modele te, mimo swojej efektywności, nie pozwalają na pełną adaptację do specyficznych zadań. Z tego powodu powstają techniki tzw. "czarnej skrzynki", gdzie użytkownicy mogą wchodzić w interakcję z modelami za pomocą interfejsów API, nie mając dostępu do samego modelu ani jego parametrów. Tego typu rozwiązania wiążą się z dużymi kosztami i czasem poświęconym na inżynierię promptów, co utrudnia pracę badaczom i deweloperom.

Problemy związane z obliczeniami stanowią również kluczowy element w kontekście skalowalności VLM. Modele tego typu wymagają olbrzymich zasobów obliczeniowych, zarówno w trakcie treningu, jak i podczas używania. Efektywność obliczeniowa jest niezbędna nie tylko w kontekście samego procesu nauki, ale i przy zastosowaniach w rzeczywistych systemach, gdzie zasoby obliczeniowe są ograniczone. Ważnym krokiem w kierunku rozwiązywania tych problemów jest opracowywanie metod optymalizacji, które zmniejszą czas potrzebny na trenowanie oraz używanie modeli VLM przy zachowaniu ich wysokiej jakości.

VLM to modele, które mogą radykalnie zmienić sposób, w jaki komputer rozumie świat, łącząc obrazy, tekst i wideo w jedną, spójną całość. Niemniej jednak, ich rozwój wiąże się z wieloma trudnościami, które wymagają zaawansowanych metod obliczeniowych i nowatorskich podejść do projektowania algorytmów. Rozwój tej dziedziny wymaga od badaczy i inżynierów stałego poszukiwania nowych rozwiązań, które nie tylko poprawią działanie tych systemów, ale również umożliwią ich bezpieczne i etyczne zastosowanie w praktyce.

Jak modele wizualno-językowe radzą sobie z kalibracją pewności i wykrywaniem niepewności?

Kalibracja pewności oraz detekcja niepewności stanowią kluczowe wyzwania w dziedzinie sztucznej inteligencji, szczególnie w kontekście modeli wizualno-językowych. Modele te, wykorzystywane do łączenia danych wizualnych i tekstowych, mają potencjał do rozwiązywania szerokiego zakresu problemów, od rozpoznawania obiektów po generowanie opisów obrazów. Jednak aby mogły działać skutecznie w różnych, nieznanych kontekstach, muszą zostać odpowiednio skalibrowane, by uniknąć błędów wynikających z nadmiernej pewności przy podejmowaniu decyzji na podstawie niepełnych lub błędnych danych.

Problem ten szczególnie uwidacznia się w obszarze tak zwanych modeli "zero-shot", które muszą dokonywać predykcji na podstawie danych, których nie widziały w trakcie treningu. Takie modele, mimo swojej elastyczności, mogą być podatne na problemy związane z "przesunięciem" rozkładów danych, co prowadzi do błędnych wniosków. W kontekście kalibracji, najważniejsze jest odpowiednie dostosowanie modelu, aby potrafił ocenić własną pewność względem różnych wyników.

Wielu badaczy poświęciło się doskonaleniu metod kalibracji, które są w stanie poprawić działanie takich modeli w sytuacjach, gdy rozkład danych w testach odbiega od tych, na których model był trenowany. Jednym z podejść jest tzw. "temperature scaling", który polega na regulacji współczynnika temperatury w funkcji aktywacji modelu, co umożliwia lepsze rozróżnienie pomiędzy różnymi klasami i precyzyjniejsze określenie pewności predykcji. Istnieją również bardziej zaawansowane techniki, takie jak adaptacyjne dostosowanie temperatury w zależności od specyfiki danych wejściowych, co pozwala modelowi lepiej dostosować się do zmieniających się warunków.

Jednym z najnowszych trendów w tym obszarze jest wykorzystanie tzw. prompt tuning, czyli dostosowywania "wskazówek" (promptów) w interakcjach między tekstem a obrazem, w celu lepszego zarządzania niepewnością. Modele uczące się z takich "wskazówek" mają na celu poprawienie interpretacji obrazów w kontekście złożonych zapytań tekstowych, co może zminimalizować błędy wynikające z niezrozumienia kontekstu.

W szczególności modele takie jak CLIP (Contrastive Language–Image Pre-training) zyskują coraz większą uwagę, ponieważ łączą możliwość rozumienia tekstu z analizą wizualną. Jednym z problemów, który jednak pojawia się w takich modelach, jest wykrywanie, czy dany obraz rzeczywiście pochodzi z tego samego rozkładu danych, na którym model był trenowany. W takich przypadkach często konieczne jest wprowadzenie dodatkowych mechanizmów, które pozwalają modelowi rozpoznać tzw. "out-of-distribution" (OOD) dane, czyli dane, które nie są reprezentowane w zbiorze treningowym.

Dodatkowo, jednym z najważniejszych wyzwań związanych z kalibracją modeli jest kwestia błędów systematycznych, które mogą powstać w wyniku niewłaściwego dostosowania parametrów modelu. Takie błędy są szczególnie niebezpieczne, gdy model działa w zastosowaniach krytycznych, takich jak opieka zdrowotna czy autonomiczne pojazdy, gdzie błędna decyzja może prowadzić do poważnych konsekwencji.

Nie mniej istotne jest także zarządzanie "biasami" (stronniczościami) w kalibracji, które mogą wynikać z nierównowagi danych treningowych. Modele często lepiej radzą sobie z rozpoznawaniem tych klas, które są przeważające w zbiorze danych, co prowadzi do nadmiernej pewności w przypadku mniejszych klas. Aby temu zapobiec, stosuje się techniki, które umożliwiają bardziej równomierne traktowanie różnych kategorii, np. poprzez zastosowanie metod takich jak "outlier detection" (wykrywanie odstających danych) w procesie kalibracji.

W kontekście rozwoju tych technologii, kluczowe staje się także zrozumienie, że samo szkolenie modelu to tylko część procesu. Ważnym elementem jest również jego ciągła weryfikacja i adaptacja w realnych warunkach, gdzie model często napotyka dane, których nie przewidziano w fazie szkolenia. Aby więc modele wizualno-językowe mogły być skutecznie wykorzystywane w szerokim zakresie zastosowań, muszą być nie tylko precyzyjne, ale i elastyczne, zdolne do adaptacji i samodzielnego rozpoznawania swojej niepewności.