Jak wykorzystać niesuperwizowaną wizję komputerową w systemach kosmicznych: Estymacja pozycji statków kosmicznych i monitorowanie zdrowia infrastruktury

Współczesne systemy kosmiczne, w tym satelity i pojazdy międzyplanetarne, stają przed rosnącymi wyzwaniami związanymi z precyzyjną percepcją ich pozycji oraz interakcjami z otoczeniem. Jednym z najważniejszych elementów jest zrozumienie położenia obiektów w przestrzeni oraz zdolność do monitorowania infrastruktury kosmicznej. Tradycyjne metody bazujące na nadzorowanym uczeniu maszynowym wymagają ogromnych zbiorów danych z etykietami, co stawia poważne wyzwania w kontekście eksploracji kosmosu. Odpowiedzią na te problemy jest rozwój niesuperwizowanej wizji komputerowej, która ma potencjał, by zrewolucjonizować sposób, w jaki statki kosmiczne i inne systemy są w stanie postrzegać swoje otoczenie, identyfikować obiekty oraz monitorować zmiany w strukturze lub stanie infrastruktury.

Przełomowe podejście: Niesuperwizowane uczenie maszynowe

Tradycyjne algorytmy wizji komputerowej opierają się na dużych zbiorach danych treningowych, które są ręcznie oznaczone, co wymaga ogromnych zasobów czasowych i finansowych. W przeciwieństwie do tego, niesuperwizowane uczenie maszynowe, które nie wymaga takich etykiet, staje się coraz bardziej obiecującym podejściem w kontekście systemów kosmicznych. Zastosowanie tego podejścia w systemach kosmicznych może znacząco poprawić efektywność operacyjną, pozwalając na szybszą adaptację do zmieniających się warunków środowiskowych oraz złożonych scenariuszy, takich jak detekcja nowych obiektów w przestrzeni kosmicznej.

W szczególności w przypadku satelitów, które muszą radzić sobie z różnymi zakłóceniami (np. drganiami) i zmiennymi warunkami oświetleniowymi, niesuperwizowane algorytmy mogą szybko dostosować się do nowych, nieznanych wzorców, co pozwala na bardziej precyzyjne estymacje pozycji oraz diagnostykę układów. Algorytmy te opierają się na detekcji i analizie cech obrazów, takich jak krawędzie, tekstury i inne unikalne właściwości obiektów w przestrzeni.

Estymacja pozycji statków kosmicznych

Jednym z kluczowych wyzwań w kontekście technologii kosmicznych jest precyzyjna estymacja pozycji statku kosmicznego. Tradycyjne metody, takie jak wykorzystanie systemów nawigacji opartych na GPS, nie znajdują zastosowania w przestrzeni kosmicznej, gdzie brak jest tradycyjnych sygnałów. W związku z tym, naukowcy zaczęli badać wykorzystanie wizji komputerowej do tego celu. Niesuperwizowane podejście umożliwia identyfikację cech charakterystycznych w obrazach pozyskiwanych przez kamery umieszczone na pokładzie statku, pozwalając na ustalenie jego pozycji w przestrzeni bez potrzeby nadzoru ze strony zewnętrznego.

Wykorzystanie technik takich jak głębokie uczenie do oceny "wibracji" (ang. jitter) statków kosmicznych może pomóc w uzyskaniu bardziej dokładnych wyników w porównaniu do tradycyjnych algorytmów. Dzięki temu możliwe staje się monitorowanie i prognozowanie ruchów statku w czasie rzeczywistym, co jest niezbędne do zapewnienia bezpieczeństwa misji kosmicznych. Zastosowanie modelów takich jak sieci neuronowe czy Generative Adversarial Networks (GAN) pozwala na bardziej efektywną analizę zakłóceń oraz szumów w danych obrazowych.

Wyzwania detekcji obiektów w przestrzeni

Kolejnym istotnym obszarem, w którym niesuperwizowane podejście do wizji komputerowej znajduje zastosowanie, jest detekcja obiektów w przestrzeni kosmicznej. Obserwacja nieco odległych, nieznanych obiektów, takich jak asteroid, ciał niebieskich czy pozostałości po eksplozjach, jest kluczowa dla bezpieczeństwa misji oraz dla badań naukowych. Tradycyjne metody detekcji obiektów wymagają często dużych zbiorów danych, które muszą być ręcznie klasyfikowane. Niesuperwizowane podejście może pomóc w identyfikacji obiektów, których charakterystyki są nieznane, co ma istotne znaczenie dla misji badawczych w mniej zbadanych częściach kosmosu.

Monitorowanie zdrowia infrastruktury

Zastosowanie niesuperwizowanej wizji komputerowej nie ogranicza się tylko do statków kosmicznych. Istnieje również ogromny potencjał w monitorowaniu stanu infrastruktury kosmicznej, takiej jak satelity czy stacje orbitalne. Ocenianie stanu technicznego za pomocą kamery i zaawansowanego przetwarzania obrazu pozwala na wykrycie uszkodzeń, zużycia materiałów lub innych problemów, które mogą wpłynąć na bezpieczeństwo misji. Tego rodzaju techniki mogą zostać zastosowane do analizy "punktów przelotowych" – zbiorów danych 3D, które w połączeniu z algorytmami wizji komputerowej pomagają wykrywać, analizować i prognozować uszkodzenia infrastruktury na dużych odległościach.

Transmisja wiedzy z przestrzeni na Ziemię

Kolejnym wyzwaniem, które pojawia się w kontekście przestrzeni kosmicznej, jest efektywne przekazywanie danych z misji kosmicznych na Ziemię. W tym przypadku również niesuperwizowane algorytmy mogą odegrać kluczową rolę w analizie danych z dużych zbiorów danych pozyskanych podczas misji. Wykorzystanie transferu wiedzy między różnymi dziedzinami (np. z przestrzeni kosmicznej do monitorowania zdrowia infrastruktury na Ziemi) staje się coraz bardziej powszechne, a możliwości zastosowań są ogromne.

Zrozumienie "niewidocznych" aspektów misji kosmicznych

Należy również zaznaczyć, że nowoczesne podejścia oparte na niesuperwizowanej wizji komputerowej oferują szersze możliwości detekcji niewidocznych, a nawet pozornie nieistniejących obiektów w przestrzeni. Dzięki zaawansowanym algorytmom, które potrafią analizować dane z różnych źródeł, takich jak obrazy z kamer, dane z czujników, a także informacje z innych platform, można wykrywać anomalie, które w tradycyjnych warunkach mogłyby zostać przeoczone. Zdolność do przewidywania i identyfikowania nowych zagrożeń w przestrzeni jest kluczowa, zwłaszcza w kontekście bezpieczeństwa misji kosmicznych.

Jak skutecznie poprawić jakość obrazów satelitarnych przy pomocy technologii kompensacji drgań?

Zjawisko drgań statków kosmicznych, w tym zmiany postawy (ang. jitter), stanowi jedno z głównych wyzwań w analizie obrazów satelitarnych. Tego rodzaju zakłócenia mogą prowadzić do powstawania widocznych artefaktów, takich jak pasma na zdjęciach, które pogarszają ich jakość i dokładność analizy. Jednak dzięki nowoczesnym technologiom, takim jak kompensacja jittera oparta na wielomodalnej fuzji danych, możliwe jest znaczne poprawienie jakości obrazów.

W kontekście tej technologii, zastosowanie podejścia wielomodalnej fuzji pozwala na połączenie danych z różnych źródeł, takich jak obrazy wielospektralne i dane z trackerów gwiazd, w celu uzyskania dokładniejszych wyników w procesie estymacji drgań. Z kolei zastosowanie zaawansowanych algorytmów uczenia maszynowego, takich jak XGBoost, pozwala na uzyskanie wyjątkowej precyzji, szczególnie w przypadku małych przemieszczeń, które stanowią większość zakłóceń w rzeczywistych warunkach.

Warto zauważyć, że wykorzystanie wielomodalnych źródeł informacji może znacznie zwiększyć odporność na hałas. Dzięki zastosowaniu odpowiednich filtrów, jak np. filtr H.∞, można zintegrować różne źródła pomiarów w sposób optymalny, co prowadzi do lepszej stabilności i konwergencji estymacji. Taki proces pozwala na usunięcie okresowych wahań jasności i przywrócenie geometrii obrazów, co jest kluczowe w kontekście dalszych analiz przestrzennych i czasowych.

Eksperymentalne testy przeprowadzone z użyciem danych z systemu ASTER/SWIR wykazały, że stosowanie zaproponowanej metody pozwala na obniżenie błędu estymacji jittera o 44%, co przekłada się na istotne poprawienie jakości geometrycznej i radiometrycznej skorygowanych obrazów. Tego rodzaju podejście jest szczególnie wartościowe, gdy mamy do czynienia z archiwalnymi danymi, które nie były pierwotnie przystosowane do dokładnego pomiaru drgań.

Jednakże należy również pamiętać o pewnych ograniczeniach tej technologii. Przede wszystkim, faza treningu wymaga znacznych zasobów obliczeniowych, chociaż sama inferencja jest stosunkowo szybka. Ponadto, systemy trackerów gwiazd bazują na konieczności widoczności przynajmniej jednej odpowiedniej gwiazdy w każdej klatce obrazu, co w zależności od kierunku wskazania i warunków atmosferycznych może nie zawsze być możliwe. Ograniczenie to może mieć wpływ na skuteczność procesu estymacji, zwłaszcza w przypadku obrazów wykonanych w trudnych warunkach oświetleniowych.

Również tempo rejestracji obrazu stanowi pewne ograniczenie. Nowoczesne systemy starają się utrzymać częstotliwość pomiarów na poziomie 10-100 Hz, co może ograniczać rozdzielczość czasową, w której możliwe jest dokładne wykrywanie zmian postawy statku kosmicznego.

Zastosowanie fuzji wielomodalnych danych może być także pomocne przy przetwarzaniu danych z satelitów, które nie dysponują dedykowanymi systemami pomiaru drgań, rozszerzając tym samym zakres dostępnych danych do celów naukowych i operacyjnych. W przyszłości warto rozważyć integrację dodatkowych źródeł informacji, takich jak pomiary żyroskopowe czy modele dynamiki strukturalnej, które mogłyby jeszcze bardziej poprawić dokładność i rozdzielczość czasową szacowania drgań.

Dalszy rozwój algorytmów uczenia maszynowego, w tym rozbudowa bardziej zaawansowanych architektur sieci neuronowych, może umożliwić bezpośrednie uczenie się parametrów jittera z surowych danych sensorów, bez konieczności uprzedniego projektowania cech. Dzięki temu możliwe stanie się jeszcze dokładniejsze modelowanie i kompensacja zakłóceń, co stanowi obiecujący kierunek rozwoju w dziedzinie analizy obrazów satelitarnych.

Jak modelowanie przyczynowe poprawia detekcję kraterów na planetach?

W kontekście detekcji kraterów na planetach, kluczowe jest zrozumienie, jak różnorodne zmienne wpływają na uzyskiwane wyniki. W tym przypadku modelowanie przyczynowe odgrywa istotną rolę w radzeniu sobie z fałszywymi korelacjami, które mogą występować między cechami obrazu a specyficznymi cechami domeny. Aby uniknąć wpływu zmiennych związanych z warunkami akwizycji obrazu, model przyczynowy wyraźnie rozróżnia zmienne dotyczące treści (strukturę kraterów) oraz zmienne związane z akwizycją (specyficzne warunki obrazowania). Dzięki temu model może skupić się na cechach kraterów, które są niezależne od domeny, ignorując czynniki zakłócające. Kluczowym elementem tego podejścia jest interwencja przyczynowa, która skutecznie eliminuje bezpośredni wpływ zmiennych akwizycji na reprezentacje cech.

Taki model opiera się na operatorze do, który formalizuje koncepcję interwencji w ramach wnioskowania przyczynowego. Dzięki tej interwencji usuwane są fałszywe korelacje między zmiennymi akwizycji a cechami kraterów, co prowadzi do bardziej trafnych wyników detekcji, jak pokazano na rysunku 3.5. Zastosowanie tego podejścia w praktyce pozwala na dokładniejsze wykrywanie cech kraterów w różnych warunkach obrazowania, co jest nieocenione w badaniach planetarnych.

Po wykryciu kraterów, ich precyzyjna lokalizacja staje się niezbędna, zwłaszcza w zastosowaniach takich jak nawigacja czy wybór miejsc lądowania. Ocena wydajności lokalizacji jest przeprowadzana za pomocą błędu średniokwadratowego (MSE) w odniesieniu do pozycji i promieni kraterów, zarówno w współrzędnych obrazu, jak i współrzędnych rzeczywistych (długość/szerokość geograficzna). Dodatkowo, ocena wydajności systemu obejmuje standardowe metryki detekcji, takie jak precyzja, czułość, wynik F1 oraz średnia precyzja (AP).

Aby zmierzyć różnice między danymi źródłowymi i docelowymi, wykorzystywana jest miara o nazwie Maximum Mean Discrepancy (MMD), która jest niena-parametrycznym wskaźnikiem odległości pomiędzy rozkładami prawdopodobieństwa. MMD pozwala na ilościowe określenie odległości między rozkładami cech, co jest szczególnie ważne w kontekście dopasowywania modelu do różnych danych planetarnych.

W badaniach eksperymentalnych CraterNet, model został oceniony przy użyciu dwóch zestawów danych planetarnych: DeepMoon (zawierających obrazy kraterów na Księżycu) jako domenę źródłową oraz obrazy DEM Merkurego jako domenę docelową. Taki układ eksperymentalny odzwierciedla realistyczny scenariusz aplikacyjny międzyplanetarny, gdzie okrągłe kratery Księżyca służą jako dane treningowe do wykrywania eliptycznych kraterów na Merkurym.

W eksperymentach nad nauką nadzorowaną, CraterNet osiągnął znakomite wyniki, przewyższając istniejące architektury detekcji, takie jak YOLOv4, Faster R-CNN, FCOS czy DETR. Model uzyskał wynik F1 równy 0.786 oraz średnią precyzję (AP) na poziomie 0.804, co stanowi najlepszy wynik spośród testowanych metod. Co szczególnie istotne, model osiągnął wyjątkową dokładność lokalizacji, osiągając subpikselową precyzję dla środków i promieni kraterów w współrzędnych obrazu, co przełożyło się na minimalne błędy w rzeczywistych współrzędnych geograficznych.

Również różne architektury CNN zostały ocenione w kontekście detekcji kraterów, z najlepszymi wynikami uzyskanymi przy użyciu architektury ResNext. Z kolei w porównaniu do tradycyjnych metod detekcji, takich jak LunaNet czy pyCDA, nowoczesne podejście oparte na głębokim uczeniu przewyższa je zarówno pod względem precyzyjności, jak i dokładności lokalizacji.

W przypadku zastosowania modelu na danych z planety Merkury, bez przeprowadzania adaptacji do domeny, wyniki były znacznie gorsze. Model osiągnął AP na poziomie zaledwie 0.536, co wskazuje na znaczną różnicę między danymi z Księżyca a danymi z Merkurego. Kratery na Merkurym mają eliptyczny kształt, co jest wynikiem innych kątów obrazowania oraz cech uderzenia meteorów. Po zastosowaniu pełnej adaptacji do domeny, wydajność modelu znacząco poprawiła się, a AP wzrosło do 0.753, co stanowi redukcję luki domenowej o około 87%.

Ostatecznie, eksploracja ciał niebieskich i detekcja cech powierzchniowych na innych planetach staje się jednym z najbardziej ambitnych wyzwań współczesnej nauki. Kratery, jako charakterystyczne punkty odniesienia, odgrywają kluczową rolę w nawigacji statków kosmicznych, wyborze miejsc lądowania i badaniach geologicznych. Tradycyjne metody detekcji, które opierały się na ręcznym wykrywaniu i pomiarach, były czasochłonne i podatne na błędy. Wraz z rozwojem technologii sztucznej inteligencji i wizji komputerowej, pojawiły się zautomatyzowane systemy detekcji, które obiecują większą efektywność i niezawodność.

Zaawansowane podejścia oparte na głębokim uczeniu, takie jak model CraterNet, otwierają nowe możliwości w kontekście wykrywania kraterów na powierzchniach planetarnych, zarówno w warunkach nadzorowanych, jak i bez nadzoru. Ostatecznie, takie technologie stanowią fundament przyszłych misji kosmicznych i mogą przyczynić się do lepszego zrozumienia geologii innych planet.

Jak efektywnie stosować niekontrolowaną adaptację domeny w kontekście różnorodnych danych obrazowych?

W dziedzinie obrazowania przestrzennego oraz technologii związanych z systemami satelitarnymi, jednym z najistotniejszych wyzwań jest skuteczne dopasowanie danych z różnych platform i różnych modalności – na przykład z systemów radarowych (SAR) i optycznych. Takie dopasowanie jest kluczowe w wielu zastosowaniach, od monitorowania zmian na powierzchni ziemi po precyzyjne mapowanie geograficzne. Jednym z najnowszych podejść do rozwiązania tego problemu jest niekontrolowana adaptacja domeny (Unsupervised Domain Adaptation, UDA), która pozwala na przeniesienie wiedzy z danych oznakowanych w jednej domenie (np. RadarSat/Planet) do danych nieoznakowanych w innej domenie (np. Sentinel-1/2), bez konieczności ręcznego oznaczania nowych danych.

Istotą tego podejścia jest opracowanie metod, które radzą sobie z ogromnymi różnicami w wyglądzie obrazów uzyskanych z różnych sensorów i technologii, takich jak radar i obrazowanie optyczne. Podstawowym problemem jest rozbieżność w reprezentacjach obrazów, zarówno pod względem geometrii (obrót, skalowanie), jak i charakterystyki radiometrycznej (różnice w jasności, kontrastach). Nasza propozycja, bazująca na specjalistycznych architekturach, które uczą się reprezentacji odpornych na te zmiany, daje rewelacyjne wyniki w takich warunkach.

W eksperymentach przeprowadzonych na danych z systemów RadarSat/Planet oraz Sentinel-1/2, nasza metoda wykazała się wyraźnie lepszą wydajnością niż tradycyjne podejścia. Na przykład, w przypadku obrotów obrazów, nasza metoda osiągnęła średni błąd L2 na poziomie 1.442 pikseli, podczas gdy konkurencyjne techniki (takie jak e2cnn czy RotEqNet) notowały błędy rzędu 16.426 i 19.224 pikseli. Również w przypadku skalowania obrazów nasza technika osiągnęła znacznie mniejsze błędy, co dowodzi jej skuteczności w radzeniu sobie z różnicami w jakości obrazów pochodzących z różnych platform.

Jednym z kluczowych elementów tej technologii jest możliwość wykorzystania metod takich jak self-learning oraz histogram matching. Samodzielne uczenie pozwala na poprawienie modelu poprzez wykorzystanie pseudo-etykiet dla danych z docelowej domeny, co skutkuje znaczną redukcją błędów w przypadku trudniejszych przykładów. Metoda dopasowywania histogramu pomaga z kolei w eliminowaniu różnic w radiometrii między obrazami, co skutkuje poprawą wyników w zakresie precyzyjnego dopasowania obrazów.

Dodatkowo, rozszerzanie danych (data augmentation) jest kluczową techniką, umożliwiającą symulowanie różnorodnych warunków obrazowania, które mogą wystąpić w prawdziwych scenariuszach operacyjnych, a tym samym poprawia zdolność modelu do generalizacji na nowe, nieznane wcześniej dane. Ta metoda jest szczególnie efektywna, gdy dane dostępne do treningu są ograniczone, co jest typowe w przypadku obrazowania z różnych satelitów.

Nie mniej ważną techniką okazała się fuzja wielorozdzielczościowa, która pozwala na efektywne łączenie informacji z obrazów o różnych rozdzielczościach, co jest niezbędne w przypadku różnic w jakości obrazów pochodzących z różnych systemów satelitarnych. Ta metoda znacząco poprawia dokładność rejestracji, osiągając wyniki porównywalne z tymi uzyskanymi w ramach uczenia nadzorowanego, mimo braku jakichkolwiek adnotacji w domenie docelowej.

Wszystkie te elementy razem wzięte dają potężne narzędzie do rozwiązania problemów związanych z dopasowywaniem obrazów pochodzących z różnych źródeł. Nasze badania pokazują, że kluczową zaletą podejścia, które proponujemy, jest zdolność do eliminowania zarówno różnic w modalności (np. pomiędzy obrazami radarowymi a optycznymi), jak i różnic w platformach (np. pomiędzy systemami RadarSat/Planet a Sentinel-1/2), co stanowi fundament skutecznej adaptacji w kontekście obrazowania przestrzennego.

Pomimo że rozwiązania oparte na tradycyjnych metodach wyodrębniania cech, takich jak BRISK, SURF czy Phase Correlation, mogą działać w dobrze kontrolowanych warunkach, ich skuteczność w przypadku różnorodnych danych z różnych systemów jest ograniczona. Metody oparte na adaptacji domeny, takie jak ADDA czy MMD, osiągają lepsze wyniki, ale także mają swoje ograniczenia. Podejście oparte na pseudosiamese, zaprojektowane specjalnie do danych multimodalnych, również napotyka trudności związane z adaptacją między różnymi platformami.

Ostatecznie, nasza metoda, która integruje wszystkie te techniki adaptacyjne, osiąga wyniki wyraźnie lepsze od dotychczasowych rozwiązań. Po wdrożeniu odpowiednich komponentów adaptacyjnych, takich jak samouczenie, dopasowywanie histogramu, rozszerzanie danych, post-processing oraz fuzja wielorozdzielczościowa, nasz model osiąga poziom precyzji, który porównywalny jest z wynikami uzyskanymi w ramach nadzorowanego uczenia, mimo braku jakichkolwiek adnotacji w domenie docelowej.

Podstawowym wnioskiem z naszych badań jest to, że rozwiązania oparte na adaptacji do różnych modalności i platform oferują ogromny potencjał w kontekście operacyjnego wykorzystania danych satelitarnych, umożliwiając dokładną rejestrację obrazów z różnych źródeł, co do tej pory było trudne do osiągnięcia bez dużych nakładów pracy związanych z ręcznym etykietowaniem danych.

Jak zrealizować skuteczną detekcję przecieków w chmurach punktów infrastruktury kosmicznej?

Zaawansowane technologie skanowania 3D oraz algorytmy głębokiego uczenia sztucznego stanowią fundament nowoczesnych metod detekcji przecieków w infrastrukturze kosmicznej. W ostatnich latach pojawiły się różnorodne podejścia mające na celu poprawę efektywności segmentacji chmur punktów, szczególnie w kontekście nierównowagi klas i zmienności rozkładu punktów w danych przestrzennych. Dążenie do precyzyjnej identyfikacji przecieków, które często stanowią tylko niewielką część całkowitych danych, wymaga zastosowania specjalistycznych algorytmów i funkcji straty, które uwzględniają te wyzwania.

Wśród najnowszych rozwiązań zaproponowanych przez Yu i współpracowników [38] oraz Yasudę i innych [36] znajdują się funkcje straty, które łączą wagę klasy z wagą przestrzenną, pozwalając na skuteczniejsze uwzględnianie trudnych próbek i radzenie sobie z nierównowagą klas. Przykładem takich technik są zaktualizowane wersje popularnych metod, jak XGBoost czy stosowanie straty ogniskowej w zadaniach segmentacji binarnych, które są dostosowane do nierównych rozkładów danych. Do podobnych konkluzji doszli Zhang i Liu [40, 16], wprowadzając zmienne wagi w funkcjach straty, które pozwalają na bardziej efektywne balansowanie rozkładów klas w trakcie treningu, co przekłada się na poprawę wydajności w scenariuszach z nierównymi zbiorami danych.

Zastosowanie tych rozwiązań zainspirowało rozwój dedykowanej funkcji straty — specjalizowanej wersji strat skrosowanej entropii na poziomie pikseli, zaprojektowanej z myślą o detekcji przecieków w punktach chmur 3D infrastruktury kosmicznej. Integracja wag klasowych i wag przestrzennych, wyprowadzonych z gęstości punktów, pozwala skutecznie przeciwdziałać dwóm głównym wyzwaniom w tym kontekście: nierównowadze klas i zmienności rozkładu punktów w danych 3D. Opracowana metoda stanowi rozwinięcie istniejących technik w obszarze detekcji przecieków i jest skierowana na specyficzne potrzeby analizy dużych zbiorów punktów w infrastrukturze kosmicznej.

Pierwszym krokiem w zaproponowanej metodzie jest przekształcenie danych wejściowych — chmury punktów — w uporządkowaną reprezentację 2D, co znacznie upraszcza dalsze przetwarzanie przy wykorzystaniu modeli opartych na głębokich sieciach neuronowych. Opracowany algorytm projekcji wykorzystuje transformację punktów z układu współrzędnych sferycznych na kartezjańskie, a następnie identyfikuje odpowiednie przedziały przekrojów, które są analizowane pod kątem najistotniejszych punktów. Dzięki tej metodzie można zachować niezbędne informacje geometryczne, jednocześnie redukując złożoność obliczeniową, co jest kluczowe w przypadku dużych zbiorów danych.

Po przekształceniu chmury punktów w postać 2D, dane te trafiają do sieci segmentującej, opartej na architekturze U-Net, która została wzbogacona o mechanizmy uwagi. U-Net jest szczególnie skuteczny w zadaniach związanych z lokalizowaniem drobnych defektów, które mogą być trudne do uchwycenia w bardziej złożonych strukturach infrastrukturalnych. Wykorzystanie warstw konwolucyjnych i połączeń skip, które przekazują wysokiej rozdzielczości cechy z części kodujących do dekodujących, umożliwia precyzyjną lokalizację i klasyfikację detekcji przecieków. Sieć jest trenowana za pomocą specjalnej funkcji straty, która łączy wagowanie pikseli i klasyczną entropię skrosowaną, aby poradzić sobie z nierównowagą klasową, gdzie przecieki stanowią zaledwie ułamek całkowitych danych.

Jednym z kluczowych elementów całej metody jest przekształcenie wyników segmentacji z przestrzeni 2D z powrotem do oryginalnej chmury punktów 3D, co pozwala na uzyskanie pełnej mapy przestrzennej wykrytych obszarów przecieków. Dzięki temu procesowi analiza chmur punktów staje się dokładniejsza i bardziej wiarygodna, umożliwiając skuteczniejszą inspekcję infrastruktury kosmicznej.

Należy także zauważyć, że jedna z głównych trudności w tym rodzaju analizy dotyczy jakości danych wejściowych. Chmury punktów zebrane w warunkach trudnego oświetlenia lub z innych przyczyn mogą zawierać błędy w danych RGB, które nie odzwierciedlają rzeczywistych cech materiału. W związku z tym dane RGB często są pomijane na etapie analizy, a jedynie współrzędne przestrzenne i wartości intensywności są wykorzystywane do dalszego przetwarzania. To podejście zmniejsza złożoność obliczeniową i pozwala skupić się na najistotniejszych cechach, które mogą wskazać na potencjalne przecieki.

W kontekście rozwiązywania problemu nierównowagi danych, kluczowe jest zastosowanie funkcji straty, które pozwalają na dostosowanie wag do lokalnych uwarunkowań przestrzennych. Wydajność algorytmów zależy w dużej mierze od tego, jak dobrze model jest w stanie uwzględnić specyfikę danych wejściowych, zarówno w kontekście gęstości punktów, jak i ich rozmieszczenia w przestrzeni. Przeprowadzone eksperymenty pozwoliły określić optymalne parametry rozdzielczości reprezentacji 2D, które zapewniają najlepsze wyniki segmentacji przy jednoczesnym minimalizowaniu obciążenia obliczeniowego.