Obrazowanie optoakustyczne (OA), znane również jako obrazowanie fotoakustyczne, jest nowatorską techniką, która łączy optyczną ekscytację z detekcją ultradźwiękową, umożliwiając uzyskanie bogatego kontrastu optycznego z żywych tkanek przy wysokiej rozdzielczości przestrzennej i czasowej. Ta metoda zyskuje coraz większe zainteresowanie w społeczności badawczej związanej z biomedycyną, dzięki swoim unikalnym właściwościom hybrydowym, które pozwalają na wizualizację z dużą czułością rozkładu endogennych chromoforów oraz egzogennych absorberów optycznych, takich jak nanocząsteczki, barwniki organiczne czy fluorescencyjne białka.

W porównaniu do technik mikroskopowych, OA osiąga znacznie większą penetrację tkanek (na poziomie centymetra), co jest możliwe dzięki wykorzystaniu niskiego rozpraszania fal ultradźwiękowych, przezwyciężając ograniczenia związane z optyczną dyfuzją. Różne zastosowania OA osiągają obrazowanie na różnych skalach, od subkomórkowych organelli po całe organy, przy zachowaniu tego samego kontrastu optycznego. W skali mikroskalowej, optoakustyczna mikroskopia (OAM) jest odpowiednia do obrazowania o wysokiej rozdzielczości na głębokości do około 1 mm w tkankach biologicznych. Z drugiej strony, tomografia OA umożliwia rozdzielczość rozkładu absorpcji optycznej przy rozdzielczości ultradźwiękowej w zakresie dziesiątek–setek mikrometrów na głębokości do centymetra, tam gdzie światło wzbudzające jest całkowicie rozproszone.

Jednakże pomimo swoich potężnych możliwości technicznych, obrazowanie OA boryka się z pewnymi ograniczeniami, w tym głębokością penetracji, nieuniknionymi kompromisami między głębokością penetracji a rozdzielczością przestrzenną, a także ograniczoną czułością i specyficznością. Co więcej, kontrast OA wynika głównie z absorpcji optycznej, co sprawia, że jest ono niewrażliwe na inne mechanizmy kontrastowe, takie jak rozpraszanie, fluorescencja, akustyczne i magnetyczne właściwości tkanek. Aby przezwyciężyć te ograniczenia, powszechnie stosuje się łączenie różnych modalności obrazowania, które pozwalają na uzyskanie bardziej wszechstronnych informacji na temat procesów biologicznych.

Z uwagi na wrodzoną hybrydową naturę optoakustyczną i ultradźwiękową, wysiłki zmierzające do łączenia tych technologii są najczęściej ukierunkowane na hybrydyzację z obrazowaniem ultradźwiękowym (US), fluorescencją (FL) oraz innymi metodami optycznymi. Niedawny postęp w multimodalnym obrazowaniu OA doprowadził także do cennych połączeń z obrazowaniem rezonansem magnetycznym (MRI), tomografią komputerową (CT) oraz tomografią emisyjną pozytonów (PET), aby wykorzystać zupełnie różne mechanizmy kontrastowe i wzmocnić informacje anatomiczne, funkcjonalne oraz molekularne.

Łączenie technologii OA z obrazowaniem ultradźwiękowym (US) wydaje się naturalnym krokiem w tym kierunku, ponieważ obie metody dzielą podobne schematy akwizycji sygnału oraz obróbki danych. Obie technologie oferują niejonizujące promieniowanie, co czyni je bezpiecznymi dla organizmów żywych, a także umożliwiają obrazowanie w czasie rzeczywistym z wysoką rozdzielczością przestrzenną. Połączenie tych dwóch metod daje możliwość łatwej nawigacji anatomicznej, lokalizacji struktur, a także dodatkowych informacji funkcjonalnych dostarczanych przez OA, co znacznie poszerza zakres ich zastosowań klinicznych.

Zastosowanie trybu transmisyjnego US pozwala uzyskać dodatkowe informacje na temat właściwości akustycznych tkanek, takich jak prędkość dźwięku (SoS) czy tłumienie akustyczne (AA), które mogą zostać wykorzystane do poprawy dokładności rekonstrukcji tomograficznych obrazów OA. W połączeniu z refleksyjnym trybem US, popularne stają się wykorzystania matrycowych sond w układzie segmentów liniowych oraz wklęsłych, co pozwala na optymalizację wydajności w obu trybach obrazowania. Interesujący jest także rozwój tzw. systemów TROPUS (Transmission–Reflection Optoacoustic Ultrasound), które łączą oba tryby obrazowania, umożliwiając bardziej kompleksowe i dokładne obrazowanie struktur anatomicznych.

Również istotnym zagadnieniem jest zastosowanie ultradźwięków w poprawianiu jakości obrazu. Przykładem jest wykorzystanie US do korekcji ruchu oraz do poprawy fluencji światła w obrazowaniu OA. Dzięki temu, technologia ta staje się jeszcze bardziej efektywna, gdyż w tym połączeniu uzyskuje się obrazy o wyższej jakości i precyzyjnej lokalizacji.

Dalsze badania nad tymi hybrydowymi systemami obrazowania dają obiecujące rezultaty w obszarze diagnostyki medycznej, szczególnie w badaniach przedklinicznych oraz monitorowaniu terapii. Połączenie zaawansowanych metod ultradźwiękowych z obrazowaniem optoakustycznym pozwala na uzyskanie wszechstronnych obrazów, które mogą przyczynić się do lepszego zrozumienia złożonych procesów biologicznych oraz skuteczniejszej diagnostyki i leczenia.

Jak technologia fotoakustyczna zmienia ocenę stanu kości?

Technologia fotoakustyczna, będąca połączeniem optyki i ultradźwięków, zyskuje coraz większe znaczenie w medycynie, szczególnie w diagnostyce i ocenie zdrowia kości. Dzięki zastosowaniu impulsów światła, które są absorbowane przez tkanki, i analizie powstałych fal akustycznych, fotoakustyka umożliwia precyzyjne obrazowanie struktur wewnętrznych ciała, oferując szereg zalet w porównaniu do tradycyjnych metod diagnostycznych.

Jednym z obszarów, w którym technologia ta znajduje zastosowanie, jest ocena mikrostruktury kości. Badania wskazują, że dzięki fotoakustyce możliwe jest dokładne charakterizowanie zawartości minerałów i kolagenu w kościach, co ma kluczowe znaczenie w diagnostyce chorób takich jak osteoporoza czy w monitorowaniu procesu gojenia się kości po złamaniach. Technika ta pozwala na uzyskanie obrazów o wysokiej rozdzielczości, co czyni ją bardziej precyzyjną niż tradycyjne metody obrazowania, takie jak rentgen czy tomografia komputerowa.

Zalety fotoakustyki w analizie kości obejmują nie tylko możliwość uzyskiwania szczegółowych obrazów, ale także brak potrzeby stosowania kontrastów chemicznych, które mogą wiązać się z ryzykiem reakcji alergicznych. Co więcej, zdjęcia uzyskane za pomocą fotoakustyki są mniej inwazyjne i bardziej naturalne, ponieważ nie wymagają wprowadzenia obcych substancji do organizmu, a także nie generują promieniowania jonizującego, co stanowi istotną przewagę w długoterminowym monitorowaniu pacjentów.

Technika ta jest także wykorzystywana w monitorowaniu zdrowia kości w czasie rzeczywistym, umożliwiając ocenę procesów fizjologicznych i patologicznych zachodzących w tkance kostnej. Zastosowanie systemów fotoakustycznych pozwala na wykrywanie wczesnych oznak demineralizacji kości, co jest kluczowe dla zapobiegania poważnym problemom zdrowotnym, takim jak złamania osteoporotyczne. Dzięki zastosowaniu różnych długości fal światła, fotoakustyka może różnicować strukturę kości, a także oceniać zmiany w jej składzie chemicznym, co jest nieocenione w kontekście precyzyjnej diagnostyki.

Również interesującym zastosowaniem jest wykorzystanie tej technologii w obszarze ortopedii, szczególnie w ocenie efektywności leczenia złamań czy w rehabilitacji. Fotoakustyka może pomóc w monitorowaniu procesu mineralizacji kości, co pozwala na bardziej dokładne określenie tempa regeneracji kości po zabiegach chirurgicznych lub w trakcie terapii lekowej.

Pomimo ogromnych możliwości, jakie oferuje fotoakustyka w diagnostyce kości, technologia ta nadal wymaga dalszych badań i rozwoju, szczególnie w kontekście optymalizacji urządzeń do codziennego użytku w klinikach. Wciąż istnieje potrzeba stworzenia bardziej kompaktowych, przenośnych systemów, które mogłyby być wykorzystywane w gabinetach lekarskich lub nawet w warunkach domowych, co mogłoby znacząco poprawić dostępność tej technologii dla pacjentów na całym świecie.

Warto również zauważyć, że połączenie technologii fotoakustycznej z innymi metodami obrazowania, takimi jak ultradźwięki czy tomografia komputerowa, pozwala na uzyskanie jeszcze bardziej szczegółowych informacji o stanie kości. Integracja tych technik otwiera nowe perspektywy w diagnostyce i leczeniu chorób układu kostnego.

Kluczowym elementem, który nie może zostać pominięty przy wdrażaniu fotoakustyki w diagnostyce, jest również zrozumienie ograniczeń tej technologii. Mimo że fotoakustyka oferuje ogromny potencjał, nie jest ona rozwiązaniem uniwersalnym. Zastosowanie tej technologii w diagnostyce kości wiąże się z koniecznością precyzyjnego dopasowania parametrów do konkretnego przypadku, w tym rodzaju tkanki, głębokości jej umiejscowienia oraz stopnia jej mineralizacji. Z tego powodu istotne jest ciągłe rozwijanie i dostosowywanie algorytmów analitycznych, które umożliwią pełne wykorzystanie potencjału fotoakustyki.

W przyszłości, wraz z dalszym rozwojem tej technologii, możemy spodziewać się nowych, bardziej zaawansowanych aplikacji w diagnostyce kości i innych tkanek, co znacząco poprawi jakość opieki zdrowotnej. Jednak przed nami jeszcze wiele wyzwań związanych z implementacją i szerokim wprowadzeniem fotoakustyki do praktyki klinicznej.

Jak działa sieć generatywna Pix2pix i CycleGAN do wirtualnego barwienia tkanek?

Architektura Pix2pix składa się z generatora G i dyskryminatora D. Działając na przykładzie wirtualnego barwienia obrazów TA-PARS, generator G odpowiada za tłumaczenie obrazu z domeny X (obrazy TA-PARS) do domeny Y (obrazy barwione H&E). Obraz TA-PARS, oznaczony jako x, jest wprowadzany do generatora G, który generuje syntetyczny (fałszywy) obraz barwiony H&E. Dyskryminator D natomiast ma za zadanie odróżnić obraz TA-PARS x od fałszywego obrazu barwionego H&E lub prawdziwego obrazu barwionego H&E. Matematycznie rzecz biorąc, cel treningu można rozumieć jako dążenie generatora G do minimalizacji prawdopodobieństwa, że dyskryminator poprawnie rozpozna fałszywy obraz, podczas gdy dyskryminator stara się maksymalizować prawdopodobieństwo poprawnego rozpoznania prawdziwego obrazu jako prawdziwego i fałszywego obrazu jako fałszywego.

Obiekt funkcji treningowej można zapisać w postaci funkcji straty cGAN, którą można wyrazić równaniem (19.7). Operator oczekiwania oblicza wartość średnią funkcji względem rozkładu prawdopodobieństwa w odniesieniu do x i y. Logarytm logD(x, y) opisuje prawdopodobieństwo, że dyskryminator prawidłowo sklasyfikuje prawdziwy obraz. Z kolei maksymalizacja log(1 − D(x, G(x))) zachęca dyskryminatora do poprawnej klasyfikacji fałszywego obrazu jako fałszywego, jednocześnie karząc go, gdy fałszywy obraz zostanie błędnie sklasyfikowany jako prawdziwy. Generator powinien natomiast minimalizować log(1 − D(x, G(x))), ponieważ jego celem jest oszukanie dyskryminatora i otrzymanie nagrody w przypadku sukcesu.

Ponadto zadaniem generatora jest nie tylko oszukanie dyskryminatora, ale także wygenerowanie obrazów jak najbardziej zbliżonych do rzeczywistych. W związku z tym, w funkcji celu uwzględnia się także stratę L1 (średni błąd bezwzględny), aby zminimalizować różnice między wygenerowanym obrazem G(x) a rzeczywistym obrazem y. Finalny cel treningu można zapisać w postaci równania (19.9), gdzie λ jest wagą przypisaną do straty L1 w funkcji celu.

Z konstrukcji sieci wynika, że Pix2pix wymaga ściśle dopasowanych obrazów bez etykiet i odpowiadających im obrazów barwionych H&E z dokładnym dopasowaniem pikseli do treningu. W związku z tym niezbędne jest precyzyjne dopasowanie obrazów między obrazami UV-PAM i obrazami barwionymi H&E uzyskanymi po przeprowadzeniu obrazowania UV-PAM. Proces ten bywa skomplikowany, ponieważ tkanka może ulec niewielkiej deformacji w trakcie procesu barwienia H&E (rys. 19.6d, g). Ponadto, szczególnie trudne jest uzyskanie dobrze dopasowanych obrazów H&E dla obrazów UV-PAM grubszych próbek tkanek, ponieważ zmiany morfologiczne mogą wystąpić w wyniku procesu przygotowania próbek FFPE. Z tego powodu stosowanie Pix2pix do wirtualnego barwienia jest obecnie ograniczone do cienkich skrawków tkanek, gdzie można uzyskać odpowiedni poziom dopasowania poprzez pozyskanie par obrazów tkanek bez etykiety i obrazów H&E tej samej próbki przed i po barwieniu.

Aby rozwiązać problem przygotowania dobrze dopasowanych danych do wirtualnego barwienia grubych próbek, wprowadzono unsupervised learning za pomocą sieci generatywnej CycleGAN, która pozwala ominąć potrzebę dopasowanych obrazów UV-PAM i H&E do treningu. CycleGAN umożliwia naukę tłumaczenia obrazów z jednej domeny do drugiej bez konieczności ich dokładnego dopasowania. Kang i in. [69] pomyślnie zastosowali CycleGAN do wirtualnego barwienia obrazów UV-PAM nieprzetworzonych grubszych tkanek mózgu myszy (rys. 19.23). Ponadto, Cao i in. [70] wykazali podobną ideę wirtualnej histologii za pomocą CycleGAN na sekcjach ludzkich tkanek kostnych na szkiełku mikroskopowym.

Architektura sieci CycleGAN składa się z dwóch generatorów (G i F) oraz dwóch dyskryminatorów (DX i DY). Celem wirtualnego barwienia jest tłumaczenie obrazów UV-PAM (domena X) do obrazów barwionych H&E (domena Y), a dla zachowania spójności cyklu wprowadzono stratę cykliczną, która pozwala na odwrotne mapowanie z domeny Y (obrazy barwione H&E) do X (obrazy UV-PAM), co umożliwia wymuszenie tłumaczenia między dwoma domenami i z powrotem do oryginalnego obrazu. Strata cykliczna sprawia, że CycleGAN potrafi uczyć się mapowania między dwiema domenami bez potrzeby ich dokładnego dopasowania. Generator G przekształca obrazy UV-PAM (domena X) w obrazy barwione H&E (domena Y), a generator F przekształca obrazy H&E (domena Y) w obrazy UV-PAM (domena X). Dyskryminator DX ma za zadanie klasyfikować prawdziwe obrazy UV-PAM x i fałszywe obrazy UV-PAM, a dyskryminator DY klasyfikuje prawdziwe obrazy barwione H&E y i fałszywe obrazy wirtualnie barwione H&E.

Trening odbywa się w sposób adwersarialny, a proces trwa, dopóki dyskryminator DY nie będzie w stanie rozpoznać różnicy między prawdziwymi obrazami H&E a obrazami wytworzonymi przez generator G, i odwrotnie, dla generatora F i dyskryminatora DX. Z celem dwukierunkowego mapowania, funkcja straty powinna opisywać obie transformacje: (19.10) oraz (19.11). Obie te funkcje straty mają na celu ocenę zdolności dyskryminatorów do poprawnej klasyfikacji prawdziwych i fałszywych obrazów.

Często w tego typu sieciach preferuje się funkcję straty opartą na najmniejszych kwadratach, ponieważ unika to problemu zanikania gradientów, który może wystąpić, gdy wygenerowane obrazy bardzo różnią się od prawdziwych. Zastosowanie tej funkcji straty pozwala na większą karę za większe błędy, co zapewnia większą korekcję w porównaniu do funkcji logarytmicznej, która prowadzi do minimalnych zmian w modelu.

W praktyce, po wprowadzeniu prawdziwego obrazu UV-PAM do generatora G, powstaje fałszywy obraz barwiony H&E, który jest oceniany przez dyskryminatora DY. Następnie generator F przekształca ten obraz H&E z powrotem na obraz UV-PAM, który w idealnym przypadku powinien być zgodny z oryginalnym obrazem UV-PAM. Z kolei w odwrotnej kolejności generator F odpowiada za generowanie fałszywego obrazu UV-PAM, który ocenia dyskryminator DX.

Jak zmiany w prasie amerykańskiej wpłynęły na wolność słowa i demokrację?
Jak działa scalanie zapytań w Power Query i jakie są jego rodzaje?
Jak przedstawiać wartość niepewności i zapewniać jakość wyników analitycznych?