Jak działają sieci neuronowe i czym jest głębokie uczenie?

Sieci neuronowe to struktury inspirowane działaniem ludzkiego mózgu, zbudowane z wielu połączonych ze sobą neuronów, które organizują się w warstwy. Podstawowymi składnikami są warstwy wejściowe, ukryte i wyjściowe. Warstwy ukryte, znajdujące się pomiędzy wejściem a wyjściem, odpowiadają za złożoną analizę danych i ich przetwarzanie. Termin „głębokie uczenie” odnosi się do liczby tych warstw ukrytych: gdy jest ich więcej niż trzy, mówimy o głębokiej sieci neuronowej (Deep Neural Network, DNN). W praktyce sieci te mogą mieć setki, a nawet tysiące warstw.

Obrazy podawane na wejście sieci traktowane są jako macierze cyfrowe. Dla obrazów w skali szarości jest to macierz 2D o wymiarach odpowiadających liczbie pikseli, a dla obrazów kolorowych – macierz 3D, gdzie dodatkowy wymiar zawiera informacje o kolorze. Etykiety wyjściowe mogą być zakodowane binarnie – na przykład dla obrazu psa wartość dla etykiety „pies” wynosi 1, a dla innych zwierząt 0. Takie podejście przypomina algorytm korekcji błędów (Error Correcting Output Code, ECOC) wykorzystywany do wieloklasowej klasyfikacji.

Głębokie uczenie umożliwia automatyczne wyodrębnianie cech z danych bez konieczności ręcznego ich definiowania. To sprawia, że jest to potężne narzędzie w dziedzinie sztucznej inteligencji. Jednak rozwój i skuteczne trenowanie głębokich sieci było niemożliwe aż do początku XXI wieku, kiedy to pojawiły się odpowiednie zasoby obliczeniowe – przede wszystkim wydajne procesory graficzne (GPU) oraz architektury równoległe, które znacząco skracają czas treningu z tygodni do godzin.

Istnieją dwie podstawowe metody trenowania modeli głębokiego uczenia. Pierwsza to trening od podstaw (training from scratch), wymagający dużych, odpowiednio oznaczonych zbiorów danych oraz znacznych zasobów obliczeniowych. Druga to transfer learning – polega na dostosowaniu już wytrenowanego modelu do nowego zadania przy pomocy mniejszej liczby danych i znacznie krótszym czasie treningu. Przykładowo, model wytrenowany do rozpoznawania tysiąca różnych obiektów może zostać zmodyfikowany do klasyfikacji tylko psów i kotów.

Poza klasycznym wykorzystaniem modelu do przewidywań, wytrenowany model może służyć jako ekstraktor cech, których można użyć w innych algorytmach uczenia maszynowego, takich jak maszyny wektorów nośnych (SVM) lub wspomniany ECOC. Może też stanowić element większego systemu, np. wykorzystać sieć konwolucyjną (CNN) do wyodrębniania cech obrazów dla systemu detekcji obiektów.

Ważne jest zrozumienie, że efektywność działania sieci neuronowej zależy nie tylko od liczby warstw czy zasobów obliczeniowych, ale także od jakości i ilości danych treningowych. Ponadto, proces uczenia wymaga starannej regulacji parametrów i architektury sieci, co jest często zadaniem wymagającym zarówno wiedzy teoretycznej, jak i praktycznego doświadczenia. Należy także pamiętać, że sieci neuronowe są „czarną skrzynką” – ich decyzje mogą być trudne do interpretacji, co stanowi wyzwanie w kontekście zastosowań krytycznych, takich jak medycyna czy prawo.

Jak wykorzystać drzewa decyzyjne i entropię w analizie decyzji?

Drzewa decyzyjne stanowią popularne narzędzie wykorzystywane w analizie decyzji, zarówno w badaniach operacyjnych, jak i w naukach o komputerach, w tym w uczeniu maszynowym. Służą one do podejmowania decyzji na podstawie zestawu reguł i warunków, analizując alternatywne ścieżki i możliwe wyniki w formie hierarchicznych struktur, przypominających wykresy przepływu. Każdy węzeł wewnętrzny drzewa reprezentuje test na atrybucie (np. wynik rzutu monetą), każda gałąź przedstawia wynik testu, a każdy liść to klasa lub decyzja podjęta po przetworzeniu wszystkich atrybutów. Ścieżki prowadzące od korzenia do liścia reprezentują reguły klasyfikacji.

Struktura drzewa decyzyjnego składa się z kilku elementów: korzenia, gałęzi, węzłów wewnętrznych oraz liści, tworząc w ten sposób hierarchiczną strukturę przypominającą drzewo. Korzystanie z tego narzędzia w analizie decyzji pozwala na wizualizację i analityczne wsparcie przy podejmowaniu decyzji, gdzie oblicza się wartości oczekiwane lub oczekiwaną użyteczność alternatyw konkurujących ze sobą. Drzewa decyzyjne w tym kontekście mogą być używane do oceny najlepszej strategii osiągania celu.

W klasyfikacji drzewa decyzyjne są narzędziem nienaśladowczym, stosowanym zarówno w zadaniach klasyfikacji, jak i regresji. W klasycznym drzewie decyzyjnym rozróżnia się trzy podstawowe rodzaje węzłów:

1. Węzły decyzji – zazwyczaj reprezentowane przez kwadraty.

2. Węzły testowe lub losowe – reprezentowane przez okręgi.

3. Węzły końcowe – reprezentowane przez trójkąty.

W przypadku prostego przykładu drzewa decyzyjnego, takiego jak podejmowanie decyzji o podróży na podstawie warunków pogodowych, przedstawione w poprzednim przykładzie, struktura ta analizuje różne zmienne, takie jak temperatura, wilgotność i siła wiatru, a końcowy wynik to decyzja, czy pozostać w domu, czy wybrać się w podróż. Każdy test na węźle (np. temperatura, wilgotność) prowadzi do kolejnego węzła lub do ostatecznej decyzji.

Drzewo decyzyjne można również traktować jako zbiór instrukcji typu "jeśli... to...". Sprawdza ono, czy warunek jest spełniony, a jeśli tak, przechodzi do następnego węzła. Pomaga to w zmniejszeniu niepewności i porządkowaniu danych na drodze podejmowania decyzji. Kluczowym elementem w konstrukcji drzewa decyzyjnego jest decyzja, który węzeł będzie korzeniem drzewa, jakie węzły będą testowe, a kiedy należy zakończyć podział danych. W celu podjęcia takich decyzji wykorzystuje się miarę niepewności zwaną entropią.

Entropia to miara niepewności, chaosu lub przypadkowości, która jest szeroko stosowana w różnych dziedzinach, takich jak analiza ryzyka czy badania finansowe. Związana jest z porządkowaniem systemów, gdzie wyższa entropia oznacza większy stopień niepewności. W kontekście drzewa decyzyjnego, entropia mierzy stopień nieczystości węzła, czyli ilość niepewności zawartej w zbiorze danych. Wartość entropii waha się zazwyczaj między 0 a 1, gdzie 0 oznacza pełną czystość (wszystkie przypadki należą do jednej klasy), a 1 wskazuje na pełną niepewność (równy podział przypadków na różne klasy).

Aby lepiej zrozumieć, jak działa entropia, warto przyjrzeć się prostemu przykładowi. Załóżmy, że grupa uczniów ma wybrać miejsce na wakacje – Paryż lub Londyn. Spośród 11 uczniów, 6 głosuje na Paryż, a 5 na Londyn. Wyniki są prawie równe, co wskazuje na pewną niepewność – trudno jest podjąć decyzję, ponieważ podział głosów jest niemal równy. Entropia tej sytuacji będzie wysoka, ponieważ mamy do czynienia z dużą niepewnością co do ostatecznego wyboru.

Entropię można obliczyć za pomocą wzoru matematycznego:

gdzie $p_i$ to prawdopodobieństwo przynależności elementu do klasy $i$ w zbiorze danych. Przykładowo, jeśli mamy 100 punktów danych, z czego 30 należy do klasy pozytywnej, a 70 do klasy negatywnej, możemy obliczyć entropię dla tego zbioru.

Dla sytuacji z głosowaniem entropia oblicza się w następujący sposób:

gdzie $p(+)$ to prawdopodobieństwo wyboru Paryża, a $p(-)$ to prawdopodobieństwo wyboru Londynu. Wartość entropii w takim przypadku wyniesie około 0,88, co wskazuje na stosunkowo dużą niepewność. Wysoka entropia oznacza niski poziom czystości w danych – innymi słowy, im wyższa entropia, tym bardziej losowe są dane, co utrudnia podjęcie decyzji.

W procesie budowy drzewa decyzyjnego, po obliczeniu entropii, podejmuje się decyzję o podziale danych w taki sposób, by zmniejszyć poziom niepewności na każdym kolejnym etapie. Często proces ten wiąże się z tzw. przycinaniem (pruning), czyli eliminowaniem nieistotnych węzłów, które mogłyby prowadzić do przeuczenia modelu i obniżenia jego efektywności.

Zrozumienie procesu podejmowania decyzji za pomocą drzewa decyzyjnego i roli entropii w tym procesie jest kluczowe dla zastosowań w różnych dziedzinach, takich jak analiza ryzyka, prognozowanie, czy nawet codzienne decyzje oparte na danych.

Jak poprawnie tworzyć i dodawać reguły sterowania w systemach wnioskowania rozmytego w MATLAB?

W MATLAB-ie kluczową funkcją do budowy rozmytego systemu wnioskowania jest mamfis(), która inicjalizuje obiekt FIS (Fuzzy Inference System). Kolejne kroki to definiowanie zmiennych wejściowych i wyjściowych wraz z ich zakresami oraz nadawanie im nazw, przy czym należy pamiętać, że MATLAB jest językiem rozróżniającym wielkość liter, więc argumenty takie jak "Name" muszą być użyte w odpowiedniej formie, aby uniknąć błędów.

Następnie do każdej zmiennej dodaje się funkcje przynależności. Przykładowo, dla zmiennej temperatury można zastosować trzy funkcje: gbellmf (dzwonkowa), gaussmf (gaussowska) czy inne, każda opisana przez zestaw parametrów definiujących jej kształt i położenie. Dzięki temu możliwe jest dokładne modelowanie rozmytych stanów, takich jak „Niska”, „Średnia” i „Wysoka” temperatura. Wartość zmiennej wejściowej będzie oceniać przynależność do tych funkcji z pewnym stopniem, który posłuży do wnioskowania.

Po przypisaniu funkcji przynależności nadchodzi moment zdefiniowania reguł sterujących, które determinują, jak na podstawie kombinacji wartości wejściowych ustalany jest wynik (wyjście). Reguły mogą być zapisywane w trzech formach: opisowej (verbose), symbolicznej i indeksowej. W praktyce, szczególnie w kodzie MATLAB, forma indeksowa jest często wygodna – każda reguła to wiersz macierzy, gdzie kolejne kolumny to indeksy funkcji przynależności przypisanych do odpowiednich zmiennych wejściowych i wyjściowych, waga reguły oraz operator rozmyty (AND lub OR).

Przykładowo, reguła „Jeśli temperatura jest Niska i tempo zmiany temperatury jest Niskie, to prędkość silnika jest Szybka” można przedstawić jako [1 1 3 1 1], gdzie 1 i 1 to indeksy funkcji przynależności dla dwóch wejść, 3 – indeks funkcji przynależności dla wyjścia, 1 to pełna waga reguły, a ostatnia 1 oznacza operator AND. Dzięki temu formatowi można łatwo zarządzać i modyfikować reguły bez konieczności rozpisywania ich w długim tekście.

Ważne jest, by pamiętać, że operator logiczny wpływa na sposób łączenia wartości przynależności. Operator AND zwykle realizowany jest przez minimum wartości przynależności, a OR – przez maksimum. Waga reguły natomiast umożliwia modulację jej wpływu na końcowy wynik – wartość od 0 (brak wpływu) do 1 (pełny wpływ).

Podczas implementacji systemu warto również wizualizować funkcje przynależności za pomocą wbudowanych funkcji MATLAB, takich jak plotmf(), co ułatwia zrozumienie kształtu rozmytych zbiorów i ich wzajemnych nakładań.

Kolejnym istotnym aspektem jest dopasowanie reguł do konkretnego zastosowania. Przykładowo, w systemie sterowania klimatyzacją reguły uwzględniają różne kombinacje temperatury i tempa zmiany temperatury, przypisując odpowiednią prędkość silnika. Dobór funkcji przynależności i ich parametrów, jak i precyzyjne sformułowanie reguł decydują o jakości działania systemu.

Warto zauważyć, że przedstawienie reguł w formie indeksowej ułatwia skalowanie systemu oraz jego automatyczną modyfikację. Jest to szczególnie przydatne w projektach wymagających dynamicznego dostosowywania zasad sterowania lub ich automatycznej optymalizacji.

Podsumowując, budowa i implementacja rozmytego systemu sterowania w MATLAB wymaga zarówno zrozumienia teoretycznych podstaw funkcji przynależności i reguł sterujących, jak i praktycznej uwagi na detale składni i struktury danych. Tylko wtedy system będzie działał zgodnie z założeniami i będzie można go skutecznie wykorzystać w praktycznych aplikacjach, takich jak sterowanie silnikiem klimatyzacji.

Jak działają nieliniowe modele regresji i jak je stosować w MATLAB Curve Fitter?

Modele regresji nieliniowej w MATLAB są zaimplementowane głównie za pomocą aplikacji Curve Fitter, która umożliwia graficzne dopasowywanie modeli do danych z użyciem różnych podejść — od wielomianowych, przez wykładnicze, aż po modele Fouriera. Zasadniczym celem dopasowania modelu jest odnalezienie takich współczynników parametrycznych, które w możliwie najdokładniejszy sposób opisują zależność pomiędzy zmiennymi niezależnymi a odpowiedzią systemu.

Model parametryczny dzieli dane na dwie składowe: deterministyczną oraz losową. Składowa deterministyczna opisana jest modelem z parametrami, natomiast komponent losowy reprezentuje szum — przypadkowe odchylenia, które wynikają z natury pomiaru lub innych, niekontrolowanych czynników. Dopasowanie modelu polega zatem na minimalizacji różnicy pomiędzy danymi eksperymentalnymi a wartościami przewidywanymi przez model — uwzględniając przy tym nieunikniony błąd pomiaru.

Aplikacja Curve Fitter oferuje siedem typów modeli nieliniowych, z których sześć zasługuje na szczególną uwagę ze względu na ich szerokie zastosowanie: modele wielomianowe, wykładnicze, logarytmiczne, Fouriera, Gaussa oraz modele wymierne. Każdy z nich ma swoje unikalne właściwości i zastosowania praktyczne.

Z kolei modele wykładnicze służą do opisu zjawisk, w których tempo zmian wielkości jest proporcjonalne do jej wartości początkowej. Mogą one reprezentować zarówno procesy wzrostu, jak i zaniku. W zależności od liczby składników, stosuje się modele jedno- lub dwuelementowe. Klasycznym przykładem jest rozpad promieniotwórczy: model jednowyrazowy opisuje pojedynczy tryb rozpadu, natomiast przy dwóch trybach konieczny jest model dwuwyrazowy.

Istotnym aspektem stosowania tych modeli jest możliwość ich automatycznego eksportu do kodu MATLAB lub integracja z Simulink poprzez wygenerowanie tabeli przeglądowej (lookup table). Dzięki temu użytkownik może kontynuować analizę poza środowiskiem graficznym aplikacji, co znacząco zwiększa możliwości adaptacyjne narzędzia.

Poza samym dopasowaniem modelu, Curve Fitter umożliwia użytkownikowi wgląd w istotne parametry statystyczne, takie jak przedziały ufności czy wykresy reszt, pozwalające na ocenę jakości dopasowania. Usuwanie wartości odstających czy weryfikacja modelu na zbiorze wa