Self-Organizing Mixture Networks for Representation of Grayscale Digital Images

Określamy funkcję jasności l : {0, . . . , M -1} × {0, . . . , N -1} -→ {0, . . . , 255}, która każdemu pikselowi obrazu (x, y) ∈ {0, . . . , M -1} × {0, . . . , N -1} przyporządkowuje dyskretną wartość natężenia jego jasności.

Niech:

Wówczas funkcja l ′ = l L jest dyskretyzacją funkcji gęstości pewnego rozkładu wektora losowego w przestrzeni dwuwymiarowej. Możemy zatem postrzegać obraz w kryteriach rozkładu statystycznego.

Niech x będzie wektorem losowym w przestrzeni d-wymiarowej Ω ⊆ R d (d 1). Mówimy, że wektor losowy x ma rozkład w postaci skończonej mieszanki (ang. finite mixture distribution), jeżeli funkcja gęstości jego rozkładu jest następująca: p(x) = p 1 (x)P 1 + . . . + p K (x)P K (x ∈ Ω, K 1),

gdzie

Zmienne P 1 , . . . , P K nazywać będziemy wagami, zaś funkcje p 1 (•), . . . , p K (•)składnikami mieszanki. Dla mieszanek jednorodnych (tzn. takich, których składniki są funkcjami gęstości tego samego typu) wygodnie będzie zapisać Równanie 1 w postaci

gdzie θ i są wektorami parametrów i-tego rozkładu, zaś Θ = (θ 1 , . . . , θ K ) . W niniejszej pracy rozważać będziemy mieszanki gaussowskie zadane wzorem

gdzie

wektor wartości średnich oraz macierz kowariancji rozkładu normalnego.

2 Klasteryzacja za pomocą sieci Kohonena (SOM)

Teselacją Voronoi’a [1] przestrzeni Ω ⊆ R d nazywamy procedurę jej podziału na K wypukłych podzbiorów V i ({m}) wyznaczonych przez wektory m i ∈ R d następująco:

gdzie • oznacza normę euklidesową. Uzyskany podział nazywamy mozaiką Voronoi’a. Zauważmy, jakie znaczenie odgrywa odpowiedni dobór wektorów kotwicowych. Aby wynikowa mozaika Voronoi’a była reprezentatywna dla wyjściowego rozkładu p(x) i użyteczna dla potrzeb klasteryzacji, musimy zadbać o to, by gęstość rozmieszczenia wektorów m i była proporcjonalna do gęstości p(x) w danym regionie. Innymi słowy -chcemy, aby:

Sieci Kohonena (SOM, od ang. Self-organizing Maps [3,4]) realizują koncepcję tzw. samoorganizacji topologicznej. Nacisk kładziony jest bowiem nie tylko na rozmieszczenie wektorów kotwicowych m i ∈ R d traktowanych niezależnie, ale również ich wzajemne położenie.

Niech G będzie dowolnym grafem spójnym, którego wierzchołkami są wszystkie K wektory kotwicowe m i . Niech ponadto d(i, j) będzie pewną grafową miarą odległości w G. Określmy funkcję h : R

Dla tak zadanego odwzorowania h zdefiniujmy funkcję sąsiedztwa (ang. neighbourhood function) h : {(i, j) ; i, j = 1, . . . , K, i = j} -→ R następująco:

gdzie σ > 0 jest pewnym parametrem algorytmu. W każdej iteracji wektor x leżący w i-tej komórce Voronoi’a porusza wszystkie j-te wektory kotwicowe, dla których d(i, j) < σ.

• Dane: Liczba K ∈ N, skończony zbiór wektorów losowych x ∈ Ω ⊆ R d zgodny z rozkładem prawdopodobieństwa p(x), funkcja sąsiedztwa h(i, j) oraz parametry σ, η.

• Wynik: Zbiór wektorów kotwicowych {m} = {m i ∈ R d ; i = 1, . . . , K} tworzących strukturę grafu, reprezentatywny dla p(x).

Wybierz losowo wszystkie wektory m i ∈ R d , a następnie powtarzaj:

1. Wylosuj wektor x ∈ Ω zgodnie z rozkładem p(x).

2. Znajdź komórkę Voronoi’a zawierającą x, to znaczy wyznacz indeks i taki, że:

3. Przesuń wszystkie wektory kotwicowe m j w stronę x według następującej formuły:

3 Samoorganizujące się sieci mieszankowe Samoorganizujące się sieci mieszankowe (ang. Self-Organizing Mixture Networks, w skrócie SOMN ) [6] są uogólnieniem pojęcia Bayesian Self-Organizing Maps (BSOM ) [5]. Cechuje je dwuwartstwowa struktura, pozwalająca połączyć zalety sieci Kohonena (SOM) z możliwością uczenia macierzy kowariancji oraz wag dla każdej ze składowych mieszanki.

Na Rysunku 2 przedstawiono schematycznie dwuwarstwową strukturę sieci. Niższa warstwa funkcjonuje na zasadach bardzo zbliżonych do sieci Kohonena. Wyższa natomiast powstaje poprzez sumowanie wszystkich węzłów z uwzględnieniem wag P i , z jakimi węzły te występują w wynikowej mieszance (por. Równanie 2), dając w wyniku wartość p(x|Θ) dla dowolnego x ∈ Ω.

Uczenie SOMN jest procesem iteracyjnym. W chwili inicjalizacji sieć składa się z K węzłów, gdzie K K. Jeżeli wartość K jest znana a priori, przyjmujemy zwykle K = K. W przeciwnym razie szacujemy ją z góry, aby uniknąć błędu wynikającego ze zbyt niewielkiej liczby składników mieszanki, co w oczywisty sposób obniżałoby dokładność przybliżenia rozkładu.

W każdym z T ∈ N kroków uczenia sieci losujemy próbkę x(t) zgodnie z przybliżanym rozkładem p(x), w konsekwencji czego nieznacznie modyfikujemy jej stan. Aktualną postać mieszanki oznaczmy jako:

gdzie Θ = ( θ1 , . . . , θ K ). Niech t = 1, . . . , T będzie numerem bieżącej iteracji. Wektorowi x(t) przyporządkowujemy węzeł, dla którego wartość prawdopodobieństwa warunkowego (a