Kapitel 6: Unüberwachtes Lernen Clustering

Multidimensionale Skalierung

• Aufgabe: Bilde hochdimensionale (n-d) Daten auf niedrige Dimensionalität (k-d) ab, sodaß Abstände zwischen den Punkten annähernd gleich bleiben (Dimensionsreduktion)
• Funktioniert gut, wenn Daten auf k-dim. Mannigfaltigkeit liegen (z.B. gekrümmte Fläche)

SOM als MDS

• MDS entspricht dem Prinzip der topologischen Erhaltung in der SOM
•  SOM ist Clustering + MDS (mit Verzerrung abh. von Dichte)!

• Bereich 1

• 1

• Bereich 2

• 2

Topologische Darstellung

• Zwischenzustände durch Gewichtung mittels Distanz zu Zentren
• Ausgeprägte Grenzen darstellbar (U-Map, Ultsch)

Alternative: Sammon Mapping

• Minimiere Differenz aller Abstände:
• Nachteil: hoher Berechnungsaufwand
• Lösung: zuerst Clustering, dann Sammon Mapping (weniger Punkte); Flexer 1996
• Aber: Gleiche Probleme mit lokalen Minima wie k-means

• Abstand

• Originalpunkte

• Punkte in der Map

• Normalisierung

Probleme der SOM

• Keine probabilistische Beschreibung
• Konvergenz nicht garantiert
• Es gibt keine Fehlerfunktion, die minimiert wird!
• Clustering und MDS beeinflussen einander (beides kann suboptimal sein)
• Es ist schwer abschätzbar, ob SOM gut ist oder nicht
•  Empfehlung:
• SOM nur zur Visualisierung einsetzen! (nicht zum Clustering oder für überwachte Probleme)
• Genau überlegen, was Kriterium ist; Alternativen suchen

Generative Topographic Mapping (GTM)

• Bishop et al. (1996)
• Nichtlineares Mapping von einer Gitterstruktur auf eine Gaussian Mixture (z.B. durch MLP)
• GMM mit Randbedingungen
• Probabilistische Formulierung, umgeht viele der Probleme der SOM

• Aus Bishop et al. (1996), Neural Computation 10(1), 215-235

• Aus Netlab Demo demgtm2.m

• Netlab>demgtm1.m, demgtm2.m

• Zentrum abh. von Gitterpunkt

Praktische Aspekte

• Auch für unüberwachte Verfahren gelten im wesentlichen die 7 Schritte:
• Sichtung (Ausreißer)
• Vorverarbeitung: Skalierung der Merkmale beeinflusst die Distanz  Normalisierung
• Merkmalsselektion: irrelevante Merkmale können Clustering erschweren:

Kreuzvalidierung für unüberwachtes Lernen

• Modellschätzung mittels Kreuzvalidierung: bei k-means problematisch bei GMM: Likelihood-Funktion als Fehlerfunktion („Loss“-Funktion)

Kombination von überwachtem mit unüberwachtem Lernen

• Unüberwachte Verfahren alleine eignen sich nur für unüberwachte Probleme!
• Bei überwachtem Problem (gelabelte Daten) kann unüberwachtes Verfahren eingesetzt werden als
• Initialisierung
• Vorstrukturierung
• Beispiele:
• SOM oder GTM als Initialisierung eines RBFN
• Learning Vector Quantization
• ARTMAP

Learning Vector Quantization (LVQ)

• Kohonen (1990) Ordne Units Klassen zu
•  nearest neighbor Verfahren mit Vektorquantisierung (nicht jeder Trainingspunkt gespeichert)
• Vergleichbar mit Dichteschätzung der class-conditionals

• hinbewegen, wenn richtige Klasse

• wegbewegen, wenn falsche Klasse

Zusammenfassung

• Unüberwachte neuronale Netz-Verfahren reihen sich ebenfalls nahtlos in die Statistik
• Competitive Learning = k-means
• GMM als probabilistisches Clusteringverfahren
• SOM als Multidimensionale Skalierung + Clustering, aber mit Problemen