Kapitel 6: Unüberwachtes Lernen Clustering

Kapitel 6: Unüberwachtes Lernen

Clustering

• Gegeben: eine Menge von Punkten (Beispielen), „ungelabelt“ (i.e. Klasse unbekannt)
• Gesucht: eine Menge von Clustern (Cluster-Zentren), die die Daten möglichst gut beschreiben („Vektorquantisierung“)
•  minimiere (Summe der Abstände zu allen Zentren, quadratischer Quantisierungsfehler)

K-means Clustering

• Gradientenverfahren
• Neues Cluster-Zentrum ist Mittelwert der Punkte im Cluster
• Mehrere Iterationen notwendig

Clustering als NC: Competitive Learning

• Architektur wie Perceptron

• f ... Gauss; wie RBFN

• Wähle „Gewinner“ (am stärksten aktivierte Unit)

• Setze „Gewinner“ auf 1, alle anderen auf 0

• „winner-take-all“
• Gewinner lernt (Instar Regel):

Geometrische Interpretation

• Gewichtsvektoren und Inputs sind Punkte im Raum

• Input

• Gewinner wählen = finde nähesten Gewichstvektor

• Resultat: Gruppen in den Daten werden gefunden

• Instar: Ziehe Gewichtsvektor zu Input hin

• stochastische Variante von k-means!

• Matlab>demos>neural networks>other demos>chapter 14>competitive learning