Учебное пособие по курсу интеллектуальные системы (Часть 1) Москва 2003

2.3. Статистические методы

Часто удобно интерпретировать записи как точки в многомерном пространстве данных [1]. При такой интерпретации можно определить расстояние между двумя записями: записи, близкие друг другу, очень похожи, а записи, удаленные друг от друга – имеют мало общего.

Наша база данных выборки содержит такие атрибуты как возраст, доход и кредит; эти три атрибута формируют трехмерное пространство данных и можно анализировать расстояния между записями в этом пространстве (рис.2.6.)

Покупатель	Возраст	Доход	Кредит
Покупатель 1	32	40,000	10,000
Покупатель 2	24	30,000	2,000
	8	10	8

Покупатель 2

Покупатель 1  (8² + 10² + 8²) = 15

Рис. 2.6. Расстояние между точками данных.

Здесь выявляется преимущество хорошего кодирования – для качественного сравнения значений необходимо нормализовать атрибуты. Так, возраст изменяется от 1 до приблизительно 100 лет, в то время как диапазон изменения дохода – от 0 до 100000 долларов в месяц. Если использовать эти данные без коррекции, то атрибут доход будет резко отличаться от атрибута возраст, что приведет фактически к игнорированию атрибута возраста при сравнении. Следовательно, чтобы получить меру того же порядка величины, что и возраст, необходимо разделить доход на 1000; то же – и для атрибута кредит. Если мы проведем такое масштабирование для всех атрибутов, то получим достоверную меру расстояния между различными записями. В нашем примере , используя евклидову меру, получаем расстояние между покупателями 1, 2 равное 15.

Для пространства данных с низкой размерностью просто визуализировать сгустки данных, и иногда можно идентифицировать интересные кластеры (группы) просто визуальной инспекцией. Однако, в большинстве случаев необходимы более продвинутые программы поиска, которые обнаруживают такие кластеры. В нашем наборе данных (рис.2.7) возраст, доход, и кредит образуют идеальное трёхмерное пространство, в котором можно выполнять эту операцию кластерного анализа.


Рис. 2.7. Определение интересных групп.