Учебное пособие по курсу интеллектуальные системы (Часть 1) Москва 2003

Алгоритмы извлечения знаний

Нейрон-ные сети Индукция Статисти- ческие методы	Алгоритм обратного распространения и оригинальные алгоритмы нейронной сети поддерживают возможность сегментации, кластеризации и классификации для построения моделей классификации и прогнозирования. Индукция с помощью деревьев решения обеспечивает возможность сегментации и классификации для построения моделей классификации и прогнозирования. Поддерживают возможность поиска схожих временных последовательностей, прогнозирования значений и более общую технику статистического анализа.
Средства подготовка данных
Извлече-ние данных Выбор данных Преобра-зо-ание данных Чистка данных Вывод данных	Возможность “быстрого извлечения” из баз данных Oracle и Sybase и загрузки в DB2. Выбор, агрегирование, проектирование, группировка и обобщение данных (например, соединение фармацевтических данных транзакций с демографическими данными, относящимися к врачам). Символьное отображение, кодирование или дискретизация значений по областям или лингвистическим значениям типа высокий, средний, низкий. Фильтрация или удаление ошибочных данных (например, удаление демографических данных клиента в случае какой-либо ошибки). Получение математических или статистических значений (например, вычисление частоты транзакций клиента).
Средства визуализации данных
3-D GUIs (Xwindows/ Motif) Гистограм-мы, круговые диаграммы	Визуализация результатов извлечения знания поддерживает интерактивную визуализацию и анализ как наблюдаемых, так и моделируемых данных в стандартном и 3D форматах и высокоуровневый язык построения сценариев. Автоматически рисует гистограммы и круговые диаграммы для иллюстрации результатов анализа статистических сравнений и т.п.

Механизм выявления отклонений определяет особенности в выделенном наборе данных и объясняет, являются ли они следствием шумов или вызваны причинно-следственными отношениями. Кластеризация в противоположность механизму выявления отклонений разбивает БД таким образом, чтобы записи со сходными характеристиками объединялись вместе.

Механизм классификации и моделирования прогнозов использует исторические данные для автоматической генерации модели, которая может спрогнозировать будущее поведение. Механизм выявления ассоциаций по данным транзакций определяет, как часто один набор сущностей влечет наличие других сущностей в данной транзакции. Механизм анализа связей создает отношения между записями в БД. Механизм сегментации базы данных разбивает БД на наборы родственных записей, что полезно для получения сводки (краткого изложения) БД или для выполнения операций, предшествующих извлечению знаний (например, построение модели и анализ связей).
Перечисленные способы могут быть использованы для многих операций извлечения знаний в различных предметных областях. Например, используя механизмы выявления отклонений, финансовые служб компании могут определить мошенническое использование кредитных карточек путем проверки отклонений в образцах кредитной карточки клиента. Используя механизмы моделирования прогнозов, розничный торговец может прогнозировать изменения в покупательском спросе и не отставать от того ассортимента товаров, который предлагается в телемаркетах и почтой. Используя механизмы выявления закономерностей, менеджер супермаркета может определить, какие продукты наиболее часто продаются по сравнению с другими продуктами, и снабжать магазины в соответствии с максимальной возможностью сбыта. Страховая компания может использовать данные сегментации клиентов для проведения маркетинговой или рекламной компаний среди существующих клиентов. Анализ образцов последовательностей может быть использован, например, медицинскими исследователями при определении общих шаблонов симптомов, указывающих на некоторое заболевание.
Наиболее популярными приложениями в области извлечения знаний являются классификация и моделирование прогнозов. Intelligent Miner поддерживает два способа построения классификаций и моделей прогнозов: индукция на основе деревьев решений и индукция на базе нейронных сетей. Первый алгоритм индукции полезен для наборов данных, которые содержат категориальные (безусловные) данные, такие как, возрастные группы, коды штатов, пол (мужчина/женщина). Алгоритмы индукции на основе нейронных сетей адекватны для наборов данных, содержащих непрерывно изменяемые данные такие, как данные о прибыли или годовом доходе.
В ИС Intelligent Miner заложены также некоторые оригинальные алгоритмы для обнаружения закономерностей или образцов последовательностей в наборе данных, которые соответствуют критериям, определенным пользователем. Алгоритмы выявления ассоциаций полезны, например, в маркетинге при определении того, какие продукты в супермаркете продаются вместе в одной транзакции. Например, основываясь на мнении нескольких консультантов по извлечению знаний, можно установить, что предметом, наиболее часто приобретаемой вместе с сушеной рыбой в выездных магазинах, является пиво. С другой стороны, алгоритм выявления образцов последовательностей хорош для анализа транзакций БД, которые имеют место в течении некоторого периода времени. Скажем, для определения закономерности, что наличие одного набора сущностей сопровождается другим набором сущностей, например, такой: «40 % новых клиентов, которые обращаются за АТМ карточкой в одной транзакции, также обратятся для подсчета издержек в течении последующих 90 дней».
Эти алгоритмы являются оригинальной разработкой фирмы IBM; они уникальны, т.к. позволяют выявлять все ассоциации и образцы в данных, а также хорошо работают на очень больших наборах данных, обычно при поиске в корпоративных базах данных.
Другие алгоритмы и технологии, поддерживаемые Intelligent Miner, включают выявление схожих временных последовательностей и прогноз значений. Механизм выявления схожих временных последовательностей полезен при анализе БД для поиска последовательностей, аналогичных заданной, или для выявления всех схожих последовательностей. Например, по ежедневной цене закрытия акций в 1996 году, требуется найти все аналогичные случаи.
Механизм прогноза значений адекватен для задач определения зависимости в БД значения одного атрибута от значений других атрибутов в той же записи и автоматической генерации модели, которая заранее может определить значение некоторого определенного атрибута для новой записи - например, определить вероятность подделки кредитной карточки.
ИС Intelligent Miner включает обширную препроцессорную библиотеку средств для подготовки данных к извлечению и верификации. Как показано в таблице 4.3, в зависимости от используемых средств извлечения данных, аналитики могут отобрать, объединить, отфильтровать, очистить и/или преобразовать данные при их подготовки к извлечению или просмотру результатов анализа.
Intelligent Miner включает также набор средств интерактивной визуализации, которые полезны для просмотра результатов операций извлечения знаний. Средства визуализации основаны на программном пакете фирмы IBM для визуализации 3D (трехмерных) данных - Visualization Data Ex­plorer. Графический интерфейс Intelligent Miner основан на стандартах X-Windows и Motif и содержит полный набор стандартных средств визуализации при просмотре данных, таких, как показ плоскостей среза, треков векторных линий, объёмная визуализация и т.д. По существу, эти средства допускают интерактивную визуализацию и анализ как наблюдаемых, так и моделируемых данных.