Учебное пособие по курсу интеллектуальные системы (Часть 1) Москва 2003

4.4. Инструментальное средство IDIS

ИС IDIS (Information Discovery System) фирмы Information Discovery представляет собой основанный на правилах продукт, предназначенный для извлечения знаний [3]. Среда IDIS поддерживает свойства, которые делают ее полезной для обработки больших SQL баз данных и построения моделей прогнозирования. В частности, ее отличительными чертами являются метод автоматического выявления правил, весьма дружественный пользовательский интерфейс, генерация легко читаемых англоязычных сообщений, пополняемая трехмерная графика. IDIS также поддерживает импорт данных, средства интерактивного анализа и визуализации данных. Может функционировать в среде клиент-сервер, включая Unix серверы и платформы параллельной обработки. Более того, пользовательский интерфейс IDIS является настолько дружелюбным, что может быть использован непрограммистами (такими, как аналитики и сотрудники маркетинговых служб) для анализа и выявления значимых тенденций и взаимосвязей в больших наборах данных.

Полная среда IDIS состоит из трех основных компонентов - собственно IDIS, средства для моделирования прогнозов (IDIS/PM) и средства для анализа географических данных (Map/IDIS), работающего совместно с ГИС (Географической Информационной Системой).
IDIS - это средство анализа баз данных и выявления образцов (паттернов) и правил. Оно автоматически решает, что просмотреть, вырабатывает гипотезы, выявляет скрытые и неожиданные образцы, правила, диаграммы и аномалии. Результаты представляются в среде гипермедиа. IDIS/PM - это средство для моделирования прогноза, работающее совместно с IDIS. IDIS/PM использует правила и шаблоны, автоматически генерируемые IDIS, и уточняет их, чтобы построить классификационные и прогнозирующие модели. Map/IDIS работает совместно с IDIS и ГИС (GIS) для анализа географически привязанных данных. Map/IDIS автоматически находит значимые тенденции и группы, которые визуально показывают паттерны, представленные в виде карт. Эти паттерны затем, используя системы ГИС, выводятся на экран.
Сильной чертой IDIS является его способность автоматически исследовать данные и извлекать правила из БД с незначительным участием пользователя или вообще без его участия и его возможность построения хорошо понимаемых текстовых англоязычных отчетов с использованием трехмерной графики. По существу, IDIS исследует базу данных, используя набор оригинальных алгоритмов анализа данных, которые автоматически формируют гипотезы о том, что является релевантным (т.е. соответствует рассматриваемому случаю). Затем он проверяет эти гипотезы для выработки значимых и априори непредвиденных правил и графиков, которые характеризуют искомую базу данных. Цикл автоматического формирования гипотез и их тестирования продолжается до тех пор, пока значимые правила и шаблоны не будут выявлены. Затем IDIS генерирует вполне читаемый отчет английского текста. Эти отчеты автоматически форматируются и показывают существенные отношения в базе данных, используя свободно структурированные английские предложения.
Средства визуализации и построения диаграмм располагают хорошими инструментами для предварительного анализа содержимого больших баз данных с целью выявления и вывода на экран важных диаграмм. Такой анализ может быть сфокусирован пользователем на некоторой специфической или более общей задаче. IDIS выводит на экран правила как с числовыми, так и с нечисловыми значениями данных в двух- и трехмерных диаграммах. Более того, эти экраны интерактивно связаны; это означает, что изменения, сделанные на одной диаграмме, автоматически отражаются на других.
IDIS может быть использована, как автономно, так и в конфигурации клиент-сервер. В автономной конфигурации он работает под Windows и читает dBASE и ASCII файлы. В режиме клиент-сервер IDIS имеет два компонента: клиентскую часть, которая работает на ПЭВМ под управлением Windows, и серверную часть, которая выполняется на Unix серверах таких, как Hewlett-Packard HP-9000, IBM RS-6000, Sun и UNISYS.
В режиме клиент-сервер IDIS работает с SQL машинами такими, как Oracle (используя продукт установки связи SQL*Net из Oracle), Sybase (с продуктами установки связи Open Client/DB-Lib из Sybase) или Red Brick (так же с Open Client).
IDIS/PM использует правила и шаблоны, сгенерированные системой IDIS. В то время как IDIS выявляет образцы (шаблоны) для формирования правил, IDIS/PM осуществляет сравнение образцов (pattern matching) для построения прогнозов, основанных на применении этих правил. Так как правила, которые образуют основу (базис) этих прогнозов, вполне читаемы и понимаемы человеком, модели прогнозов, построенные IDIS/PM, являются достаточно ясными и прозрачными в отличии от моделей, получаемых на основе технологии нейронных сетей.
На рис.4.1 представлена схема того, как средства IDIS и IDIS/PM используются совместно для разработки прогнозирующей модели. По существу, процесс построения приложения при моделировании прогнозов состоит из трех основных шагов. Во-первых, IDIS используется для анализа исторической базы данных, чтобы сформировать набор правил. Во-вторых, используя свои оригинальные алгоритмы разбиения, IDIS/PM оценивает и детализирует набор правил, выбирая лучшие правила для использования в прогнозирующей модели, и пренебрегая теми правилами, которые могут быть перекрыты другими правилами. В-третьих, детализированные правила, выработанные IDIS/PM, применяются к новому набору данных, при этом применяется механизм сравнения образцов для формирования прогноза.
Важно отметить, что IDIS/PM не является системой, основанной на деревьях решений, это единая система, основанная на правилах. Правила, которые использует IDIS/PM для прогнозирования, являются более общими, чем деревья решения. Это дает два важных преимущества. Первое состоит в том, что системе можно сформулировать ограничения (например, чтобы она отказывалась от прогноза, если данные противоречивы). Во-вторых, модели прогнозирования IDIS/PM обладают высокой устойчивость для зашумленных данных.



Рис.4.1. Схема формирования прогнозирующей модели.

IDIS/PM имеет дружественный пользовательский интерфейс (GUI), который позволяет пользователю строить прогнозирующие модели, только выбирая мышью опции меню. Пользовательский интерфейс позволяет пользователям строить модели с небольшими знаниями в области статистики или без этих знаний (хотя в идеале процесс извлечения знаний требует от пользователя знаний той предметной области, к которой принадлежат анализируемые данные). Дополнительно IDIS/PM имеет в своем составе электронные таблицы и различные средства построения диаграмм, которые полезны для вывода на экран, анализа и сравнения точности прогнозов.

IDIS/PM содержит также средства для уточнения прогнозирующих моделей. Для проведения этой операции используются рекурсивные алгоритмы оценки механизмов предсказания с целью определения, где модель прогнозирует лучше. Другими словами, IDIS уточняет свои собственные модели для улучшения их прогнозирующих свойств. Эта особенность особенно полезна при извлечении знаний, т. к., так или иначе, прогнозирующие модели должны уточняться для получения оптимальных прогнозов, основанных на постоянно изменяющихся данных.
IDIS/PM может осуществлять прямой доступ к большим хранилищам данных, вызывая SQL команды без загрузки данных в память. В этом случае модели будут обладать более высокой точностью, так как они строились с использованием больших наборов данных. Это более предпочтительно, чем использование ограниченных (репрезентативных) поднаборов базы данных, что может приводить к потере точности. Как числовые, так и нечисловые величины автоматически управляются IDIS/PM, и нет необходимости в кодировании величин.
Третий продукт - MAP/IDIS - работает в сочетании с Геоинформационными системами (ГИС). Анализируя географически ориентированные данные, Map/IDIS автоматически находит интересные тенденции и группы, которые визуально показывают паттерны, представленные в виде карт. Затем эти паттерны, используя ГИС, выводятся на экран. Map/IDIS выявляет паттерны сам без предварительно определенного запроса, без команды на построение карты или задания пользователем гипотезы.
Подобно IDIS/PM, средство Map/IDIS дополняет IDIS, автоматически анализируя большое количество географически ориентированных данных. Map/IDIS использует свои знания географии для выполнения анализа базы данных. В то время как IDIS выявляет образцы для поиска интересных правил, Map/IDIS выявляет образцы для поиска интересных карт.
Примеры географически ориентированных данных включают изображения продаж или доходов от потребительских продуктов по регионам, условия страховки от несчастных случаев в данном регионе, оценка ответной реакции на направленное маркетинговое продвижение в различных округах, данные страхования закладных по возрастам клиентов для финансового учреждения или шаблоны вызовов телефона на данный промежуток времени.
Путем анализа географически ориентированных данных, Map/IDIS автоматически находит интересные тенденции и группы, которые визуально показывают паттерны, представленные в виде карт. Эти паттерны затем выводятся на экран. Например, на основе большой национальной базы данных покупок продуктов потребления или использования кредита, может быть сгенерировано большое количество карт. Однако, не все эти карты будут интересными или результативными в значимых географических группах. Из десятков тысяч сгенерированных карт Map/IDIS автоматически отберет несколько десятков карт, которые являются наиболее важными.
Map/IDIS может быть использована для обнаружения и изображения на карте маркетинговой информации. Например, информация о покупке двух продуктов в выходные дни в определенных географических областях может выявить, основанные на скидках, образцы. Такая информация может быть использована для развития специализированного взаимосвязанного продвижения товаров в региональной рекламе для этих областей. В другом возможном приложении выявление и изображение на карте областей осуществления краж кредитных карточек в определенном населенном районе оказывается полезной для введения новых мер предосторожности, предотвращающих кражи, таких, как создание специальных конвертов для маскировки заключенных в них кредитных карточек, отсылаемых клиентам, живущим в зонах повышенного риска.
Специалисты отмечают, что основным отличием между продуктами фирм Information Discovery и IВМ является то, что хотя оба продукта поддерживают возможность индукции, IDIS генерирует правила, в то время как Intelligent Miner генерирует деревья решения такие, как модели нейронной сети. Кроме того, IВМ создавала Intelligent Miner как среду разработки, ориентированную на корпорации, которые хотят разрабатывать свои собственные приложения извлечения данных. Более того, Intelligent Miner требует хороших программистских навыков для его использования. С другой стороны, IDIS больше ориентирован на непрограммистов таких, как аналитики и другие конечные пользователи - специалисты в своей предметной области.