Оценивать качество переходов в автоматизированных системах управления

Структурно-функциональная модель комплекса задач
Методики комплексной оценки качества и классификации систем управления были реализованы в программном комплексе задач «Комплексная оценка качества и классификация многомерных объектов» (свидетельство РОСПАТЕНТА № 2006613936 от 16.11.2006) [30,31,99]. Комплекс предназначен для автоматизации расчетов, выполняемых в ходе процедур оценки качества и классификации многомерных объектов и может применяться для оценки качества АСУП, программных продуктов, а также прочей продукции, характеристики которой могут быть представлены в виде многомерных объектов.
Процесс создания комплекса задач состоял из следующих этапов: анализ требований, предъявляемых к комплексу задач; разработка функциональной модели комплекса задач; разработка модели потоков данных комплекса задач; разработка информационной модели комплекса задач; проектирование архитектуры комплекса задач и интерфейсов пользователя; разработка (кодирование) программных модулей комплекса в соответствии с разработанными функциональной и информационной моделями.
Согласно поставленным задачам (гл. 1), а также с учетом разработанных методик оценки качества и классификации АСУП (гл. 2 и 3) разрабатываемый программный комплекс задач должен удовлетворять следующим требованиям:
1. поддерживать работу с произвольным числом метрик качества многомерных объектов, детализированных до любого уровня иерархии;
2. упростить процедуры обработки экспертных данных за счет автоматизации процесса расчета обобщенных экспертных оценок и подготовки анкет для проведения экспертных опросов на основе встроенных или пользовательских шаблонов;
3. автоматизировать процесс расчета весовых коэффициентов характеристик качества по результатам обработки экспертных данных;
4. выполнять анализ согласованности экспертных оценок, обладать встроенными механизмами выявления экспертов, давших оценки, значительно отличающиеся от оценок основной массы экспертов;
5. содержать встроенные механизмы анализа структуры метрики качества с целью выявления возможных рассогласований значений весовых коэффициентов;
6. автоматизировать расчеты, выполняемые в ходе процедур оценки и классификации многомерных объектов, за счет проведения классификаций при помощи различных алгоритмов и видов мер близости в разрезе любой выбранной характеристики качества с автоматическим или ручным заданием целевого количества классов;
7. обладать возможностью определения оптимальных результатов классификации, представлять результаты расчетов в текстовом или графическом видах.
Разработка функциональной модели комплекса задач велась на основании метода структурного анализа и проектирования SADT (Structured Analysis and Design Technique), представляющего собой совокупность концепций, правил и процедур, предназначенных для построения функциональной модели объекта какой-либо предметной области, т.е. модели, описывающей функциональную структуру объекта на основании иерархии взаимосвязанных диаграмм с требуемой степенью детализации [9,29,73,80]. Функциональная модель объекта состоит из диаграмм, фрагментов текстов и глоссария, имеющих ссылки друг на друга. Диаграммы - главные компоненты модели, все функции программной системы и интерфейсы на них представлены как блоки и дуги. Место соединения дуги с блоком определяет тип интерфейса. Входная информация поступает в блок слева, управляющая информация поступает в блок сверху, выходная информация выходит из блока с правой стороны. Выполняющий функцию механизм представляется входящей в блок снизу дугой (рис. 6). Одной из наиболее важных особенностей метода SADT является введение все большего числа уровней детализации по мере создания диаграмм, отображающих модель. Каждая диаграмма является декомпозицией блока более общей диаграммы.
На основании SADT разработан известный метод IDEFO (Icam DEFinition-0), который является подмножеством SADT и был впервые использован в рамках программы ВВС США 1С AM (Интегрированная компьютеризация производства).
На основании вышеперечисленных требований, предъявляемых к разрабатываемому комплексу, в соответствии с методом IDEF0 была разработана функциональная модель комплекса задач, представленная на рис.7. Основные функции блоков данной модели описаны ниже.
Блок «Ввод структуры метрики качества объектов и расчет значений весовых коэффициентов». В данном блоке реализованы функции, отвечающие за построение иерархической метрики характеристик качества, по которым производится оценка качества и классификация многомерных объектов (в частности, АСУП). Помимо непосредственного ввода перечня характеристик, составляющих структуру метрики качества, для каждой из них указывается ее тип, ранее согласованное значение весового коэффициента, при необходимости задается ее краткое описание.
Кроме функции построения иерархической метрики качества многомерных объектов в блоке реализованы функции автоматического расчета значений весовых коэффициентов характеристик качества. Расчет весовых коэффициентов производится на основании значений квартальных характеристик, определяемых для каждого распределения экспертных оценок (раздел 2.2), и может вестись как с учетом, так и без учета итоговой степени согласованности экспертных данных.
Блок «Ввод экспертных оценок для весовых коэффициентов характеристик качества». В блоке реализованы функции ввода и управления экспертными оценками, используемыми при определении значений весовых коэффициентов характеристик качества. В частности, в блоке реализованы функции: ввод и редактирование анкетных данных об экспертах и их оценках по каждой характеристике качества; управление экспертными оценками (например, полное или частичное исключение из дальнейшего рассмотрения оценок ряда экспертов); расчет квартальных характеристик, определение степени согласованности экспертных оценок путем вычисления значения коэффициента вариации (раздел 2.2); построение графиков распределений экспертных оценок.
Блок «Выявление рассогласования метрики и анализ согласованности экспертных оценок». В данном блоке реализованы функции, отвечающие за проверку непротиворечивости значений весовых коэффициентов характеристик качества, проведение операции согласования весовых коэффициентов, а также функции поиска неиспользуемых характеристик качества, значения весовых коэффициентов которых равны 0. Помимо этого, в блоке реализованы функции анализа согласованности экспертных данных, позволяющие увеличивать общую согласованность экспертных оценок за счет отсева экспертов, давших оценки, значительно отличающиеся от оценок основной группы экспертов (раздел 2.2).
Блок «Ввод значений показателей качества объектов». В блоке реализованы функции ввода и редактирования перечня многомерных объектов, подлежащих в дальнейшем прохождению процедур оценки и классификации, а также функции навигации и ввода значений показателей качества многомерных объектов.