Оценивать качество переходов в автоматизированных системах управления

Выбор и декомпозиция характеристик качества
На первом этапе происходит выбор и декомпозиция характеристик, по которым будет производиться оценка качества АСУП. Данный этап может быть выполнен как силами сотрудников предприятия, так и сторонней консалтинговой фирмой. Стоит отметить, что в последнем случае результат будет во многом определяться опытом работы консалтинговой фирмы, а также подробностью проводимого ею исследования, что уже напрямую влияет на конечную стоимость работы.
В случае выполнения первого этапа силами самого предприятия основная проблема будет заключаться в том, что на сегодняшний день не существует общепринятого алгоритма составления иерархических структур характеристик для оценки качества не только АСУП, но и ПО. Данная ситуация также усугубляется тем фактом, что в существующих стандартах оценки качества ПО описываются только верхние уровни наборов характеристик качества. Исходя из этого, в работе предлагается алгоритм построения иерархического набора характеристик качества , включающий в себя следующие этапы.
Изменения в структуре характеристик качества Набор и утверждение рабочей группы лицом, принимающим решение. На данном этапе лицом, ответственным за принятие решения по выбору системы управления, производится формирование рабочей группы, на которую возлагаются задачи проведения процедур оценки качества и сравнения АСУП. При формировании рабочей группы можно воспользоваться теми же методами, которые обычно применяются при формировании экспертных групп, поскольку так или иначе их цели совпадают. Стоит отметить, что эффективность работы группы во многом будет зависеть не от количества вошедших в нее сотрудников предприятия, а от ее качественного состава, поэтому основная задача, связанная с формированием рабочей группы, будет заключаться в том, чтобы выбрать тот или иной способ отбора сотрудников [95]. К наиболее распространенным способам формирования рабочей группы относятся следующие.
Способ назначения. В данном случае члены рабочей группы назначаются ЛПР. При этом удается составить группу из специалистов, заинтересованных в проведении выбора АСУП и склонных к коллективному обсуждению. Кроме того, руководитель может назначить авторитетных лиц, решение которых не вызовет сильных возражений у других сотрудников. При использовании этого способа назначения в рабочую группу во всех случаях попадают руководители подразделений, которые имеют право принимать решения в силу служебного положения. Однако вырабатываемое такой группой решение не обязательно наилучшее, т.к. руководители подразделений часто не имеют времени (а иногда - и желания) решать задачи новыми методами.
Способ взаимных рекомендаций («снежного кома»). При таком подходе ЛПР вначале опрашивает сотрудника предприятия, который должен войти в состав рабочей группы, на предмет кандидатур других лиц, которые, по его мнению, также должны войти в ее состав. Эти сотрудники также называют возможных специалистов из числа сотрудников предприятия, способных принять участие в процедуре выбора АСУП, и т.д. Постепенно круг взаимных рекомендаций замыкается - все потенциальные участники рабочей группы названы. Опыт показывает, что при использовании способа взаимных рекомендаций в группу попадают специалисты, способные провести наиболее глубокий научный анализ проблемы. Однако этот способ иногда приводит к слишком большому численному составу группы - более 200 человек [136, 145].
Документационный способ - способ отбора сотрудников по таким характеристикам, как стаж работы, должность и т.п. Решение рабочей группы, созданной таким способом, обладает определенной авторитетностью. Однако с точки зрения руководства предприятия, авторитетность такой группы ниже, чем у рабочей группы, сформированной способом назначения. Каких-либо особых преимуществ относительно ожидаемого качества результатов документационный способ не представляет. Независимо от способа формирования рабочей группы в ее состав должны входить сотрудники, представляющие все подразделения предприятия, заинтересованные в процессе внедрения и эксплуатации системы управления. Это позволит не только избежать ситуаций, при которых ряд важных функций системы окажется неучтенным, что выяснится только в процессе внедрения системы, но и позволит сотрудникам подразделений подготовиться к процессу внедрения АСУП на предприятии.
Важным требованием, предъявляемым к членам группы, являются их личные качества, компетентность, а также способность приводить аргументы в защиту своей позиции, выделять существенные для рассматриваемого вопроса обстоятельства, находить и использовать дополнительную, относящуюся к делу информацию. Что касается вопроса определения компетентности членов группы, то существует ряд методов оценки компетентности: метод самооценки, метод взаимной оценки, документационный, тестовый метод и др. Однако, как показывает практика, нет оснований считать, что какой-либо метод оценки компетентности характеризует уровень специальных знаний сотрудника или его способность производить оценки, близкие к истине. Проведенный анализ влияния весовых оценок компетентности на параметры распределения экспертных оценок [ПО] показал, что применение весовых оценок компетентности в большинстве случаев увеличивает отклонение среднего значения от истины, увеличивает рассеяние экспертных оценок и искажает действительный вид распределения экспертных оценок. Весовые оценки компетентности присваиваются эксперту без учета того состояния, в котором он находится в момент опроса. Однако точность оценок эксперта может резко колебаться в момент опроса под влиянием настроения, отсутствия стимулов проявлять компетентность и т.п. Таким образом, литературные данные и опыт практической работы свидетельствуют о том, что точность экспертных оценок значительно больше зависит от заинтересованности экспертов в результатах работы, нежели от введения тех или иных поправок к оценкам экспертов в соответствии с их компетентностью. Поэтому вопрос о компетентности эксперта должен подниматься только один раз - при формировании экспертной группы, после чего необходимо считать всех экспертов одинаково компетентными. В тех же случаях, когда по ряду вопросов, связанных с оценкой качества АСУП, рабочая группа не является компетентной, следует рассмотреть вопрос о возможности привлечении в группу сторонних консультантов, знающих тонкости автоматизации бизнес-процессов различных предприятий.
Составление первоначальной структуры характеристик качества. После изучения рабочей группой документации ряда АСУП, а также на основании требований предприятия и существующих стандартов, регламентирующих оценку качества ПО, разрабатывается первоначальная структура характеристик качества.