Методологические основы

Факторы, определяющие эффективность программной имитации внешней среды на ЭВМ при разработке ПС, могут оцениваться в основ­ном по их воздействию на качество создаваемых программ. Это влияние трудно непосредственно измерить, однако качественный анализ показыва­ет, что автоматизированная имитация может значительно изменять не толь­ко достигаемые характеристики качества разрабатываемого ПС, но также трудоемкость И длительность его создания. Программная имитация внеш­ней среды на ЭВМ может обеспечивать широкие наборы тестов и доста­точно полные тестовые покрытия ПС и компонентов при испытаниях, в том числе за пределами характеристик реально существующих или дос­тупных источников тестов, а также соответствующие критическим или опасным ситуациям функционирования объектов внешней среды. Для каж­дого параметра, отражающего внешнюю среду, отношение диапазона или числа тестов, возможных при программной имитации на ЭВМ по сравне­нию с натурными экспериментами, может служить оценкой величины, возрастания достоверности определения характеристик качества ПС.

При тестировании необходимо учитывать не только соотношение раз­меров областей изменения параметров тестов, но и распределение вероят­ностей значений каждого параметра в этих областях для реальных и перс­пективных объектов внешней среды. Некоторые значения тестов не только трудно создать при натурных экспериментах, но они являются маловеро­ятными в реальных условиях. Однако такие, даже маловероятные ситуа­ции и значения тестов могут быть критическими и/или особо важными для функционирования всей системы, для которой разрабатывается ПС. Выбор и имитация подобных ситуаций позволяют отрабатывать и оцени­вать качество ПС в критических маловероятных ситуациях, которые не­возможно или опасно создавать на реальных объектах, но без их выполне­ния некоторые ПС недопустимо эксплуатировать в критических системах управления и обработки информации.

Экономическую эффективность программной имитации внешней среды на ЭВМ по сравнению с натурными экспериментами целесообразно оценивать при одинаковых объемах тестовых данных для испытаний и определения качества ПС. Показателем экономической эффективности имитации может служить соотношение затрат ресурсов на проведение натурных экспериментов и затрат на программную имитацию той же со­вокупности тестовых и эталонных данных.

Затраты ресурсов на натурные эксперименты для генерации тестов при проведении разработки, испытаний и определения качества пропор­циональны реальному времени функционирования проверяемого ПС и затратам на применение привлекаемых средств реальной внешней среды. Они включают стоимость эксплуатации реального объекта, создающего тесты в единицу времени (например, затраты на функционирование адми­нистративной системы, прокатного стана или системы управления воз­душным движением и всех управляемых ею объектов). Таким образом, затраты на натурные эксперименты для оценивания характеристик ПС определяются использованием всей реальной внешней среды, в которой предстоит в дальнейшем функционировать программам, а также затрата­ми на средства измерения характеристик этой среды и проверяемого ПС в процессе разработки, испытаний и определения качества.

Затраты на программную имитацию тестовых данных определяются ресурсами, необходимыми на проектирование и эксплуатацию сложных комплексов программ для этих целей, и следующими составляющими’.

• 
  затратами на разработку комплекса программ для имитации ин­формации внешних объектов и среды их функционирования;
  
• 
  затратами на эксплуатацию программ имитации за время проведе­ния тестирования, испытаний и/или определения характеристик качества тестируемого ПС;
  

• 
  — затратами на первичную установку и эксплуатацию моделирую­щей ЭВМ и вспомогательного оборудования, используемого в имитацион­ном стенде.
  
• 
  Имитационные стенды практически всегда являются уникальными и достаточно полно используют ресурсы моделирующей ЭВМ. В ряде слу­чаев эти комплексы программ могут иметь объем порядка 10⁴ — 10⁶ строк текста и должны создаваться с применением современных технологичес­ких систем. Затраты на эксплуатацию программ имитации в основном определяются длительностью проведения тестирования, испытаний и/или измерения характеристик качества ПС. Значения этого времени соответ­ствуют реальному времени генерации тестовых данных и тестирования программ. Затраты на эксплуатацию ЭВМ, используемую в моделирую­щем имитационном стенде (МИС), включают: первичные затраты на за­купку и установку оборудования, необходимого для имитации тестовых данных, стоимость имитирующей ЭВМ и устройств сопряжения имитаци­онного стенда с ЭВМ, на которой функционируют тестируемые программы.
  
• 
  Обычно МИС используется для тестирования нескольких ПС разно­го, но близкого целевого назначения. Следовательно, затраты на имитаци­онный стенд и на часть его программ распределяются на число проектов ПС, тестируемых с его использованием. В результате удельные затраты на создание и эксплуатацию стендов быстро убывают при унификации ими­таторов и расширении области их применения для тестирования и оцени­вания качества большого числа ПС, имеющих близкое функциональное назначение. Даже приближенные оценки при системном анализе соотно­шения этих затрат в большинстве случаев показывают высокую рента­бельность программных имитаторов внешней среды, особенно для ква­лификационного тестирования и оценивания характеристик качества круп­номасштабных ПС реального времени. Например, при тестировании ПС для управления воздушным движением применение имитационных стен­дов, по крайней мере, на порядок снижает затраты по сравнению с натур­ными экспериментами и использованием реальных объектов (самолетов), а для управления космическими аппаратами или атомными электростан­циями это соотношение может быть значительно больше (~10—100). При создании и определении качества административных систем с полной за­грузкой имитация способна заменить сложную организацию функциони­
  
• 
  рования по определенной программе большого коллектива операторов бан­ка, налоговой инспекции или таможенного органа.
  
• 
  При разработке и тестировании компонентов повторяемость некото­рых тестов около 3—5, а при испытаниях и определении качества крупно­масштабных ПС достигает 2—3. Поэтому целесообразно запоминать ими­тированные данные для их многократного использования и создавать фильмы сценариев поведения и характеристик тестов, отражающих внешнюю среду. В результате затраты на имитацию могут быть уменьше­ны в несколько раз за счет однократной имитации каждой совокупности тестов с полным использованием МИС. Предварительная подготовка филь­мов позволяет удобно контролировать имитированные данные, более эф­фективно использовать МИС, а также обеспечивает абсолютную повторяе­мость экспериментов. Однако они не позволяют учитывать в имитирован­ных данных реакцию функционирования испытываемых комплексов программ. Поэтому не полностью исключаются сложные эксперименты с одновременным использованием всей реальной аппаратуры МИС и оце­ниваемой системы, но обеспечивается сокращение в несколько раз коли­чества таких экспериментов.
  

• 
  ЛЕКЦИЯ 10
  
• 
  ДЕФЕКТЫ, ОШИБКИ И РИСКИ
  В ЖИЗНЕННОМ ЦИКЛЕ
  ПРОГРАММНЫХ СРЕДСТВ
  

1. 
   Общие особенности дефектов, ошибок и рисков
   в сложных программных средствах
   

•