Методологические основы

Спецификация оценивания — испытаний должна определять об­ласть экспертизы и измерения различных компонентов продукта, переда­ваемого на оценивание. Уровень детализации в спецификации испытаний должен быть таким, чтобы на ее основе гарантировались повторяемость и воспроизводимость испытаний. Заказчик должен представить описание оцениваемого продукта. Целью такого описания является определить об­ласть оценивания и идентификацию тех компонентов, которые рассматри­ваются как часть продукта, в отличие от компонентов ПС, на которые только ссылаются для облегчения понимания функций продукта. Это дол­жно позволить разложить оценочные требования на субхарактеристики. Затем испытатель должен специфицировать методы измерения и экспер­тизы, предназначенные для анализа характеристик, субхарактеристик и атрибутов качества выбранных компонентов. Оценщик должен выполнять верификацию спецификации оценивания в соответствии с требованиями, установить, что компоненты, перечисленные в описании продукта, содер­жат всю необходимую информацию для выполнения оценивания в соот­ветствии с требованиями.

План испытаний или экспертизы характеристик программных про­дуктов должен состоять из разделов:

• 
  введение — постановка задачи и цели оценивания — испытаний;
  
• 
  методология обеспечения объективности испытаний характерис­тик ПС;
  
• 
  выделенные для проекта характеристики и атрибуты качества и безопасности ПС по стандарту ISO 9126:1-4 и другим стандартам;
  
• 
  требуемое качество ПС и достоверности процессов испытаний;
  
• 
  расписание выполнения работ по испытаниям характеристик ПС;
  
• 
  распределение обязанностей и ответственности специалистов при оценивании характеристик и атрибутов качества;
  
• 
  анализ и использование результатов испытаний;
  
• 
  содержание и оформление отчетов по выполнению испытаний;
  
• 
  дополнительные требования по технике, инструментальным сред­ствам и методам обслуживания испытаний, по соответствию стандартам и организационной поддержке измерений и экспертиз.
  

• 
  Испытатель должен обеспечить входные данные для процесса оцени­вания: предопределенные спецификации оценивания; методы и инстру­ментарий. Процесс оценивания — испытаний рекомендуется в стандар­те из следующих действий:
  

• 
  анализ оценочных требований, при котором выделяются для иден­тификации реальные требования заказчика на испытания;
  
• 
  спецификация процессов и возможных результатов, при которой вырабатывается спецификация оценивания на основе требований и описа­ния программного продукта, предоставляемых заказчиком;
  
• 
  проект процессов испытаний, при котором вырабатывается план на основе спецификации оценивания, компонентов ПС и методов, предла­гаемых испытателем;
  
• 
  процесс выполнения плана оценивания, который состоит из моде­лирования, экспертизы, измерения и испытания компонентов ПС в соот­ветствии с планом, с использованием программного инструментария, а также действия, осуществляемые испытателем, которые фиксируются и результаты заносятся в отчет;
  
• 
  заключение по оцениванию, которое состоит в предоставлении отчета о результатах испытаний компонентов и ПС.
  

• 
  В процессе испытаний может потребоваться использование программ­ных инструментов для сбора обработанных данных или для осуществле­ния интерпретации промежуточных данных. Штат оценщиков должен быть обучен пользоваться соответствующими инструментами. При оценивании должны быть получены, зафиксированы и предъявлены заказчику следу­ющие данные'.
  

• 
  требования, которые описывают цели оценивания, в частности, требуемая критичность и безопасность испытанного продукта;
  
• 
  спецификация оценивания, которая определяет весь анализ и вы­полняемые измерения, и все компоненты ПС, которые должны анализиро­ваться и измеряться;
  
• 
  план оценивания, который описывает операционные процедуры, необходимые для выполнения спецификации оценивания, в частности, все методы и инструменты, используемые при оценивании;
  
• 
  записи об оценивании, которые состоят из плана оценивания и детальных действий оценщика при выполнении плана;
  
• 
  отчет по оцениванию характеристики, который содержит требова­ния, спецификацию оценивания, результаты измерений и анализа, а также любую другую информацию, необходимую для возможности повторения или воспроизведения оценивания, а также обобщенный отчет заказчику.
  

• 
  Цель заключения состоит в обзоре отчета об испытаниях и передаче данных оценивания заказчику. Следует организовывать совместный обзор и анализ отчета заказчиком и испытателем. Заказчику следует дать воз­можность сделать комментарии по отчету. Если такие комментарии сдела­ны, то их следует внести в специальный раздел отчета, после чего он должен быть передан испытателю и заказчику.
  
• 
  С позиций разных потребителей результатов измерения и оцени­вания качества ПС построены третья, четвертая и пятая части стан­дарта ISO 14598:1-6 — соответственно для:
  

• 
  разработчиков — оценивание внутренних и внешних характерис­тик качества (ч. 3);
  
• 
  оперативных пользователей — измерение внешних метрик и мет­рик в использовании (ч. 4);
  
• 
  заказчиков и испытателей — определение метрик в использовании (ч. 5).
  

• 
  В каждой части выделены и детализированы подобные разделы’. особенности и потребности конкретных пользователей в результатах ис­пытаний и номенклатуре требуемых характеристик ПС; концепция прове­дения испытаний и оценивания качества; определение требований к про­цессам испытаний характеристик программ; идентификация характерис­тик и атрибутов качества ПС для конкретных пользователей результатов испытаний.
  
• 
  Результаты оценки характеристик предлагается отражать с позиции: процессов жизненного цикла; продуктов и их компонентов; функциониро­вания и применения ПС. Требования к процессам оценивания рекоменду­ется структурировать на главные (функциональные), организационные, проектные, а также выделять внутренние и внешние метрики качества и их измерение, ориентируясь на субхарактеристики и их атрибуты в соот­ветствующих частях стандарта ISO 9126:1-4. Реализация процессов испыта­ний программного продукта по требованиям стандарта должна проводить­ся квалифицированными и аттестованными специалистами, независимы­ми от разработчиков проекта, процессов создания ПС и его компонентов, однако коррелированно с этапами жизненного цикла конкретного проекта в соответствии с применяемой адаптированной версией стандарта ISO 12207.
  
• 
  Обращается внимание на целесообразность учета и использования истории развития и изменений эксплуатационных требований заказчиков- потребителей к определенному проекту и функциональному назначению ПС. В отчете об испытаниях рекомендуется представлять характеристики качества в соответствии с номенклатурой и мерами субхарактеристик и атрибутов, адаптированными к назначению, функциям и особенностям конкретного проекта ПС и потребителей результатов измерений.
  
•