Методологические основы

Решение о проведении оценивания характеристик ПС может быть принято в процессе разработки и всего ЖЦ. Если такое решение принято на начальном этапе разработки, то появляется возможность встроить в процессе разработки тесты и средства измерения для испытаний. Это обес­печивает максимальный успех в удовлетворении всех требований относи­тельно результатов оценивания характеристик ПС и минимизирует риск ошибок в экстремальных, незапланированных ситуациях. Когда заказчи­ком является разработчик ПС, ранний контакт с оценщиком для испыта­ния или экспертизы может помочь разработчику учесть некоторые специ­альные требования со стороны испытателя. Для очень больших, сложных проектов ПС разработчику должно быть выгодным иметь детальную коо­перацию с оценщиком характеристик во время всего процесса разработки продукта для минимизации продолжительности и стоимости процесса ис­пытаний. Обязанностью заказчика испытаний должно быть:

• 
  установить его необходимые легальные права для выполнения испытаний ПС;
  
• 
  предоставить испытателю информацию, необходимую для иденти­фикации и описания программного средства и компонентов;
  
• 
  установить начальные требования и вступить в переговоры с ис­пытателем для выработки реальных оценочных требований;
  
• 
  требования к испытаниям следует подчинять соответствующим регламентирующим документам и стандартам;
  
• 
  установить требования к конфиденциальности информации, пере­даваемой на испытания;
  
• 
  при необходимости обеспечить поддержку испытателю, включая обучение и доступ к подходящим документам;
  
• 
  гарантировать своевременную поставку испытателю описания и компонентов ПС, включая документацию и другие материалы;
  
• 
  информировать испытателя о любых возможных факторах, кото­рые могут обесценить результаты испытаний.
  

• 
  Испытателю следует проанализировать технические ограничения, от­носящиеся к измерениям или верификациям, заданным в спецификации оценивания, и документировать подходящий метод. Метод оценивания — это процедура, описывающая действие, выполняемое испытателем при получении результата специфицированного измерения, экспертизы или верификации для системы, компоненты или ПС. Когда метод оценивания описывается на основе программного инструментария, данный инстру­ментарий должен быть идентифицирован в плане и методике испытаний. При этом обязанности оценщика — испытателя включают:
  

• 
  проверить легальные права заказчика на систему и ПС для оцени­вания, для чего испытатель может потребовать соответствующие доку­менты от заказчика;
  
• 
  хранить конфиденциальность обо всей информации, передаваемой заказчиком, включая тексты ПС, записи результатов и отчет об испытаниях;
  
• 
  предоставить квалифицированный и обученный персонал для вы­полнения испытаний;
  
• 
  обеспечить инструментарий и технологию оценивания;
  
• 
  выполнить испытания в соответствии с оценочными требованиями и спецификацией заказчика;
  
• 
  хранить записи любой работы, выполняемой при оценивании, ко­торые воздействуют на результаты;
  
• 
  обеспечить наглядность проведения испытаний для наблюдения заказчиком и своевременную передачу отчета об оценивании заказчику.
  

• 
  Оценочные требования должны содержать общее описание области применения ПС и состоять из перечня требований к характеристикам. Должна быть указана относительная значимость (приоритет) конкретных характеристик в требованиях. Для каждого положения в оценочных требо­ваниях должна быть представлена спецификация информации, содержа­щейся в компонентах ПС.
  
•