Внутренние квалификационные испытания качества программных средств (испытания главного конструктора), которые зачастую совмещаются с завершением комплексной отладки, должны оформляться документально и являются основанием при предъявлении ПС заказчику на квалификационные испытания для завершающего оценивания характеристик качества программного продукта (см. ISO 12207, ISO 15504, ISO 16326).Разработчик должен реализовать и оценить проект, комплекс программ, тесты, результаты тестирования и документацию для пользователя, учитывая:
полноту охвата испытаниями всех требований спецификаций к компонентам и к ПС в целом;
согласованность с требуемыми заказчиком и ожидаемыми результатами применения ПС;
возможность интеграции и тестирования ПС в составе системы;
возможность функционирования и сопровождения версий ПС в соответствии с требованиями контракта.
Любые испытания ограничены допустимым количеством и объемом проверок, а также длительностью работы комиссии испытателей, поэтому не могут гарантировать абсолютную проверку качества продукта. Для повышения достоверности определения и улучшения оценивания характеристик ПС после внутренних испытаний комплекс программ целесообразно передавать некоторым пользователям на опытную эксплуатацию в типовых условиях. Это позволяет более глубоко оценить эксплуатационные характеристики созданного комплекса и устранить некоторые дефекты и ошибки. Опытную эксплуатацию целесообразно проводить разработчиками с участием испытателей-заказчиков и некоторых пользователей, назначаемых заказчиком. Результаты и характеристики качества опытной эксплуатации после испытаний главного конструктора могут учитываться при проведении заказчиком квалификационных испытаний для их сокращения.
В лекции 13 рассмотрены этапы тестирования компонентов и ПС в целом с позиции последовательного увеличения функциональной сложности тестов и взаимодействия с объектами внешней среды. При этом не учитывались организационные этапы испытаний в соответствии со стандартами и их подотчетность разработчикам-поставщикам и заказчикам. Этапы и процессы квалификационного тестирования ПС с целью формального удостоверения для заказчика достигнутых характеристик качества комплекса программ и его компонентов в составе системы регламентированы в стандартах ISO 12207, ISO 15504.В них выделены три основных, функциональных этапа реализации квалификационного тестирования и испытаний (рис. 14.2):
квалификационное тестирование функциональных компонентов и ПС в целом вне аппаратуры системы;
интеграция и тестирование программного средства в целом в составе аппаратуры системы;
квалификационное тестирование и полные испытания системы в комплексе с программным средством.