Верификация

Верификация Программного
обеспечения.
Испытание БКУ и его ПО на НКО.
Верификация ПО
Верификация является одной из форм тестирования. Она
была разработана в 80-х гг. Кларком и Эмерсоном в США,
а также независимо Квайлом и Сифакисом во Франции.
Тестирование ПО – процесс выявления ошибок в ПО.
Существующие на сегодняшний день методы тестирования
ПО не позволяют однозначно установить корректность
функционирования анализируемой программы.
Верификация (от лат. verus – истинный, facere - делать) –
проверка,
проверяемость,
способ
обоснования
(подтверждения) каких-либо теоретических положений
путем их сопоставления с опытными данными.
Верификация
–
это
подтверждение
на
основе
предоставления объективных свидетельств того, что
установленные требования были выполнены (по ГОСТ
ИСО 9000-2001).
Формальная верификация
Как правило, большинством разработчиков программных
систем
для
проверки
правильности
проекта
практикуются методы имитационного моделирования
и тестирования. Они довольно эффективны на самых
ранних стадиях отладки, когда проектируемая
система
всё
ещё
изобилует
ошибками,
но
результативность этих методов быстро снижается, как
только система становится чище.
Достойной
альтернативой
имитационному
моделированию и тестированию являются методы
формальной
верификации.
При
имитационном
моделировании и тестировании исследуются только
некоторые из возможных сценариев поведения
проектируемой системы, поэтому остаётся открытым
вопрос о том, не содержится ли фатальная ошибка в
незадействованных траекториях.
Формальная
верификация
же
обеспечивает
исчерпывающий анализ всех возможных вариантов
поведения системы.
Методы формальной верификации
• Автоматическое доказательство теорем – доказательство
теорем, реализуемое программно. В основе лежит аппарат
математической логики. Также использует идеи теории
искусственного
интеллекта.
Процесс
доказательства
основывается на логике высказываний и предикатов.
• Проверка моделей. Метод автоматической верификации
параллельных систем с конечным числом состояний.
• Символьное выполнение (графы).
• Абстрактная интерпретация.
Этапы формальной верификации на модели
•
•
•
Моделирование. Для проектируемой системы необходимо построить
её абстрактную модель (например, конечную систему переходов),
приемлемую для инструментальных средств верификации моделей
программы.
Спецификация. Эта задача состоит в формулировании свойств,
которыми должна обладать проектируемая система. Определить,
охватывает ли заданная спецификация все свойства, которыми
должна обладать система, невозможно. Для аппаратуры и
программного обеспечения, как правило, применяют динамические
логики, временные логики и их варианты с неподвижными точками.
Вычисления алгоритмов. Результатом вычислений алгоритма
глобальной проверки на модели является множество состояний
модели, в которых спецификация выполняется, а алгоритм
локальной проверки на модели строит в качестве контрпримера
некоторое вычисление (ошибочную трассу), которое показывает,
почему формула не выполняется. Контрпример особенно важен для
поиска тонких ошибок в сложных системах переходов.
Метод проверки на модели
По сравнению с другими подходами в формальной верификации
программ, метод проверки на модели обладает двумя замечательными
преимуществами:
•
•
Он полностью автоматический, и его применение не требует от
пользователя никаких особых знаний в таких математических
дисциплинах, как логика и теория доказательства теорем. Всякий, кто
может провести моделирование проектируемой системы, вполне
способен осуществить и проверку этой системы.
Если проектируемая система не обладает желаемым свойством, то
результатом проверки на модели будет контрпример, который
демонстрирует поведение системы, опровергающее это свойство. Эта
ошибочная трасса даёт бесценную информацию для понимания
причины ошибки, равно как и важный ключ к решению возникшей
проблемы.
Основной недостаток метода проверки на модели — это "комбинаторный взрыв",
который возникает, когда в системе переходы в некоторых компонентах
выполняются параллельно. В 1987 г. К.МакМиллан показал, что, используя,
символьное представление графа переходов, можно верифицировать очень
сложные системы. Новое символьное представление было основано на
упорядоченных двоичных разрешающих диаграммах (OBDD) Бриана.
Понятие верификации ПО БКУ
В РКК «Энергия» нельзя использовать понятие верификация в
полном объеме, так как при создании очень сложных систем
невозможна реализация полной проверки, так как существуют
временные и стоимостные ограничения.
Показатель качества отработки и испытаний ПО БКУ КА
  d
 d
j
i
Ni 
j
j
ik
k
j
ik
j
1
k
Где
d ikj  1 , если i-й магистральный путь обеспечивает получение
правильной реализации;
 i j  1 , если i-й маршрут проверяется при оценке правильности реализации функции;
Ni по завершению должна быть равна 1.
Отработка и испытания ПО БКУ.
На предприятии РКК «Энергия» для отработки ПО БКУ используются
НКО, работающие в реальном масштабе времени. Комплексная
отработка и испытания ПО осуществляются группой интеграции и
тестирования по специально разработанным программам и методикам
испытаний (ПМИ) (тестовым сценариям).
НКО-1
Используется для интеграции и
последующей отладки ПО БКУ в объеме:
• выборочные проверки магистральных
путей наиболее вероятных нештатных
ситуаций;
• контроль интерфейса ,т.е. проверка ПО
в рамках:
обмен массивами и словами
данных;
передача командных массивов;
передача ТМ-данных;
• проверка распределения ресурсов
(памяти, процессорного времени,
каналов I/O).
НКО-2
(реальная
машина БЦВС)
Используется для испытаний, подругому верификации, ПО БКУ в
объеме:
• отработка ПО БКУ в соответствии
с планом полета (ПП) и режимами
КА;
• проверка на соответствие ПО
спецификации.
Структурная схема НКО
Шины модельного интерфейса:
MIL BUS 1553, Ethernet &SLIP
Средства
проведения
испытаний
Бортовая автоматика
Приборы и датчики СУДН
Технологические рабочие станции
БД, Архивы

управление отработкой, задание
режимов и сценариев отработки;

сбор, обработка и архивирование
информации;

управление
архивами;
базами
данных
и
Модель ЦУП-М
СС БВС

выдача команд управления;

получение,
дешифровка
отображение телеметрии.
Команды на БС
Система электроснабжения
Система обеспечения
теплового режима
Система обеспечения
жизнедеятельности
и
Сигналы и ТМпараметры от БС
БЦВС
Двигательная установка
Телеметрическая и радио
системы
Системы Европейского
транспортного корабля (ATV)
Системы американского
сегмента (АС)
Параметры обмена с АС и ATV
Математические модели
Стенд НКО-КМС для РС МКС
10
Стенд НКО-КМС для автоматических КА
11
Программа методика испытаний
Для проведения проверки ПО разрабатываются программы методики
испытаний (ПМИ).
ПМИ для каждого сценария должна содержать сведения, позволяющие
установить соответствие между фактическими результатами теста и
планируемыми результатами теста, а также допуски на каждый
контролируемый параметр.
Тестовый сценарий
Тестовый
сценарий
комплексной
отладки строится на основе логической
схемы процессов отладки. Сценарий
должен
отражать
во
времени
возникновение событий и взаимосвязей
между
ними.
Выбор
дискретных
моментов
времени,
в
которые
проводится оценка и принимаются
управляющие
воздействия,
осуществляется
в
зависимости
от
специфики
ПО
и
хода
процесса
реализации отладки.
Тестовые сценарии пишут на языках,
разработанных на предприятии. К таким
языкам относятся:
 Диполь (использовался при создании
СМ, ТГК и КА спутниковой системы
связи «Ямал»,
также используется в КИС- контрольный
испытательный стенд);
 Lua (используется сейчас для МИМ1малый исследовательский модуль);
 внутренние тестовые языки.
Матрица прослеживаемости требований
(НКО2)
В матрице прослеживаемости требований представлен перечень всех
требований, идентификатор программной единицы, наименование
программной единицы, номер требований вышестоящего ТЗ и
идентификатор теста, подтверждающего данные требования.
Протокол испытаний
Протокол испытаний – это текстовый файл, содержащий в хронологическом
порядке отклики системы на входные воздействия в ходе проведения
испытаний. Протокол содержит московское время события, время
относительно начала теста, значения устанавливаемых параметров и
примечания, содержащие комментарии о событиях.
ТМ-архив
Архив телеметрии – это файл, содержащий в закодированном виде набор
телеметрических сообщений, полученных от системы в ходе проведения
испытаний. Архив содержит бортовое время событий и значения
телеметрических параметров. Программа Telemet2 позволяет представить
архив телеметрии в виде текстового файла с комментариями и значениями
параметров в десятичном и шестнадцатеричном виде.
Критерии приемки
•
•
•
•
ПМИ для каждого теста должна содержать требования,
определяющие критерий приемки.
Объем и глубина проверок считаются достаточными, при
условии выполнения следующих требований полноты
тестирования:
ПО БКУ должно функционировать во всех возможных
полетных конфигурациях;
проверены все функциональные альтернативы в соответствии
с внешней спецификацией;
отработаны основные нештатные ситуации;
проверены граничные значения.
ПМИ для каждого теста в разделе "Критерий оценки" должна
содержать сведения, позволяющие установить соответствие
между фактическими результатами теста и планируемыми
результатами теста, а также допуски на каждый
контролируемый параметр.