<<
>>

Обработка результатов динамического тестированиякомплексов программ в реальном времени


Регистрация и обработка характеристик динамических тестовых данных должна обеспечивать их контроль на соответствие заданным требованиям к программному комплексу, обобщенным ха - рактеристикам каждого объекта внешней среды и исходным данным сеанса испытаний.
Так проводится процесс испытаний по конечным результатам функционирования комплекса программ, выдаваемым внешним абонентам и для определения интегральных характеристик качества и их соответствия требованиям к программному комплексу. Однако для диагностики и локализации отказов, дефектов и ошибок, а также для оценки некоторых частных характеристик качества могут быть необходимы промежуточные данные исполнения программ на объектном компьютере.
Селекция результатов динамических испытаний может основываться на стратегии контроля функционирования программного комплекса снизу вверх, т.е. от анализа исполнения отдельных компонентов программы и далее до стохастических результатов функционирования всего комплекса в динамике реального времени. При этом регистрируется избыточное количество данных, из которых затем отбирается минимум, необходимый для анализа. Может использоваться стратегия сверху вниз, т.е. упорядоченное, иерархическое выделение в первую очередь обобщенных результатов функционирования комплекса программ с последующим уточнением регистрируемых и анализируемых результатов вплоть до детального контроля исполнения отмеченных программных компонентов. В этом случае регистрируются только те данные, которые необходимы для анализа в конкретном сеансе динамического тестирования. При обеих стратегиях необходимо иметь возможность управлять объемом и видом выделяемой и регистрируемой информации тестирования в зависимости от целей испытаний. Данные, получаемые и выделяемые в процессе испыта - ний качества комплекса программ, целесообразно делить на следую - щие группы [20, 33, 35] : данные, характеризующие исходную тестовую информацию и выходные результаты динамического тестирования; маршруты исполнения программных компонентов и их операторов при некоторых фиксированных тестовых данных; аномальные события, сбои, отказы и данные, характеризую - щиеся отклонением результатов динамического тестирования от требований за допустимые пределы и ограничения; характеристики динамического использования различных ресурсов объектного компьютера.
Регистрация промежуточных данных обычно соответствует некоторым достаточно завершенным этапам испытаний функционирования программного комплекса. Вызовы регистрирующих программ должны подчиняться определенной системе контроля динамического функционирования программ при исходной гипотезе, что некоторые ошибки и дефекты в программах и данных могут проявиться на любой стадии тестирования. Однако количество вызовов регистрирующих программ и контроль промежуточных результатов, требующих нарушения целостности исполнения функциональных программ, следует ограничивать, учитывая допустимые расходы ресурсов времени на их реализацию. Так как основная задача регистрации при тестировании в реальном времени состоит в обнаружении и локализации ошибок и причин отказов с точностью до функциональной группы программ или компонента, то более точное определение места дефекта приходится переносить на тестирование компонентов и модулей по детерминированным сценариям вне реального времени.

Так как испытания современных крупных систем обработки информации и/или управления позволяют получать такое большое количество контрольных данных, что достаточно полный их анализ представляет трудную методическую и техническую задачу, обработку динамических результатов целесообразно осуществлять иерархически и дифференцировано (см. рис. 2.13). При избытке кон - тролируемых величин снижается общее быстродействие имитаторов и комплекса программ в результате затрат времени на контроль и регистрацию. В каждом конкретном случае необходимо стремиться к компромиссу между полнотой регистрации промежуточных данных тестирования и удобством анализа обобщенных результатов на соответствие требованиям.
Обработка результатов испытаний программных комплексов реального времени может быть разделена на две, достаточно автономные части: оперативную и обобщающую. Оперативная обработка результатов динамического тестирования должна производиться по упрощенным алгоритмам с большой пропускной способностью, обеспечивающим сохранение реального масштаба времени для всего испытываемого комплекса программ. Основная часть оперативной обработки результатов связана с замыканием контура обратной связи для имитации динамики функционирования управляемых объектов внешней среды. В оперативную обработку целесообразно включать расчет части интегральных данных динамического тестирования, позволяющих контролировать текущий процесс обработки информации испытываемым комплексом.
Обобщающая обработка накопленных результатов испытаний может производиться вне реального времени после завершения одного или серии испытаний. Основная задача при этом состоит в расчете различных интегральных характеристик качества функционирования программного продукта и соответствия их заданным требованиям заказчика. Зарегистрированные и обработанные результаты испытаний должны использоваться для установления соответствия полученных характеристик качества заданным требованиям. При выявлении их отклонения от требований технического зада - ния заказчика, спецификаций требований или декларируемых в документации, должны разрабатываться корректировки программ для устранения несоответствия. Для этого все этапы тестирования и испытаний программных продуктов должны быть поддержаны системой конфигурационного управления версиями программных компонентов и базой данных документирования тестов, результатов испытаний и выполненных корректировок программ. Средства накопления сообщений об отказах, ошибках, предложениях на изменения, выполненных корректировках и оцененных характеристиках качества версий являются основой для конфигурационного управления развитием и совершенствованием комплекса программ.
Затраты на имитацию внешней среды и на генерацию динамических тестов для оценивания качества заказных программных продуктов могут быть одной из существенных составляющих при их создании. В ряде случаев, они соизмеримы с затратами на создание основных функций комплексов программ, что определяется принципиальным соответствием сложности необходимых наборов тестов и тестового покрытия программ, и сложности функций, реализуемых испытываемым комплексом программ. Создание представительных совокупностей динамических тестов возможно путем использования реальных объектов внешней среды или с помощью программных имитаторов, адекватных этим объектам по результатам функционирования и генерируемой информации. При этом возникает проблема - какой метод и когда выгодней по затратам на генерацию тестов и по обеспечению необходимой степени покрытия тестами испытываемых комплексов программ.
Имитаторы тестов могут быть необходимы не только для оцени - вания достигнутых характеристик качества комплексов программ, но также для их комплексной отладки, квалификационного тестирова- ния, испытаний, и при создания версий. Поэтому затраты на программные имитаторы и их экономическую эффективность целесообразно рассматривать в проекте с учетом всего комплекса задач, которые они способны и должны решать в жизненном цикле программного комплекса. Анализ эффективности программной имитации внешней среды при разработке и определении качества целесообразно разделять на две части, оценка факторов, определяющих эффектив- ность средств имитации тестов, и оценка экономического выигрыша при моделировании внешней среды на ЭВМ по сравнению с натурными экспериментами в реальных системах.
Факторы, определяющие эффективность программной имитации внешней среды на компьютере при разработке крупных комплексов программ, могут оцениваться в основном по их воздействию на качество создаваемых систем. Программная имитация внешней среды на компьютере может обеспечивать широкие наборы тестов и достаточно полные тестовые покрытия комплексов и компонентов при испытаниях, в том числе за пределами характеристик реально существующих или доступных источников тестов, а также соответствующие критическим или опасным ситуациям динамического функционирования объектов внешней среды [12, 17, 35].
Некоторые значения тестов не только трудно создать при натурных экспериментах, но они являются маловероятными в реальных условиях. Однако такие, даже маловероятные ситуации и значения тестов могут быть критическими и/или особо важными для функционирования всей системы, для которой разрабатывается и тестируется заказной программный комплекс. Выбор и имитация подобных ситуаций позволяют отрабатывать и оценивать качество в критических маловероятных ситуациях, которые невозможно или опасно создавать на реальных объектах, но без их выполнения некоторые продукты не допустимо эксплуатировать в критических системах управ - ления и обработки информации.
Экономическую эффективность программной имитации внешней среды на компьютере по сравнению с натурными экспери- ментами целесообразно оценивать при одинаковых объемах динамических тестовых данных для испытаний и определения качества. Показателем экономической эффективности имитации может служить соотношение затрат на проведение натурных экспериментов и затрат на программную имитацию той же совокупности тестовых и эталонных данных. Затраты ресурсов на натурные эксперименты для генерации тестов при проведении разработки, испытаний и определения качества пропорциональны реальному времени функционирования проверяемого программного комплекса и затратам на применение привлекаемых средств реальной внешней среды.
Затраты на программную имитацию динамических тестовых данных определяются ресурсами необходимыми на производство и эксплуатацию сложных комплексов программ для этих целей. Имитационные стенды практически всегда являются уникальными. В ряде случаев эти комплексы программ могут иметь объем порядка 106 строк текста и должны создаваться с применением современных технологических систем. Затраты на эксплуатацию программ имита - ции в основном определяются длительностью проведения динамического тестирования, испытаний и/или измерения характеристик качества.
Даже приближенные оценки при системном анализе соотношения этих затрат в большинстве случаев показывают высокую рентабельность программных имитаторов внешней среды, особенно для квалификационного тестирования и оценивания характеристик качества крупных программных комплексов реального времени. Напри - мер, при тестировании системы для управления воздушным движением, применение имитационных стендов, по крайней мере, на порядок снижает затраты по сравнению с натурными экспериментами и использованием реальных объектов (самолетов), а для управления космическими аппаратами или атомными электростанциями это соотношение может быть значительно больше (~ 10 - 100).
Примером сложного испытательного стенда и моделей внешней среды для динамического тестирования и проверки на соответствие требованиям к функциям и характеристикам комплексов программ может быть тренажер управления полетами воздушных судов и диспетчерских систем в центрах управления воздушным движением. Для комплексной отладки, тестирования, испытаний и серти - фикации программных продуктов управления воздушным движением (УВД) проводится имитация в реальном времени всей информации, поступающей из внешней среды. Источниками информации для цен - тров УВД являются радиолокационные станции, летный состав на борту воздушных судов, диспетчеры управления воздушным движением и исходные планы полетов. 
<< | >>
Источник: Липаев В.В.. Экономика производства программных продуктов.. 2011

Еще по теме Обработка результатов динамического тестированиякомплексов программ в реальном времени:

  1. ОБРАБОТКА ДАННЫХ В РЕАЛЬНОМ МАСШТАБЕ ВРЕМЕНИ
  2. Статистическая обработка результатов психолого-педагогического исследования
  3. 11.4. ОБРАБОТКА ПЕРВИЧНОЙ СОЦИОЛОГИЧЕСКОЙ ИНФОРМАЦИИ, АНАЛИЗ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ. КВАНТИФИКАЦИЯ И ШКАЛИРОВАНИЕ
  4. Эксперимент в режиме реального времени
  5. КСЕНОБИОТИКИ, ПОСТУПАЮЩИЕ В ОРГАНИЗМ В РЕЗУЛЬТАТЕ ПОЛУЧЕНИЯ, ОБРАБОТКИ ИЛИ ХРАНЕНИЯ ПИЩЕВЫХ ПРОДУКТОВ
  6. 4.7. Интерпретация результатов 4.7.1. Интерпретация как теоретическая обработка эмпирической информации
  7.   7. ФОРМИРОВАНИЕ НОВЫХ ПРОГРАММ ПОВЕДЕНИЯ. НАУЧЕНИЕ КАК СЛУЧАЙНЫЙ ПРОЦЕСС, УПРАВЛЯЕМЫЙ РЕЗУЛЬТАТАМИ  
  8. 4.6. ОБРАБОТКА ДАННЫХ 4.6.1. Общее представление об обработке
  9. СЕКЦИЯ III. ВЫЗОВЫ ВРЕМЕНИ В ОЦЕНКАХ КОНФЕССИЙ: РЕЛИГИОЗНАЯ ФИЛОСОФИЯ, БОГОСЛОВИЕ, СОЦИАЛЬНЫЕ ПРОГРАММ
  10. Вывод результатов расчета энергозатрат и затрат машинного времени буровых установок различных типов
  11. 4.6.3. Вторичная обработка 4.6.3.1. Общее представление о вторичной обработке
  12. Программы расчета энергозатрат и затрат машинного времени при спус-ко-подъемных операциях за цикл проводки скважины, на примере спуско-подъемного комплекса (СИК) буровых установок различных типов
  13. Глава 21 ДЛЕНИЕ ВРЕМЕНИ, ЧУВСТВО ВРЕМЕНИ И СОЗНАНИЕ ВРЕМЕНИ
  14. Глава 21 ДЛЕНИЕ ВРЕМЕНИ, ЧУВСТВО ВРЕМЕНИ И СОЗНАНИЕ ВРЕМЕНИ
  15. ВОЗМЕЩЕНИЕ ВРЕДА, ПРИЧИНЕННОГО В РЕЗУЛЬТАТЕ ТЕРРОРИСТИЧЕСКОЙ АКЦИИ, И СОЦИАЛЬНАЯ РЕАБИЛИТАЦИЯ ЛИЦ, ПОСТРАДАВШИХ В РЕЗУЛЬТАТЕ ТЕРРОРИСТИЧЕСКОЙ АКЦИИ
  16. II. Динамическая геология
  17. В. О ДИНАМИЧЕСКИ ВОЗВЫШЕННОМ В ПРИРОДЕ
  18. СТАТИЧЕСКИЕ И ДИНАМИЧЕСКИЕ МОДЕЛИ