Графики, метрики и отчеты

В процессе тестирования программных продуктов образуется большой объем полезной информации, которую можно использовать для анализа процесса, качества продуктов и измерения продуктивности работы команды. В Devprom ALM реализованы наиболее полезные метрики, которые команды используют в своей работе:

  • Таблица ошибок - используйте график для анализа прогресса решения критичных ошибок, выявления этапов процесса, на которых сосредотачивается наибольшее количество критичных ошибок.
  • История обнаружения ошибок по неделям - используйте отчет для выявления дисбаланса в скорости обнаружения ошибок тестировщиками. При значительном количестве обнаруженных ошибок стоит вернуть сборку разработчикам для стабилизации. При снижении общего количества обнаруженных ошибок прогнозируйте дату выхода релиза.
  • Распределение пожеланий по приоритетам - с помощью этого графика можно, например, увидеть динамику появления критичных ошибок в проекте в целом или в рамках конкретного релиза.
  • График сходимости дефектов - график сходимости позволяет оценить динамику заведения новых дефектов, исправления дефектов, а так же визуализировать общее количество дефектов, находящихся в состояниях добавлено и выполнено.
  • Производительность тест-дизайна - используйте отчет для анализа объема изменений в тестовой документации, для выявления моментов разработки тестовой документации, для сравнения продуктивности тест-дизайнеров.
  • График разработки тестовой документации - используйте график для контроля за подготовкой тестовой документации в релизе или проекте. Перед началом тестирования очередного релиза продукта требуемые разделы тестовой документации должны быть уже подготовлены.

Результаты тестирования по версиям

Назначение этого модуля - выявлять версии, начиная с которых "сломались" тесты. Укажите нужный тест-план для отбора сценариев и приложение покажет таблицу с результатами их выполнения в разрезе версий.

Метрики

Используйте метрики для верхнеуровневого контроля за процессом тестирования. Перечень метрик с их значениями доступен в модуле "Метрики". В категории "Тестирование" вычисляются следующие метрики:

Метрика Назначение и правила вычисления
Покрытие требований тестовой документацией, % Реализованные требования должны быть верифицированы. Для этого используется тестовая документация. Отсутствие у требования связанного тестового сценария, потенциально указывает о том, что это требование не проверяется. Процент покрытия требований тестовой документаций позволяет выявлять и устранять такие случаи. С другой стороны, не все требования нуждаются в тестовом покрытии, например, требования с типом "Общая информация" или "Бизнес-требование". Процент покрытия вычисляется только по тем требованиям, чей тип отмечен опцией "Требования тестируются". Если в проекте типизация требований не используется, то процент покрытия вычисляется по всем требованиям.
Устаревших тестовых сценариев, % При изменении исходных требований, система отмечает производные тестовые сценарии как устаревшие. Тестировщику необходимо актуализировать такие требования. Метрика позволяет отслеживать наличие устаревших тестовых сценариев.