Графики, метрики и отчеты
В процессе тестирования программных продуктов образуется большой объем полезной информации, которую можно использовать для анализа процесса, качества продуктов и измерения продуктивности работы команды. В Devprom ALM реализованы наиболее полезные метрики, которые команды используют в своей работе:
- Таблица ошибок - используйте график для анализа прогресса решения критичных ошибок, выявления этапов процесса, на которых сосредотачивается наибольшее количество критичных ошибок.
- История обнаружения ошибок по неделям - используйте отчет для выявления дисбаланса в скорости обнаружения ошибок тестировщиками. При значительном количестве обнаруженных ошибок стоит вернуть сборку разработчикам для стабилизации. При снижении общего количества обнаруженных ошибок прогнозируйте дату выхода релиза.
- Распределение пожеланий по приоритетам - с помощью этого графика можно, например, увидеть динамику появления критичных ошибок в проекте в целом или в рамках конкретного релиза.
- График сходимости дефектов - график сходимости позволяет оценить динамику заведения новых дефектов, исправления дефектов, а так же визуализировать общее количество дефектов, находящихся в состояниях добавлено и выполнено.
- Производительность тест-дизайна - используйте отчет для анализа объема изменений в тестовой документации, для выявления моментов разработки тестовой документации, для сравнения продуктивности тест-дизайнеров.
- График разработки тестовой документации - используйте график для контроля за подготовкой тестовой документации в релизе или проекте. Перед началом тестирования очередного релиза продукта требуемые разделы тестовой документации должны быть уже подготовлены.
Результаты тестирования по версиям
Назначение этого модуля - выявлять версии, начиная с которых "сломались" тесты. Укажите нужный тест-план для отбора сценариев и приложение покажет таблицу с результатами их выполнения в разрезе версий.
Метрики
Используйте метрики для верхнеуровневого контроля за процессом тестирования. Перечень метрик с их значениями доступен в модуле "Метрики". В категории "Тестирование" вычисляются следующие метрики:
| Метрика | Назначение и правила вычисления |
|---|---|
| Покрытие требований тестовой документацией, % | Реализованные требования должны быть верифицированы. Для этого используется тестовая документация. Отсутствие у требования связанного тестового сценария, потенциально указывает о том, что это требование не проверяется. Процент покрытия требований тестовой документаций позволяет выявлять и устранять такие случаи. С другой стороны, не все требования нуждаются в тестовом покрытии, например, требования с типом "Общая информация" или "Бизнес-требование". Процент покрытия вычисляется только по тем требованиям, чей тип отмечен опцией "Требования тестируются". Если в проекте типизация требований не используется, то процент покрытия вычисляется по всем требованиям. |
| Устаревших тестовых сценариев, % | При изменении исходных требований, система отмечает производные тестовые сценарии как устаревшие. Тестировщику необходимо актуализировать такие требования. Метрика позволяет отслеживать наличие устаревших тестовых сценариев. |