Перед релизом команда получает два похожих результата: в контрольном запуске — 1 000 тестов, в новом — тоже 1 000. Успешных стало меньше. В чате уже пишут: «Нашли регрессию».
Короткий ответ: подобное сравнение даёт представление о том, как поменялись результаты одних и тех же тестов и состав набора. Переход общего теста из «Успешного» в «Неуспешный» — кандидат в регрессию, но не доказательство. Отсутствие теста в одном запуске говорит об изменении состава. Чередование статусов — признак возможной нестабильности, который проверяют по истории, повторным попыткам, окружению, логам и артефактам.
Тестовый запуск фиксирует результаты и контекст проверки: окружение, связанные задачи, время, джобы и другие метаданные. Подробнее модель разобрана в статье «Тестовые запуски: создание, статусы, результаты, CI/CD и анализ прогонов».
Сравнение запусков в ТестОпс устроено так: столбцы соответствуют запускам, строки — тестам, ячейки — результатам выполнения. По ID теста открывается связанный тест-кейс, по названию — детальное сравнение, по ID запуска — его карточка. С точки зрения QA это не только способ найти регрессию, но и возможность отделить смену статусов от изменения набора тестов или признаков нестабильности.
Важно исключить известный массовый сбой CI, стенда или внешнего сервиса. Если идеальной базы нет, нужны два-три соседних стабильных запуска с указанием ограничения анализа.
Сильный кандидат в регрессию — общий тест, который стабильно проходил, после изменения продукта стал «Неуспешным» в том же окружении и воспроизводится с тем же отклонением. Связь с коммитом, одинаковый шаг падения и подтверждение на повторе усиливают гипотезу.
В TMS ТестОпс важно проверить и альтернативы: не изменились ли тестовые данные, версии зависимостей или конфиги окружения; не устарели ли ассерты; не является ли падение следствием массового инфраструктурного сбоя. До подтверждения дефекта следует помечать его именно как «кандидат в регрессию».
При этом не стоит смешивать оба механизма. Сравнение тестовых запусков в ТестОпс отражает изменения между прогонами, но само по себе не определяет их причину. Если после перезапусков в рамках одного запуска тест получил разные статусы, появляется отметка «Флаки?», а подтверждённая нестабильность обозначается как «Флаки».
ТестОпс позволяет выбрать отдельные неуспешные автотесты и отправить их на выборочный перезапуск в CI-системе., не выполняя весь набор заново. Результаты перезапуска учитываются в текущей статистике, а исходные попытки остаются доступными для сравнения. Повторный сбой усиливает гипотезу о проблеме, тогда как успешный повтор может указывать не только на исправление, но и на нестабильность теста или внешние условия. В виджете «Перезапуски тестов» доступны прошлый и текущий статусы — история проверки не теряется.