Зачем управлять тестовыми запусками и какую проблему это решает
Когда тестов становится много и они запускаются параллельно через CI/CD в разных ветках и окружениях, у команды QA возникает типичная проблема: результаты разбросаны по логам CI, отдельным отчетам и таск-трекерам.
Объединять статусы, искать причины сбоев и собирать общую картину качества вручную становится сложно и занимает слишком много времени. Нужна единая платформа, где каждый тестовый запуск фиксируется как отдельный объект с историей, метаданными и результатами. Так получается быстро просматривать и сравнивать данные без необходимости вручную собирать отчеты.
Дальше в статье подробно разбираем тестовые прогоны на платформе ТестОпс: что именно система считает запуском, как устроены карточка и вкладки, как статусы влияют на обновление тест-кейсов и метрик, и с какими подводными камнями могут столкнуться команды, если не управлять запусками осознанно. Но для начала отвечаем на главный вопрос.
Что такое запуск в системе управления тестированием
В системе ТестОпс запуск = сущность, которая создаётся при выполнении тест-кейсов, будь то ручные или автоматизированные. Проще говоря, каждый раз, когда запускаются тесты, система регистрирует их в специальном разделе.
Раздел «Запуски» в TMS ТестОпс является частью централизованной системы управления тестированием. Когда выполняется один или несколько тест-кейсов вручную или автоматически, система создаёт запуск, показывая ключевую информацию: название, статус, метаданные (теги, задачи, данные об окружении), время начала и конца, а также полный список тестов с результатами, сгруппированными по статусам и прогрессу. Это позволяет команде ясно видеть, что и как тестировалось, где процесс остановился и с какими результатами, в каком окружении и в контексте каких задач.
Каждый запуск имеет статусы «Открыт» и «Закрыт». Результаты обрабатываются, включая обновление связанных тест-кейсов и пересчёт статистики, только после закрытия запуска. Это позволяет чётко разделять текущий прогон и зафиксированный итог, исключая искажение статистики промежуточными данными. В итоге QA-специалисты, автоматизаторы и менеджеры получают единую платформу для управления тестами, где результаты собираются в ТестОпс, вместо разрозненных данных по разным системам.
В этом списке отображаются основные данные о каждом прогоне:
- Название запуска: задаётся автоматически или пользователем.
- Статус запуска: текущее состояние (открыт или закрыт) либо дополнительный бизнес-статус, если используется воркфлоу.
- Метаданные: дополнительные атрибуты запуска: теги, связанные задачи из таск-трекеров, информация об окружении и др.
- Время открытия и закрытия: когда запуск начат и когда завершён.
- Тесты и результаты: общее количество выполненных тестов и сводка статусов результатов с группировкой по уровню прогресса (например, «В очереди», «В процессе», «Завершён») и конечному статусу тестов (успешные, неуспешные и т.д.). Можно кликнуть по конкретному статусу или уровню прогресса, чтобы отфильтровать список тестов по этому признаку.
AI Ассистент встроенный в платформу ТестОпс может дополнить работу с запусками анализом данных в контексте проекта и тест-кейсов. ИИ-решение автоматизирует анализ результатов, выявляя схожие сбои, группируя их по причинам и предлагая возможные дефекты. Это сокращает рутинные ручные задачи и ускоряет получение данных о качестве.
В следующих разделах рассматриваем, как именно устроены запуски в ТестОпс, как они влияют на обновление тест-кейсов и метрик, и какие проблемы могут возникать.
Зачем нужны запуски и как их читать
Без централизованного учета запусков могут возникать сложности: данные разрознены, трудно быстро понять, как обстоят дела с тестированием, и выяснить, какие тесты не прошли и почему. Логика работы запусков в ТестОпс позволяет решать подобные проблемы, предоставляя единое пространство для работы с каждым прогоном, где есть:
- Консолидация результатов: все логи и статусы тестов собираются в одном месте, исключая необходимость вручную объединять отчёты с разных CI-систем и устройств.
- Сохранение истории и метаданных: запуск выступает как самодостаточная единица хранения: к нему привязана история выполнения, список тест-кейсов, их результаты, а также контекст (теги, задачи, окружение и пр.). Это упрощает анализ регресса и сравнение разных прогонов.
- Наглядность для команды: QA-инженеры и разработчики получают визуальную картину качества: видно, сколько тестов прошло/упало, какие дефекты обнаружены, сколько осталось непротестированного. Запуски становятся удобной точкой входа для обсуждения состояния продукта на конкретном билде или версии.
- Разделение черновых и финальных результатов: статус открытого запуска сигнализирует, что прогон ещё выполняется или результаты анализируются, тогда как закрытый запуск фиксирует окончательный итог. Благодаря этому статистика тестирования строится только по завершённым запускам, а промежуточные данные не искажают общую картину.
- Автоматическое обновление тестовой документации: после закрытия запуска ТестОпс может автоматически обновлять связанные тест-кейсы и агрегировать данные на дашбордах, освобождая команду от ручной рутины (подробнее об этом – в разделе об обновлении тест-кейсов).
- Контекст для анализа: метаданные запуска (например, связанный тикет требования или номер релиза) позволяют сразу понять, что именно проверялось, в каком окружении и с каким целевым результатом. Это особенно полезно QA-менеджерам для отслеживания прогресса по фичам и релизам.
Запуски нужны для упорядочивания тестирования. В сложных проектах без них QA-инженеры тратили бы много времени на ручное сведение данных о тестах. ТестОпс упрощает доступ к информации о каждом прогоне, тем самым ускоряя процессы и упрощая принятие решений на основе качественных метрик.
Помимо указанных данных, рядом с каждым запуском есть меню действий (по клику на ⋯), позволяющее выполнить дополнительные операции – например, экспортировать запуск или изменить его параметры. Там же отображается иконка «Завершить/Перезапустить», с помощью которой можно вручную закрыть текущий запуск или повторно открыть уже закрытый. При клике по названию запуска открывается его подробная карточка со всей статистикой и результатами.
Как устроена карточка запуска и её вкладки на платформе ТестОпс
Карточка запуска в ТестОпс открывается при клике на конкретный запуск и содержит вкладки и виджеты с подробной информацией.
В правом верхнем углу отображаются сводные показатели: общее количество результатов тестов (с разбивкой по уровням прогресса и статусам), кнопка для завершения/перезапуска запуска и меню действий ⋯. Основное пространство карточки занимают пять вкладок.
1. Виджеты на вкладке обзора запусков
Здесь собраны общие сведения о запуске и ключевые метрики, сгруппированные по виджетам. Здесь собраны основные метрики в виде виджетов.
Например, процент успешно пройденных тестов, количество обнаруженных дефектов, охват требований и т.д. Эта вкладка позволяет быстро оценить результат прогона по ключевым показателям.
Ниже приведена таблица доступных виджетов и их предназначение:
Примечание: порядок виджетов на вкладке «Обзор» можно настроить индивидуально – для этого достаточно перетащить виджет за заголовок в нужное место на странице.
2. Результаты тестовых запусков
Таблица всех результатов, полученных в рамках запуска, с указанием статуса каждого теста, его названия, длительности выполнения и исполнителя. На этой вкладке можно просматривать детали по каждому тесту и переходить в карточку конкретного результата для подробностей. В этой вкладке доступен полный список результатов запуска. Для каждого результата можно увидеть тип теста (ручной или автоматизированный), текущий прогресс или финальный статус, название, длительность и исполнителя (участник команды или CI-джоба). Список можно сортировать и фильтровать, а по клику открывается карточка результата с деталями: шаги, вложения, логи и связанные дефекты.
3. Как выглядят ошибки запусков
Во вкладке «Ошибки» доступен список всех ошибок текущего запуска. Ошибки можно группировать по категориям (если они настроены) и сортировать по названию или статусу тестов, поэтому быстрее видно, какие типы сбоев встречаются чаще. По клику на категорию есть возможность отфильтровать результаты и оставить только тесты, связанные с выбранной группой ошибок.
4. Чем полезны графики
Во вкладке «Графики» доступна гистограмма длительности тестов. По оси X показаны интервалы времени, по оси Y — сколько тестов попало в каждый интервал. При наведении можно увидеть точное количество тестов в выбранном диапазоне. Такой график помогает оценить распределение по времени и быстро заметить тесты, которые выполняются слишком долго.
5. Что даёт временная шкала
Вкладка "Временная шкала" показывает последовательность и продолжительность выполнения тестов в запуске, а также исполнителей — людей или CI-задачи. По вертикали расположены исполнители, по горизонтали — время. Каждый тест представлен отрезком, цвет которого указывает на его статус. Можно выбирать диапазон и масштабировать шкалу. При наведении курсора отображается время начала и завершения теста. Также есть возможность открыть карточку результата, что позволяет быстро находить простои и тесты с аномальной длительностью.
Как обновляются тест-кейсы после запуска
Одно из сильных мест ТестОпс — автообновление репозитория тест-кейсов по итогам запусков. Когда запуск закрывается, система сверяет результаты с тест-кейсами: недостающие кейсы можно создать автоматически, а существующие — обновить по выбранным полям из результатов. Заодно пересчитывается статистика для дашбордов и выполняется очистка артефактов (логи, скриншоты) по правилам хранения. Пока запуск «Открыт», изменения в тест-кейсах и метриках не применяются, чтобы незавершённые результаты не искажали картину.
Источник данных для метаданных настраивается на уровне проекта: для каждого атрибута доступен выбор, брать значение из результата автотеста (from_test_result, перезаписывается на каждом запуске) или хранить в тест-кейсе вручную (from_test_case, результаты не трогают поле). Поддерживаются, в том числе:
- name (название тест-кейса);
- full_name (полное название, включая путь в иерархии папок/компонентов);
- test_layer (уровень теста – например, компонентный, интеграционный и т.д.);
- description (описание тест-кейса);
- precondition (предусловие выполнения);
- expected_result (ожидаемый результат);
- link (внешняя ссылка, привязанная к кейсу);
- tag (теги тест-кейса); issue (связанные задачи/дефекты из таск-трекера);
- member (автор/ответственный исполнитель тест-кейса).
По умолчанию почти все поля обновляются из результатов автотестов, а expected_result рассчитан на ручные тест-кейсы и из автотестов не заполняется. Если ручной кейс с заполненным expected_result автоматизируется, при загрузке результатов поле может очиститься, поэтому есть возможность заранее закрепить его как from_test_case.
Также доступно отключение автообновления тест-кейсов для отдельных запусков через AQL-фильтр: например, для прогонов с тегом debug или из конкретной ветки. Такие запуски остаются в списках и на дашбордах, но не меняют тестовую документацию. В итоге база кейсов поддерживается актуальной, и можно в любой момент видеть покрытие, успешность и последние результаты по каждому тест-кейсу.
Как работать с результатами тестов
Работа с тестовыми результатами в запусках включает понимание статусов, анализ упавших тестов, и применение инструментов ТестОпс для обработки этих результатов (связывание с дефектами, перезапуски, карантин и др.). Рассмотрим эти аспекты последовательно.
Уровни прогресса и статусы результатов
Каждый результат теста в ТестОпс характеризуется уровнем прогресса (для незавершённых тестов) или финальным статусом (для завершённых тестов). Пока тест выполняется, он проходит следующие этапы прогресса:
1. Стадия теста «в очереди»
Это значит, что тест поставлен в очередь на выполнение, но ещё не стартовал.
2. Стадия теста «В процессе»
Тест начат, идут шаги выполнения (для автотестов это означает, что от тестового фреймворка начали поступать события; для ручного – тестировщик отмечает шаги).
3. Стадия теста «Завершённый»
Такой статус говорит, что тест полностью выполнен, и для него зафиксирован результат.
После перехода на уровень «Завершённый» результату теста присваивается конечный статус, отражающий исход выполнения.
Статус результата в ТестОпс зависит от типа теста. Для ручных тестов статус можно выбрать прямо в интерфейсе, а для автотестов он приходит из файла результатов, который формирует фреймворк.
Например, статусы вроде passed и failed автоматически сопоставляются с «Успешный», «Неуспешный» и другими, поэтому интерпретация статусов из отчётов доступна без ручной правки. В ТестОпс используются следующие статусы результатов тестов:
- Статус запуска: «Успешный»
Означает, что тест пройден успешно, проверяемое поведение системы соответствует ожиданиям.
- Статус теста «Неуспешный»
Значит, тест обнаружил несоответствие ожидаемому поведению, т.е. одно из проверяемых условий не выполнено. Важно, что сам тест при этом не сломан – он отработал корректно, но выявил баг или отклонение в продукте.
- Статус теста «Пропущенный»
Это говорит нам, что тест был запланирован, но фактически не выполнялся (например, его запуск отключён или пропущен по условию).
- Статус теста "Сломанный"
Тест завершился неудачно из-за ошибки в самом тесте. Это не баг продукта, а дефект тестового сценария или инфраструктуры. Статус «Неуспешный» отличается, так как сбой вызван проблемой в тесте, а не поведением продукта.
- Статус теста "Неизвестный"
Это сообщение о том, что статус не задан вовсе. В ручном тестировании такое возможно, если запуск был закрыт, когда тест ещё находился в очереди или выполнялся (то есть не доведён до успеха/провала). В автотестах «Неизвестный» обычно свидетельствует об ошибке интеграции (например, тестовый фреймворк не смог корректно сообщить статус).
В списке запусков ТестОпс отображается агрегированная статистика по уровням прогресса и статусам всех тестов. Внутри карточки запуска доступны инструменты сортировки и фильтрации, что помогает быстро находить упавшие или пропущенные тесты.
Анализ упавших тестов и дефектов
Если часть тестов завершилась со статусами «Неуспешный» или «Сломанный», в ТестОпс можно быстрее понять причину сбоя и отделить дефект продукта от проблем теста или окружения.
Во вкладке «Ошибки» доступен список исключений и стек-трейсов из упавших тестов с группировкой по категориям и сортировкой, поэтому одинаковые сбои легко сводятся в повторяющиеся группы и быстрее указывают на общий корневой дефект.
Во вкладке «Обзор» виджет «Неразобранные результаты» показывает падения без привязки к дефектам, а после связывания результата с задачей в таск-трекере он исчезает из «Неразобранных» и появляется в «Дефектах», сохраняя прозрачную трассировку «падение → баг».
Управление нестабильными тестами (карантин и перезапуски)
В ТестОпс есть возможность помечать нестабильные автотесты карантином (mute). Их падения не влияют на общий статус прогона, а на обзоре запуска можно увидеть список «Тесты в карантине» и метрику доли таких тестов.
Если тест падает, но проходит после повторной попытки, доступен виджет «Перезапуски тестов» с предыдущим и текущим статусом. Так проще заметить flaky-поведение и решить, стоит ли временно отправить тест в карантин или завести задачу на стабилизацию.
ТестОпс управляет результатами тестов в режиме множественного выбора. Можно менять статус, назначать исполнителей, перезапускать тесты, связывать с дефектами и отправлять в карантин. Функции доступны в открытом запуске, в закрытом — только экспорт в CSV.
Как управлять статусами запусков
Как уже известно, статус запуска в ТестОпс показывает, активен ли прогон или уже завершён: пока запуск открыт, система продолжает собирать и обновлять результаты, метрики и связанные данные; после закрытия прогон фиксируется, обновления прекращаются, а система выполняет завершающие действия — например, приводит в порядок артефакты и итоговые показатели.
- Открытый запуск
Сразу после создания запуск в ТестОпс имеет статус «Открыт». Это означает, что результаты продолжают приходить, идут разборы падений, дефекты и перезапуски, или запуск оставили открытым.
Пока статус «Открыт», финальная обработка недоступна: не обновляются тест-кейсы, не пересчитываются метрики и дашборды, не очищаются артефакты. Это черновик прогона для уточнения результатов, но затяжное состояние перегружает хранилище и искажает метрики.
- Закрытый запуск
Закрытие переводит запуск в финальное состояние, делая его доступным для финальной обработки: обновляются тест-кейсы, пересчитывается статистика и очищаются вспомогательные артефакты.
После закрытия запуск становится статичным отчётом и работает в режиме «только чтение». Для продолжения работы запуск можно снова открыть, вернув его в статус «Открыт».
Закрытие и перезапуск запусков в ТестОпс
Закрытие и повторное открытие запусков поддерживается как вручную, так и автоматически.
- Ручное закрытие запуска
Выполняется из раздела «Запуски» через соответствующий элемент управления: статус меняется на «Закрыт», результаты считаются финальными. Для уже закрытого запуска доступен обратный переход в статус «Открыт» через действие перезапуска.
- Автоматическое закрытие
Автозакрытие запусков в ТестОпс настраивается на уровне проекта и работает по нескольким условиям через «или». Можно закрыть выполненные запуски по AQL-фильтру, через N часов после всех тестов или активные запуски через M часов с переводом незавершённых тестов в «Неизвестный». Это помогает избежать «висящих» прогонов и сохранять метрики без ручного контроля. При перезапуске запуска новые результаты добавляются в него же, поэтому для существенно другого прогона лучше создать отдельный запуск.
Как фильтровать и экспортировать запуски
В реальных проектах список запусков может насчитывать сотни и тысячи записей. ТестОпс предоставляет удобные средства поиска, фильтрации и сортировки, чтобы быстро найти нужный прогон, а также возможности экспорта запусков для обмена отчетами вне системы.
Поиск и фильтрация запусков
В разделе «Запуски» доступен быстрый поиск по названию: можно ввести целиком или часть, и в списке останутся совпадения, без привязки к регистру.
Для точной выборки есть фильтры по атрибутам вроде тега, статуса и окружения. Есть возможность собрать несколько условий сразу, чтобы оставить только запуски, которые подходят под все параметры.
Если нужна более гибкая логика, доступна фильтрация через AQL (Allure Query Language). В AQL можно комбинировать условия по разным полям, работать с диапазонами дат и проверять наличие или отсутствие атрибутов; многострочные запросы поддерживаются через Shift+Enter.
Сохранение фильтров
Результаты поиска/фильтрации можно сохранить для быстрого доступа в будущем. После введения условий нажмите Сохранить под полем – система предложит назвать фильтр и выбрать, кому он будет виден (только вам или всей команде). Сохранённые фильтры появятся списком под строкой поиска, и их можно включать одним кликом. Чтобы отредактировать или удалить сохранённый фильтр, кликните по нему правой кнопкой. Это удобно, когда у вас есть типовые подборки – например, “Мои запуски за неделю” или “Регрессия v1.2”.
Сортировка списка
По умолчанию запуски отображаются в порядке добавления (обычно самые новые сверху). Однако вы можете отсортировать список по любому основному столбцу: названию, дате, статусу и т.д. Для этого откройте меню Опции → Сортировать по и выберите поле, а затем направление сортировки (возрастание/убывание). Дополнительно в меню опций есть переключатель Скрыть метаданные, который убирает из списка лишние колонки (теги, окружение и др.), делая отображение более компактным. Это бывает полезно, чтобы поместить больше запусков на экран или сфокусироваться только на названии и статусе.
Экспорт запусков
Иногда нужно поделиться результатами прогона с коллегами без доступа в ТестОпс или проанализировать данные вне системы. Для этого можно экспортировать запуск, выгрузив всю информацию в файл. Поддерживаются два формата экспорта.
Экспорт запуска в PDF
Удобочитаемый, аккуратно оформленный документ, который удобно переслать менеджеру или клиенту. Внутри есть метаданные запуска (название, теги, задачи, окружение, участники), сводка по статусам и полям, а также детали по каждому тесту: название, статус, описание, ссылка на тест-кейс, теги, связанные задачи, исполнитель, шаги и их результаты, список вложений со списком файлов. При экспорте доступно имя файла и возможность включать или отключать вложения; для массовых выгрузок вложения обычно удобнее отключать, чтобы файл не разрастался.
Экспорт запуска в CSV
Табличный, машиночитаемый формат, с которым удобно уходить в Excel, BI или другие системы. Внутри есть строки с результатами тестов и колонки с ключевыми полями вроде названия, статуса, тегов, ссылок и длительности. При экспорте доступно имя файла, выбор разделителя (например, ;, запятая или табуляция) и возможность включить только нужные метаданные, без лишних полей.
Для экспорта данных можно открыть меню ⋯ справа от нужного запуска и выбрать «Экспортировать». В появившемся окне доступен выбор формата (PDF или CSV) и дополнительных параметров.
После запроса на экспорт файл формируется автоматически, и становится доступна иконка Download для скачивания отчёта. Экспорт CSV можно использовать для переноса данных в другой проект или инстанс ТестОпс с поддержкой обратного импорта. Массовые операции с результатами возможны только в открытых запусках, а после закрытия обычно доступна только выгрузка CSV. "Чистый" PDF с уточнёнными статусами готовится до закрытия запуска.
Частые сценарии создания запусков
В ТестОпс запуски могут создаваться различными способами – система гибко поддерживает как ручные инициирования, так и автоматическую регистрацию прогонов из CI. Рассмотрим наиболее распространённые сценарии.
Создание запуска из списка тест-кейсов (ручное тестирование)
Если нужно быстро прогнать несколько тест-кейсов вручную или запустить группу автотестов, это можно сделать прямо из раздела «Тест-кейсы». Доступен выбор нужных кейсов и запуск с параметрами вроде названия, окружения, тегов, исполнителя и связанных задач.
После старта автоматически создаётся новый запуск: выбранные кейсы попадают в очередь, для ручных открывается прохождение, для автотестов подтягиваются результаты по мере выполнения. Такой вариант удобен для разовых проверок, например чтобы зафиксировать результат быстрого фикса без отдельной ручной отчётности.
После старта автоматически создаётся новый запуск: выбранные кейсы попадают в очередь, для ручных открывается прохождение, для автотестов подтягиваются результаты по мере выполнения. Такой вариант удобен для разовых проверок, например чтобы зафиксировать результат быстрого фикса без отдельной ручной отчётности.
Создание запуска из тест-плана
В ТестОпс можно заранее собрать тест-кейсы в тест-план, например под регрессию версии, а в день прогона запускать его целиком одним действием. При старте доступны параметры вроде имени запуска, даты и тегов, а все тесты из плана автоматически попадают в один запуск, включая ручные и автотесты. В итоге есть возможность получить единый отчёт по всему циклу без разрозненных прогонов.
Создание запуска из CI/джобы
Автотесты принято прогонять через непрерывную интеграцию, чтобы результаты сами прилетали в ТестОпс. Доступны интеграции с CI-системами вроде Jenkins, GitLab CI, TeamCity и другими, поэтому после прогона в конвейере автоматически появляется запуск с результатами.
Если нужен разовый ручной прогон без захода в CI, есть возможность инициировать джобу прямо из интерфейса ТестОпс в разделе «Джобы» и передать параметры вроде ветки или окружения. Дальше CI выполняет задачу, а результаты возвращаются в ТестОпс и собираются в новый запуск. При настроенной интеграции или использовании allurectl большинство запусков создаётся автоматически, а ручной сценарий чаще нужен для точечных или комбинированных прогонов.
Коротко о главном
Тестовые запуски в TMS ТестОпс дают единое место для результатов прогонов и статуса качества. Можно быстрее видеть, что запускалось, что прошло, где есть сбои и как они связаны с дефектами. Доступно автоматическое обновление тест-кейсов и виджеты с метриками, поэтому тестовая документация и отчётность остаются актуальными без ручной рутины. Есть возможность связать запуск с CI/CD и таск-трекером, чтобы путь от прогона до баг-репорта и анализа логов был сквозным и прозрачным для QA, разработки и руководства.
Будьте в курсе обновлений, обсуждайте лучшие практики и находите решения вместе с сообществом ТестОпс.
👉Перейти в Telegram-канал ⌯⌲
