Перейти к основному содержимому

Запуски

Когда пользователь запускает ручной или автоматизировнный тест-кейс (или несколько тест-кейсов), ТестОпс создает запуск.

Запуск содержит информацию о выполнении тест-кейса (дату, результаты тестов, данные окружения, количество повторных попыток и т. д.) и может быть открытым или завершенным.

Открытый запуск обычно является недавно созданным запуском, над которым еще ведется работа. Например, тестировщик запустил ручной тест-кейс и в данный момент проходит тестовый сценарий. Или была запущена CI-джоба и нужно просмотреть загруженные результаты тестов.

Завершенный запуск — это запуск, работа с которым завершена. Чтобы завершить запуск, в окне запуска нажмите Завершить (или настройте правила для автоматического завершения запусков). Только после того, как запуск будет завершен, ТестОпс обработает его: обновит дашборды, создаст соответствующие автоматизированные тест-кейсы и т. д.

Для каждого запуска ТестОпс отображает его название, дату создания, теги, связанные задачи, окружение запуска, количество тест-кейсов с каждым статусом, количество связанных дефектов, назначенных участников и связанные задачи CI/CD.

Фильтрация запусков

Вы можете фильтровать запуски, которые видите в разделе Запуски, по их атрибутам: дата создания, статус и т. д.

Чтобы отфильтровать запуски:

  1. Перейдите в раздел Запуски.

  2. В правом верхнем углу страницы нажмите Открыть фильтры. Панель фильтров появится слева от списка запусков.

    Кнопка «Открыть фильтры» наход�ится в правом верхнем углу списка запусков.

  3. Нажмите на значок + в панели фильтров.

  4. Выберите параметры для фильтрации запусков и их значения.

  5. Чтобы сохранить указанные параметры фильтрации в виде фильтра:

    1. Нажмите Сохранить в верхней части панели фильтров.
    2. Введите название фильтра.
    3. Установите галочку напротив Общий, если вы хотите сделать этот фильтр доступным для других участников.
    4. Нажмите Отправить.
  6. Чтобы сбросить фильтрацию и вернуться к списку всех запусков, в верхней части страницы нажмите Закрыть фильтры.

  7. Если у вас уже есть сохраненные фильтры, нажмите на нужный фильтр, чтобы применить его к списку запусков.

Ручная загрузка результатов тестов

Результаты автоматизированных тестов можно загрузить вручную. Это может быть полезно, если вы хотите проверить, правильно ли генерируются файлы результатов, или если произошла ошибка во время автоматической загрузки.

Вы можете загрузить как отдельные файлы результатов, так и архив с файлами. Чтобы узнать больше о формате файла с результатами теста, см. статью в документации Allure Report.

Чтобы загрузить результаты тестов:

  1. Перейдите в раздел Запуски.

  2. В правом верхнем углу страницы нажмите Импорт.

    Кнопка «Импорт» находится в правом верхнем углу списка запусков.

  3. В левой части появившегося окна введите название нового запуска (или оставьте предложенное) и при необходимости введите дополнительные атрибуты: теги, ссылки и данные окружения.

  4. В правой части окна выберите тип загрузки (отдельные JSON-файлы или ZIP-архив) и выберите файлы для загрузки, нажав на область загрузки или перетащив файлы в эту область. Поддерживаются различные форматы результатов тестов.

  5. Нажмите Загрузить файлы, чтобы начать загрузку.

Чтобы обновить тест-кейсы и дашборды, завершите запуск после загрузки файлов.

Создание запусков для автоматизированных тестов

При загрузке результатов автоматизированных тестов из CI-системы или из IDE-плагина ТестОпс не нужно создавать запуск. Запуски создаются автоматически интеграцией ТестОпс на удаленной стороне, например, плагином ТестОпс (для Jenkins или Bamboo), с помощью allurectl для CI, таких как GitHub или GitLab. Единственное, что вам нужно, это настроить удаленную часть, чтобы передавать необходимые атрибуты для создаваемого запуска: название запуска, теги, информация о связанных задачах.

Создание запусков для тестовых прогонов, инициированных из ТестОпс

Если вы инициируете тестовый прогон со стороны ТестОпс, независимо от того, запускаете ли вы ручные или автоматизированные тесты или оба типа, ТестОпс создаст запуск, и все результаты тестов будут собраны в созданном запуске.

Чтобы создать запуск в интерфейсе ТестОпс:

  1. Из списка тест-кейсов:
    1. В разделе Тест-кейсы выберите тест-кейсы.
    2. Нажмите Запустить.
    3. Введите параметры создаваемого запуска, которые запросит ТестОпс.
  2. Из тест-плана:
    1. В разделе Тест-планы нажмите Запустить.
    2. Введите параметры создаваемого запуска, которые запросит ТестОпс.
  3. Из списка джобов:
    1. В разделе Джобы выберите джобу для выполнения.
    2. Нажмите Запустить джобу.
    3. Введите параметры создаваемого запуска, которые запросит ТестОпс.

Автоматическое закрытие запусков

ТестОпс может автоматически закрывать запуски через определенное время, указанное в настройках проекта. Чтобы настроить автоматическое закрытие запусков:

  1. Перейдите в НастройкиЗапуски.
  2. В секции Политика автоматического закрытия нажмите Редактировать.
  3. В поле Закрывать выполненные запуски вы можете выбрать, какие завершенные запуски должны быть закрыты автоматически, используя AQL-запрос. Если оставить это поле пустым, все завершенные запуски будут закрыты после указанного временного интервала.
  4. В поле Закрыть завершенные запуски через (часы) укажите количество часов, через которое завершенный запуск должен быть закрыт. Запуск считается завершенным, если состоит только из пройденных и/или неуспешных тест-кейсов.
  5. В поле Закрыть в процессе запуска через (часы) укажите количество часов, через которое активный запуск должен быть закрыт. Активный запуск — это запуск, который содержит хотя бы один тест-кейс со статусом В процессе.
  6. Нажмите Отправить, чтобы сохранить изменения.

Состояние запуска

Запуск может находиться в двух состояниях: открытый или завершенный.

ТестОпс начинает генерацию/обновление тест-кейсов и расчет статистики только для завершенного запуска.

Открытый запуск

Запуск может находиться в открытом состоянии в следующих случаях:

  1. Загрузка результатов тестов в ТестОпс продолжается, т. е. задачи сборки все еще выполняются.
  2. Команда все еще проводит сортировку результатов тестов и устраняет ошибки в результатах тестов.
  3. Команда забыла создать правило автоматического закрытия или закрыть запуск вручную.
  4. Запуск намеренно оставлен открытым по какой-то иной причине.

Открытое состояние запуска предотвращает:

  1. создание новых тест-кейсов на основе результатов тестов;
  2. обновление существующих тест-кейсов на основе результатов тестов;
  3. расчет статистики;
  4. выполнение очистки артефактов, хранящихся для результатов тестов этого запуска, или удаление ненужных артефактов, загруженных с результатами тестов. Это может привести к большему потреблению хранилища артефактов и увеличению таблиц в базе данных.

Завершенный запуск

ТестОпс будет обрабатывать результаты тестов только для завершенного запуска, что означает следующее:

  1. Документация по тестам (содержание раздела Тест-кейсы) будет сгенерирована для новых тест-кейсов или обновлена для существующих тест-кейсов.
  2. Результаты тестов будут использоваться для расчета статистики.
  3. Результаты тестов будут использоваться в аналитике и могут быть просмотрены на дашбордах.
  4. Старые артефакты будут удалены в соответствии с настроенными правилами очистки.
  5. Неиспользуемые файлы, загруженные во время запуска, будут удалены после завершения запуска.

Экспорт данных запуска

Вы можете экспортировать информацию о результатах тестов в запуске в PDF- или CSV-файл.

Чтобы экспортировать данные:

  1. Перейдите в раздел Запуски.

  2. Справа от названия запуска, данные которого вы хотите экспортировать, нажмите Экспортировать.

  3. Выберите формат файла для экспорта:

    • PDF — файл, который будет включать общую статистику по запуску, детали по каждому результату теста, в т. ч. статусы каждого шага, и будет иметь понятный и легкочитаемый вид. Вы можете отправить PDF-файл сотруднику, у которого нет доступа к инстансу ТестОпс, чтобы ознакомить с важной информацией о запуске.
    • CSV — файл, который содержит таблицу в формате CSV с информацией по каждому результату теста, включая основные метаданные (автор, теги, эпики), статус и сообщение об ошибке. Вы можете импортировать CSV-файл в аналитические инструменты для дальнейшей обработки.

    Элементы «Экспортировать» → «PDF» и «Экспортировать» → «CSV» доступны в меню действий запуска.