Запуски

Когда пользователь запускает ручной или автоматизированный тест-кейс (или несколько тест-кейсов сразу), ТестОпс создает запуск в разделе Запуски.

Каждый запуск хранит информацию о выполненных тест-кейсах (дата, результаты тестов, данные окружения, количество повторных попыток и т. д.) и может иметь статус Открыт или Закрыт:

• Открытый запуск — как правило, недавно созданный запуск, над которым еще ведется работа. Например, инженер по тестированию запустил ручной тест-кейс и в данный момент проходит тестовый сценарий. Или была запущена CI-джоба и нужно просмотреть загруженные результаты тестов.

• Закрытый запуск — запуск, работа с которым завершена. Только после того, как запуск будет закрыт, ТестОпс обработает его: обновит дашборды, создаст соответствующие автоматизированные тест-кейсы и т. д.

В разделе Запуски отображается список всех запусков проекта. Кроме названия и статуса, в списке отображаются дополнительные атрибуты запуска (метаданные): теги, связанные задачи, информация об окружении и т. д. Если запуск открыт, рядом с его статусом отображается время последней активности (например, завершение одного из тестов, входящих в запуск).

Справа от каждого запуска указано количество входящих в него результатов тестов с группировкой по статусу. Вы можете нажать на статус, чтобы посмотреть результаты только с этим статусом (например, только неуспешные тесты).

Меню действий с запуском доступно при нажатии на ⋯ справа от запуска. Чтобы посмотреть информацию о том, какой пользователь и когда открыл или закрыл запуск, нажмите на статус запуска справа от его названия.

Закрытие и повторный запуск

Вы можете закрывать запуски автоматически или вручную. Чтобы закрывать запуски автоматически, настройте правила для автоматического закрытия запусков для вашего проекта.

Чтобы закрыть запуск вручную:

1. Нажмите на ⋯ или на статус запуска.
2. Выберите Закрыть.

Чтобы перезапустить закрытый запуск, выберите Перезапустить в том же меню.

Сортировка запусков и опции просмотра

Чтобы отсортировать список запусков:

1. В разделе Запуски нажмите Опции.
2. В меню Сортировать по выберите вариант сортировки.
3. В меню Направление выберите направление сортировки.

Дополнительно вы можете скрыть метаданные, чтобы сделать список более компактным:

1. В разделе Запуски нажмите Опции.
2. Включите переключатель Скрыть метаданные.

Поиск и фильтрация запусков

Запуски можно фильтровать по их названию и по атрибутам: статусу, тегам, переменным окружения и т. д.

• Для поиска по названию нужно ввести в поле поиска часть названия запуска.
• Для поиска по атрибутам нужно указать в поле поиска атрибут и его значение.

Вы можете указать одновременно часть названия и несколько атрибутов для поиска.

Фильтр по названию

Чтобы отфильтровать запуски по названию:

1. В разделе Запуски нажмите на поле поиска над списком запусков.
2. Введите текст для поиска (часть названия запуска) и нажмите Enter.
3. Чтобы очистить поле поиска, нажмите Backspace или кнопку Очистить под полем поиска.

Фильтр по атрибутам

Чтобы отфильтровать запуски по атрибутам:

1. В разделе Запуски нажмите на поле поиска над списком запусков.

2. Выберите атрибут для поиска.

3. Выберите одно или несколько значений для атрибута.

   Чтобы найти запуски, для которых значение атрибута не указано (например, найти все запуски без тегов), включите переключатель Без значений.

4. Чтобы очистить поле поиска, нажмите Backspace или кнопку Очистить под полем поиска.

Сохранение фильтров

Чтобы сохранить фильтр:

1. После ввода условий поиска нажмите Сохранить под полем поиска.
2. Введите название для фильтра.
3. Выберите, кому будет доступен этот фильтр: только вам или всем участникам команды.
4. Нажмите Сохранить.

Сохраненный фильтр появится под полем поиска. Чтобы изменить или удалить фильтр, нажмите на него правой кнопкой мыши и выберите нужное действие.

Ручная загрузка результатов тестов

Результаты автоматизированных тестов можно загрузить вручную. Это может быть полезно, если вы хотите проверить, правильно ли генерируются файлы результатов, или если произошла ошибка во время автоматической загрузки.

Вы можете загрузить как отдельные файлы результатов, так и архив с файлами. Чтобы узнать больше о формате файла с результатами теста, см. статью в документации Allure Report.

Чтобы загрузить результаты тестов:

1. Перейдите в раздел Запуски.

2. В правом верхнем углу экрана нажмите Импорт.

3. В левой части появившегося окна введите название нового запуска (или оставьте предложенное) и при необходимости введите дополнительные атрибуты: теги, ссылки и данные окружения.

   Например, вы можете добавить тег Релиз к тем запускам, которые происходят перед публичным релизом.

4. В правой части окна выберите тип загрузки (отдельные JSON-файлы или ZIP-архив) и выберите файлы для загрузки, нажав на область загрузки или перетащив файлы в эту область. Поддерживаются различные форматы результатов тестов.

5. Нажмите Загрузить файлы, чтобы начать загрузку.

Если вы хотите добавить дополнительные результаты тестов в созданный запуск, нажмите ⋯ справа от запуска и выберите Добавить тест-кейсы → Из файла результатов.

Чтобы обновить тест-кейсы и дашборды, закройте запуск после загрузки файлов.

Создание запусков для автоматизированных тестов

При загрузке результатов автоматизированных тестов из CI-системы или из IDE-плагина ТестОпс не нужно создавать запуск. Запуски создаются автоматически интеграцией ТестОпс на удаленной стороне, например, плагином ТестОпс (для Jenkins или Bamboo), с помощью allurectl для CI, таких как GitHub или GitLab. Единственное, что вам нужно, это настроить удаленную часть, чтобы передавать необходимые атрибуты для создаваемого запуска: название запуска, теги, информация о связанных задачах.

Создание запусков для тестовых прогонов, инициированных из ТестОпс

Если вы инициируете тестовый прогон со стороны ТестОпс, независимо от того, запускаете ли вы ручные или автоматизированные тесты или оба типа, ТестОпс создаст запуск, и все результаты тестов будут собраны в созданном запуске.

Чтобы создать запуск в интерфейсе ТестОпс:

• Из списка тест-кейсов:

  1. В разделе Тест-кейсы выберите тест-кейсы.
  2. Нажмите Запустить.
  3. Введите параметры создаваемого запуска, которые запросит ТестОпс.

• Из тест-плана:

  1. В разделе Тест-планы нажмите Запустить.
  2. Введите параметры создаваемого запуска, которые запросит ТестОпс.

• Из списка джоб:

  1. В разделе Джобы выберите джобу для выполнения.
  2. Нажмите Запустить джобу.
  3. Введите параметры создаваемого запуска, которые запросит ТестОпс.

Автоматическое закрытие запусков

ТестОпс может автоматически закрывать запуски через определенное время, указанное в настройках проекта. Чтобы настроить автоматическое закрытие запусков:

1. Перейдите в Настройки → Запуски.
2. В секции Политика автоматического закрытия нажмите Редактировать.
3. В поле Закрывать выполненные запуски вы можете выбрать, какие запуски должны быть закрыты автоматически, используя AQL-запрос. Если оставить это поле пустым, все открытые запуски будут закрыты после указанного временного интервала.
4. В поле Закрыть выполненные запуски через (часы) укажите количество часов, через которое выполненный запуск должен быть закрыт. Запуск считается выполненным, если состоит только из пройденных и/или неуспешных тестов.
5. В поле Закрыть запуски в процессе через (часы) укажите количество часов, через которое активный запуск должен быть закрыт. Активный запуск — это запуск, который содержит хотя бы один тест со статусом В процессе.
6. Нажмите Отправить, чтобы сохранить изменения.

Статусы запуска

Запуск может находиться в одном из двух статусов: Открыт или Закрыт.

ТестОпс создает/обновляет связанные с запуском тест-кейсы и пересчитывает статистику только после закрытия запуска.

Открытый запуск

Запуск может находиться в открытом состоянии в следующих случаях:

1. Загрузка результатов тестов в ТестОпс еще не закончена (джобы еще выполняются).
2. Участники вашей команды все еще работают с полученными результатами тестов (обрабатывают и сортируют ошибки).
3. Участники вашей команды забыли закрыть запуск (или не создали правило для автоматического закрытия).
4. Запуск намеренно не закрыт по какой-то иной причине.

До тех пор, пока запуск открыт, ТестОпс не будет обрабатывать его результаты:

1. Не будут созданы новые тест-кейсы на основе результатов тестов.
2. Не будут обновлены существующие тест-кейсы на основе результатов тестов.
3. Не будет пересчитана статистика.
4. Не будет выполнена очистка артефактов, которые были загружены вместе с результатами тестов. Это может привести к росту объема пространства, занимаемого хранилищем артефактов.

Чтобы ТестОпс обработал запуск, закройте его вручную или настройте правила для автоматического закрытия.

Закрытый запуск

После закрытия запуска ТестОпс выполнит следующие действия:

1. Создаст новые или обновит существующие тест-кейсы в разделе Тест-кейсы.
2. Обновит статистику в разделе Дашборды, добавив в нее результаты тестов из запуска.
3. Удалит неиспользуемые файлы, который были загружены вместе с запуском.
4. Отметит остальные файлы для будущего удаления в соответствии с настроенными правилами очистки.

Экспорт данных запуска

Вы можете экспортировать информацию о результатах тестов в запуске в PDF- или CSV-файл.

Чтобы экспортировать данные:

1. Перейдите в раздел Запуски.

2. Справа от названия запуска, данные которого вы хотите экспортировать, нажмите ⋯ → Экспортировать.

3. Выберите формат файла для экспорта:

   • PDF — файл, который будет включать общую статистику по запуску, детали по каждому результату теста, в т. ч. статусы каждого шага, и будет иметь понятный и легкочитаемый вид. Вы можете отправить PDF-файл сотруднику, у которого нет доступа к инстансу ТестОпс, чтобы ознакомить с важной информацией о запуске.
   • CSV — файл, который содержит таблицу в формате CSV с информацией по каждому результату теста, включая основные метаданные (автор, теги, эпики), статус и сообщение об ошибке. Вы можете импортировать CSV-файл в аналитические инструменты для дальнейшей обработки.

Изменение правил обработки запусков

Когда вы закрываете запуск, ТестОпс создает или обновляет соответствующие тест-кейсы. Вы можете исключить часть запусков из обработки, указав AQL-фильтр в настройках проекта. Исключенные запуски будут отображаться в разделах Запуски и Дашборды как обычно, но при их закрытии не будут создаваться и обновляться тест-кейсы.

Чтобы изменить правила обработки запусков:

1. Откройте ваш проект в ТестОпс.

2. Перейдите в раздел Настройки → Запуски.

3. В разделе Политика генерации документации (тест-кейсов) нажмите Редактировать.

4. Введите AQL-запрос, чтобы выбрать только те запуски, которые нужно обрабатывать при их закрытии.

   Например, введите tag != "debug", чтобы обрабатывать все запуски, кроме тех, которые отмечены тегом debug. Если вы оставите поле пустым, будут обработаны все запуски.

   Важно

   Обратите внимание, что фильтр использует атрибуты запусков, а не тест-кейсов. Атрибуты запусков указываются в настройках вашей CI-интеграции:

   • Если вы используете allurectl, вы можете указать атрибуты запуска с помощью переменных окружения или параметров командой строки (например, allurectl watch -- gradle --launch-tags debug).
   • Если вы используете CI-плагин, проверьте инструкцию для вашего CI-сервиса.
   • При ручной загрузке результатов атрибуты запуска можно указать в окне выбора файлов.

5. Нажмите Отправить.

Полный список доступных атрибутов для фильтра можно найти в разделе AQL.