Запуск автоматизированного теста
Автоматизированные тест-кейсы выполняются автоматически с помощью тестовых фреймворков и других специализированных инструментов. В отличие от ручных тест-кейсов, вы не можете создать автоматизированный тест-кейс напрямую через интерфейс ТестОпс.
Каждый автоматизированный тест-кейс — это код на языке программирования, который после выполнения создает файл с результатом теста. Этот файл может быть затем загружен в ТестОпс, и после его обработки ТестОпс создаст новый автоматизированный тест-кейс или обновит существующий.
ТестОпс поддерживает несколько форматов файлов с результатами тестов, но для большинства случаев мы рекомендуем использовать наш внутренний формат, поддерживающий все возможности ТестОпс. Чтобы его использовать, вы можете установить официально поддерживаемый адаптер для вашего тестового фреймворка.
Загрузка результатов теста
Результаты тестов можно загрузить в ТестОпс как вручную, так и автоматически. Для автоматической загрузки вы можете использовать приложение командной строки (allurectl) или плагин для CI-сервиса.
Кроме основной информации, такой как статус и продолжительность теста, каждый результат теста содержит уникальный идентификатор тест-кейса. Для генерации этого идентификатора адаптеры используют информацию, предоставляемую тестовым фреймворком: готовый к использованию идентификатор или другую информацию, такую как сигнатура функции. Если сгенерированный идентификатор уже существует в ТестОпс, вместо создания нового тест-кейса ТестОпс обновит существующий, добавив в него новые результаты. Чтобы узнать больше о том, как результаты тестов сопоставляются с тест-кейсами, см. Сопоставление результатов с тест-кейсами.
Если вы используете один из официальных адаптеров, после запуска тестов вы можете найти файлы с результатами в директории allure-results или build/allure-results.
Если у вас сейчас нет проекта с автоматизированными тестами, вы можете скачать один из готовых проектов, запустить его и загрузить полученные результаты.
Ручная загрузка
Чтобы загрузить результаты вручную:
Откройте ваш проект.
Перейдите в раздел Запуски.
В правом верхнем углу нажмите Импорт.
В появившемся окне выберите файлы для загрузки. Для этого нажмите на область загрузки в правой части окна или перетащите файлы в эту область.
Результаты можно загрузить как отдельные файлы или в виде ZIP-архива.
Опционально вы можете изменить название запуска и указать дополнительные атрибуты. См. Запуски для более подробной информации.
Нажмите Загрузить файлы.
Через несколько секунд в списке должен появиться новый запуск со статусом Открыт. Этот статус означает, что запуск еще не был обработан ТестОпс и вы можете его изменить (например, загрузить дополнительные результаты или изменить атрибуты). Только после закрытия запуска ТестОпс создаст или обновит соответствующие автоматизированные тест-кейсы.
Чтобы закрыть запуск:
- Нажмите на кнопку
⋯или на статус запуска. - Выберите Закрыть.
Автоматическая загрузка
Так как автоматизированные тесты обычно запускаются на CI-серверах, таких как Jenkins и GitHub Actions, разумным шагом будет автоматизировать и процесс загрузки результатов тестов. Для этого вы можете установить плагин для вашего CI-сервиса, если он поддерживается, или использовать приложение командной строки в качестве более универсального решения.
Использование плагинов
Плагины обычно более удобны в настройке и предоставляют больше возможностей, например, возможность запускать пайплайны прямо из интерфейса ТестОпс. Полный список поддерживаемых CI-сервисов и инструкции по установке плагинов можно найти в статье Интеграции с внешними системами.
Если ваш CI-сервис не поддерживается или если вы предпочитаете использовать приложение командной строки, вы можете настроить allurectl для загрузки результатов.
Использование allurectl
Чтобы начать использовать allurectl:
- Скачайте файл для вашей платформы.
- Создайте API-токен для allurectl в ТестОпс.
После выполнения тестов запустите allurectl, чтобы загрузить результаты в ТестОпс:
sh
allurectl upload <директория> -e <сервер> -t <токен> --project-id <проект>где:
<директория>— директория, содержащая файлы с результатами тестов;<сервер>— URL-адрес вашего инстанса ТестОпс;<токен>— API-токен, который вы создали в ТестОпс;<проект>— ID вашего проекта в ТестОпс.
Также вы можете использовать команду watch вместо upload, чтобы загружать результаты сразу после завершения теста и использовать переменные окружения вместо параметров командной строки. Подробнее — в статье про allurectl.
После загрузки результатов тестов, закройте запуск.
Запуск CI-пайплайнов из ТестОпс
Если вы установили плагин для вашего CI-сервиса, вы можете запускать пайплайны прямо из интерфейса ТестОпс.
Откройте ваш проект.
Перейдите в раздел Тест-кейсы.
Выберите один или несколько тест-кейсов, используя Ctrl или поставив галочки слева от них.
В нижней части экрана нажмите Запустить.
В появившемся окне перейдите на вкладку Джобы и убедитесь, что выбран нужный CI-сервер для выполнения тестов. При необходимости нажмите Заменить джобу.
Нажмите Отправить.
Перейдите в раздел Запуски.
Найдите созданный запуск. Под названием запуска будет отображаться мигающая иконка, которая означает, что джоба находится в стадии выполнения.
Через короткое время, которое зависит от используемой интеграции, иконка станет кликабельной. Вы можете нажать на нее, чтобы перейти на страницу джобы на CI-сервисе.
После завершения джобы откройте страницу запуска и перейдите на вкладку Результаты тестов, чтобы посмотреть результаты.
В каждом результате будет дополнительно отображаться ссылка на джобу, в рамках которой был выполнен тест.
Что дальше?
- Создайте комбинированный запуск, запустив ручные и автоматизированные тест-кейсы вместе.
- Изучите результаты тестов в разделах Запуски и Дашборды.