Запуск автоматизированного теста

В отличие от ручного теста, который содержит инструкции для тестировщика, автоматизированный тест оформлен в виде кода. Этот код не только выполняет все необходимые действия и проверки автоматически, но и генерирует результат теста — один или несколько файлов с информацией о том, сколько времени заняло выполнение теста, какие ошибки были обнаружены и т. д. На основе этих данных ТестОпс создает или обновляет список тест-кейсов.

Результаты тестов могут быть загружены в ТестОпс:

• через интерфейс ТестОпс;
• с помощью интеграции с CI-сервисами;
• с помощью утилиты allurectl.

Загруженные данные будут отображены в ТестОпс: сначала в разделе Запуски, а затем, после закрытия запуска, в разделе Тест-кейсы.

Основная цель инструкции ниже — рассказать, как загружать результаты тестов напрямую через интерфейс ТестОпс. Однако вы можете выбрать другие методы, если они лучше подходят для вашего проекта.

Примечание

Где я могу взять результаты тестов?

Точный путь к результатам тестов зависит как от используемого тестового фреймворка, так и от его конфигурации. При использовании одного из официальных адаптеров Allure с настройками по умолчанию результаты тестов обычно создаются в директории allure-results или build/allure-results. Эти файлы используют внутренний формат данных Allure Report, совместимый со всеми функциями ТестОпс. Помимо этого, ТестОпс поддерживает и другие популярные форматы.

Если у вас сейчас нет проекта для работы с автотестами, скачайте один из готовых проектов со страницы allurereport.org/start, чтобы сгенерировать набор результатов тестов и продолжить выполнять шаги ниже.

Загрузка результатов тестов вручную

Набор результатов тестов в ТестОпс называется запуском, и их загрузка происходит в разделе Запуски.

1. Перейдите на страницу проекта.

2. В меню слева перейдите в раздел Запуски.

3. В правом верхнем углу нажмите значок Загрузить новые результаты.

   

4. В левой части появившегося окна заполните поля:

   • Название — имя, которое будет отображаться в списке запусков.
   • Теги — произвольные теги для запуска.
   • Связанные задачи из баг-трекера — ссылки на задачи, если вы настроили интеграцию с таск-трекером.
   • Ссылки — ссылки на любые веб-страницы, полезные для участников команды, которые будут работать с этим запуском.
   • Окружение — значения, которые будут добавлены к каждому результату теста. Например, имя браузера, который использовался для тестирования.

   За исключением Названия, все поля являются необязательными.

   

   С помощью этих полей вы можете создать собственную систему названий запусков и их параметров, которая поможет лучше ориентироваться в списке запусков. Например, вы можете добавлять слово «Релиз» в название каждого запуска, который выполняете перед публичным релизом. Или вы можете устанавливать разные теги для запусков, выполненных разными участниками команды. Затем вы сможете фильтровать запуски по этим параметрам в интерфейсе ТестОпс или с помощью AQL.

5. В правой части окна выберите файлы для загрузки. Например, выберите директорию allure-results, созданную после запуска тестов в вашем проекте, и перетащите ее в область загрузки. Вы также можете сжать эту папку в ZIP-архив и загрузить как файл.

6. Нажмите Загрузить файлы и подождите, пока ТестОпс обработает данные.

   Примечание

   На этом этапе загруженные данные будут изолированы в запуске. Если в них содержится тест-кейс, который еще не был добавлен в ТестОпс, он не появится в разделе Тест-кейсы до закрытия запуска.

   Если вы хотите добавить дополнительные результаты тестов в тот же запуск (например, результаты тестов из другого источника), откройте запуск и выберите пункт Загрузить файлы результатов в меню.

   

7. Чтобы закрыть запуск и обновить список тест-кейсов, откройте запуск и нажмите Завершить.

   

Загрузка результатов тестов с CI-сервера

В активно развиваемом проекте тесты часто выполняются на CI-сервере: GitHub, GitLab, Jenkins и др. Однако запуск новых CI-джобов вручную одновременно с настройкой окружения и загрузкой результатов тестов в ТестОпс может отнимать много времени. Интеграции с CI-системами позволяют встроить ТестОпс в рабочий процесс команды, предоставляя удобный интерфейс для запуска тестов и анализа их результатов.

Подробные инструкции по настройке интеграции для CI-серверов приведены в разделе Интеграции. Как правило, чтобы настроить интеграцию, вам необходимо пройти два основных этапа:

1. Настроить CI-сервер для подключения к ТестОпс и загрузки результатов после каждого запуска теста.

   Этот этап может потребовать установки, авторизации и настройки плагина, а также изменения кода для выполнения тестов.

2. Настроить ТестОпс для связи с CI-сервером и запуска тестов.

   Этот этап выполняется администратором ТестОпс и владельцем проекта. После настройки ТестОпс сможет отправлять тест-планы и переменные окружения на CI-сервер.

После того как вы настроили интеграцию, запустите тесты на CI-сервере с помощью ТестОпс:

1. В разделе Тест-кейсы выберите галочками автоматизированные тест-кейсы, которые вы хотите запустить.

2. В правом верхнем углу нажмите на значок меню и выберите Запустить.

   

3. В появившемся окне перейдите на вкладку Джобы и убедитесь, что выбран нужный CI-сервер для выполнения тестов. При необходимости нажмите Заменить джобу.

   

4. Нажмите Отправить. Будет создан новый запуск.

5. Перейдите в раздел Запуски и найдите созданный запуск. Под прогресс-баром в строке Выполнение джоб будет отображаться мигающая иконка, которая указывает на запущенную джобу. Во время запусков с множественными наборами переменных окружения на CI-сервере будут запущены несколько джобов и вы увидите несколько иконок.

   

   Примечание

   После инициализации, продолжительность которой зависит от интеграции, иконка джобы станет интерактивной — нажмите на нее, чтобы открыть джобу в интерфейсе CI-сервера.

6. После завершения тестов откройте страницу запуска и перейдите на вкладку Результаты тестов.

   Под каждым результатом теста будет отображаться ссылка на джобу, в которой выполнен тест.

   

Что дальше?

• Создайте комбинированный запуск, запустив ручные и автоматизированные тест-кейсы вместе.
• Изучите результаты тестов в разделах Запуски и Дашборды.