Результаты тестов

Результат теста — одна попытка выполнения тест-кейса во время запуска. Результат теста создается либо вручную, либо автоматически путем загрузки файла с результатами теста. В самой простой ситуации результат теста можно рассматривать как простую запись, содержащую дату и время попытки выполнения теста и ее статус, например, Успешный или Неуспешный.

Для ручного теста со сценарием тестировщик указывает индивидуальные статусы для всех шагов и при необходимости добавляет вложения. Для всего результата теста также могут быть указаны ссылки на задачи, теги и кастомные поля, описывающие попытку.

Результат автоматизированного теста может включать те же данные. Ознакомьтесь с документацией Allure Report, чтобы узнать больше о шагах, вложениях и метаданных, которые могут быть добавлены при выполнении автоматизированного теста.

Каждый результат теста также может описывать свое окружение, например, операционную систему и браузер, которые использовал тестировщик. В зависимости от конфигурации и способа создания запуска, окружение может быть одинаковым или отличаться для всех результатов тестов в запуске. Чтобы узнать больше об этой возможности, см. Окружение.

Когда вы завершаете запуск, все результаты тестов в нем обрабатываются. Затем ТестОпс использует результаты тестов для создания или обновления тест-кейсов и всей связанной аналитики в проекте.

Статусы тестов в запусках

Каждый завершенный результат теста имеет статус теста. Эти статусы отражаются в различных статистиках и графиках в интерфейсе ТестОпс, и они также могут использоваться для поиска и фильтрации тест-кейсов.

При выполнении тест-кейса вручную новый (незавершенный) результат теста изначально получает временный псевдо-статус В процессе, который затем изменяется тестировщиком на другой статус. Для результатов автоматизированных тестов статус загружается из файла с результатами теста (см. также статью Статусы тестов в документации Allure Report).

Статусы тестов в запусках:

• Успешный (зеленый): тест завершился успешно.
• Неуспешный (красный): тест столкнулся с неожиданным поведением в тестируемой системе. Это означает, что сам тест кажется действительным (не сломан), но его выполнение завершилось ложным утверждением.
• Пропущенный (серый): тест был включен в тест-план, но не был выполнен по какой-то причине.
• Сломанный (оранжевый): тест не прошел из-за дефекта теста. В отличие от статуса Неуспешный означает, что тест не смог проверить поведение продукта так, как было задумано, поэтому сбой может или не может указывать на фактический дефект продукта.
• Неизвестный (фиолетовый): статус теста не был явно указан. В ручном тесте это означает, что запуск был закрыт, пока тест все еще был В процессе. В автоматизированном тесте это, скорее всего, связано с ошибкой в адаптере Allure Report, который использовался во время запуска.

В сценариях ручных тест-кейсов можно установить индивидуальные статусы для каждого шага и подшага. Статусы шагов не влияют напрямую на статусы тест-кейсов и могут использоваться для различных целей.

Поддерживаемые форматы файлов

ТестОпс распознает различные форматы данных для результатов автоматизированных тестов. Файлы в любом из этих форматов можно загружать через веб-интерфейс или через allurectl:

• формат Allure Report 2.x — *-result.json, *-container.json, *-attachment.*;
• формат Allure Report 1.x — *.xml (поддерживается для совместимости со старыми адаптерами и интеграциями);
• формат отчетности Cucumber — *.json;
• формат отчетности JGiven — *.json;
• формат отчетности JUnit XML — *.xml;
• формат отчетности Visual Studio — *.trx (устаревший, не рекомендуется использовать);
• формат отчетности XCTest — *.xcresult (поддерживаются только файлы из XCode 11 и выше);
• формат отчетности xUnit.net — *.xml.