В Туту через ТестОпс выстроили прозрачную и управляемую систему тестирования, сохранив собственный подход к процессам разработки.

Команда сервиса путешествий Туту придерживается подхода: не повторять за другими, а думать о том, как лучше будет нам. Ориентация на свои нужды позволила ей не на словах, а на практике выстроить рабочий процесс по принципам Agile.

Тестирование в Туту не отделено организационными рамками от процесса разработки: все тестировщики принадлежат к продуктовым командам. При этом параллельно этой вертикальной структуре есть горизонтальная: в департаменте мобильной разработки это Mobile QA-гильдия со своим лидом. В этой гильдии тестировщики договариваются об общих практиках, процессах и инструментах — как для ручного, так и для автоматизированного тестирования.

Ручное тестирование в мобильной разработке Туту имеет наивысший приоритет. Конечно, стандартные пользовательские пути тестируются автоматически; но все новые фичи и их взаимодействие обязательно требуют ручной проверки. Опыт команды Туту говорит о том, что пользовательский опыт может оценить только живой человек — и делается это через ТестОпс.

Команде Туту удалось добиться того, чтобы новые фичи поставлялись сразу с тестами, и автотесты писали только разработчики. Здесь максимально задействована их экспертиза с кодом благодаря тому, что тесты пишутся на языке разработки. Иногда приходится даже ограничивать написание новых автотестов, чтобы не умножать усилия по поддержке тестовой базы. Как раз здесь оказываются важны тестировщики, поскольку они знают, где нужно полное покрытие, а где можно сэкономить.

Тесты в инфраструктуре Туту выполняются по-разному: часть — при завершении отдельных участков работы, а наиболее ресурсоёмкие — в ночных прогонах, анализом которых занимаются тестировщики. Всю эту работу позволяет систематизировать в одном пространстве ТестОпс.

До перехода на ТестОпс в Туту не было единого способа ведения тестовой документации: у кого-то она хранилась в Zephyr, у кого-то в Confluence, у кого-то в блокноте, кто-то вообще её не вёл.

В команде Туту уже был опыт рабты на многих платформах, включая Qase, TestIT и ТестОпс, поэтому была возможность объективно взвесить их «за» и «против». Был произведён подробный анализ рынка, и на этом основании бизнес принял решение закупить ТестОпс.

В пользу этой платформы было много факторов:

• Готовые интеграции с большинством инструментов в стеке компании
• Поддержка ручного тестирования
• Цена и доступность на российском рынке
• Прекрасно составленная документация и активное сообщество

Настройка стабильного и системного рабочего процесса на новой платформе потребовала много труда: внедрение началось летом 2023 года, а окончательно сгладить все шероховатости удалось к первому кварталу 2024 года.

Интеграции и гибкий импорт тест-кейсов облегчили переход. Правда, не обошлось без трудностей: отсутствовала интеграция с XCUITest, и команде пришлось писать её самостоятельно. Но общая оценка всё равно была положительной.

Благодаря тому, что команда Туту стремится не повторять слепо за другими и ориентироваться на свои потребности, она научилась избавляться от всего, что мешает рабочему процессу. Большим помощником в этом оказался ТестОпс.

Поддержку тестовой базы облегчают настраиваемые дашборды. Подробные метрики, которые они демонстрируют, показали ещё при первом внедрении инструмента, что больше половины тестов можно удалить без большого ущерба. Это облегчение усилий по поддержке было не единовременным: ТестОпс позволяет постоянно наблюдать за здоровьем процесса.

Точно так же облегчить тестовую базу помогли степы: подробная информация о выполнении тестов показала, что многие из них запускались просто «для галочки».

Полезными оказались также метрики тестовых прогонов. Наблюдения за временем, потраченным на каждый прогон, позволили сократить рутинную работу с регрессионным тестированием с 5 дней до 2.

В целом, ТестОпс сделал процесс тестирования гораздо более контролируемым: при любых проблемах, возникающих в выпущенном приложении, появилась возможность детально проследить, какие именно проверки проходила соответствующая фича, и кто их выполнял.

Ручное тестирование в ТестОпс устраивало команду Туту с самого начала рабты на платформе. Новая функциональность здесь продолжает радовать: например, общие шаги экономят время и упрощают поддержку тестов.

Наконец, стоит сказать, что за три года работы с ТестОпс возможностей пообщаться с техподдержкой было очень мало — стабильный релиз всегда был по-настоящему стабильным. Обращений за весь срок было всего два, и оба раза проблема решалась в течение суток.

Внедрение ТестОпс органично вписалось в философию сервиса путешествий Туту: не следовать чужим шаблонам, а выстраивать процессы для собственной пользы и удобства. Именно этот прагматичный и самостоятельный подход позволил избавиться от лишней работы, повысить прозрачность процессов и сделать контроль качества не точечным этапом, а краеугольным камнем всей разработки.