В 2022 году Альфа Банк перешёл на внутреннюю разработку и тестирование. До этого банк пользовался услугами внешних вендоров, у которых были только ручные тесты.
Новая команда получила от внешних вендоров тест-кейсы, однако, всю автоматизацию пришлось создавать самостоятельно.
Тестировщики всегда выигрывают от совмещения знаний о продукте с техническими навыками, поэтому в Альфа Банке не разделяют ручное и автоматизированное тестирование. Обеспечение качества осуществляется во время всего процесса разработки, в него входит и сбор требований, и сотрудничество с разработчиками, и собственно тестирование.
Сегодня в команде разработки Альфа Банка работает 430 человек, из них 60 — тестировщики, которые распределены по 25 командам для погружения в контекст тестируемого продукта.
На сегодняшний день в Альфа Банке существует больше 12 тысяч рабочих тестов, из них 62% автоматизированы. Каждую неделю происходит 200-300 запусков, в общей сложности выполняется 20 000 — 30 000 тестов. Чтобы обеспечить этот объём тестирования была создана обширная инфраструктура.
Система также должна была обеспечивать масштабируемость, поскольку в Альфа Банке существует большое количество проектов и запускается много тестов — здесь тоже выигрывает ТестОпс.
Кроме того, специалисты Альфа Банка нашли в ТестОпс всю нужную им функциональность для тестирования:
Важными преимуществами системы также оказались её ценовая политика и качественная поддержка.
Приятным дополнением стала возможность импортировать созданные подрядчиками тестовые сценарии из других систем управления тестированием (TestLink, TestRail).
Выстроить инфраструктуру тестирования с нуля — дело непростое, и может занять месяцы, причем проблемы часто возникают не технические, а организационные. Например, много времени ушло на согласование доступов и обеспечение безопасности продуктов.
На этом фоне настройка ТестОпс была несложной задачей, и существенных трудностей не вызвала. Уже в 2024 году произошёл переход с англоязычной версии системы на русскоязычную, и это удалось сделать гораздо быстрее — за две недели. Помогла здесь и поддержка ТестОпс, которая была включена в развертку когда возникали проблемы.
В команде мало кто был знаком с ТестОпс до прихода в Альфа Банк, но несмотря на это, скорость погружения в работу была достаточно быстрой. И о ручном, и об автоматическом тестировании в ТестОпс было очень много положительных отзывов.
Особенно полезной оказалась возможность хранить вместе автоматические и ручные тесты. Благодаря ей удобно строить тест-планы, а на одном экране возможно увидеть состояние всего тестового запуска. Это позволяет быстро понять, какие найдены дефекты, кто и сколько прошёл тестов, какие фичи покрыты, а какие нет. Кроме того, много времени сэкономила автоматическая разбивка ошибок по категориям — при запуске тысяч тестов и анализе сотен ошибок эта экономия весьма ощутимая.
Для решения некоторых задач тестировщики Альфа Банка реализовали собственные решения — например, написали интеграцию ТестОпс с Grafana, которая позволила собирать общую аналитику по проектам.
Наконец, тестировщики оставляли положительные отзывы в адрес поддержки ТестОпс и отмечали скорость и профессионализм команды.
В планах у IT-команды Альфа Банка — продолжать автоматизировать тесты и процесс их запуска, чтобы полностью интегрировать тестирование в процесс поставки продукта.
Кроме того, есть цель перевести всех подрядчиков на использование ТестОпс. Значительную часть ручных тестов сейчас продолжают выполнять сторонние команды, и поскольку они пока работают в других системах, определить покрытие требований тестами оказывается нетривиальной задачей. Перевод всех ручных и автоматизированных тестов в одно пространство сделал бы весь процесс гораздо более прозрачным.
Всё в одной системе: прозрачные тестовые пайплайны, автоматизация повторяемых задач, предсказуемые сроки и стабильные релизы.