Выбор системы управления тестированием в 2019

Несмотря на колоссальные возможности современных табличных редакторов, для многих команд разработки рано или поздно встает вопрос о внедрении специализированных инструментов (систем) для управления процессом тестирования в своих проектах. Какой же из них выбрать?

Такой вопрос в моей практике задавался не раз. Это подтолкнуло меня на создание этой обзорной статьи, чтобы в будущем сэкономить немного времени себе и всем тем, кто также столкнется с этим вопросом. И пусть даже в конце статьи на него не будет ответа (извините за спойлер), но ваше подсознание, скорее всего, определится уже сейчас и в нужный момент на определенном проекте подскажет ответ.

В своих поисках я натыкался на множество аналогичных статей (в одной из них я позаимствовал структуру сравнительной таблицы), но все они скупо перечисляют функции с сайтов этих систем и 1-2 скриншота интерфейса и зачастую содержат скрытую или открытую рекламу одного из таких инструментов. Мне же захотелось испытать каждую систему “на себе” и непредвзято поделиться увиденным, рассказать о своих ощущениях.

Дисклеймер:
В статье только моё субъективное мнение, некоторые моменты могли измениться (учитывая время, прошедшее от идеи до публикации, - 9 месяцев). Я не имею никакого отношения к перечисленным компаниям и продуктам, все скриншоты представлены в ознакомительных целях. В тексте очень много англицизмов. Положение в таблице или тексте это не положение в рейтинге, “лучший” и “худший” вы определяете для себя сами.

Ниже приведена итоговая сравнительная таблица, после неё читатель, не спешащий на встречу, найдет несколько слов о каждой системе.

Платные инструменты:
TestRail
QA Touch
Test Collab
qTest Manager
PractiTest
Zephyr Standalone
TestLodge
EasyQA

Open Source инструменты:
TestLink
Squash TM
Kiwi TCMS

---

TestRail

Сайт: www.gurock.com/testrail
Разработчик: Gurock Software GmbH
Цена: TestRail Cloud $30 за юзера / месяц (1-20 пользователей)

Скриншоты интерфейса:

Радует: удобный и понятный интерфейс; быстрая вставка изображений; Markdown разметка текста; добавление пользовательских полей; настройка порядка отображения полей кейса; возможность назначить каждый кейс (или тестран) на отдельного пользователя; быстрое копирование и перемещение кейсов; группировка нескольких тестранов в тестовый план; быстрая интеграция с багтрекерами (по URL трекера или используя плагины); экспорт как кейсов, так и отчетов в XML и CSV форматы; широкие возможности API для интеграции с вашими внутренними системами (синхронизация информации в кейсах, сохранение результатов автотестов и т.д); наглядные отчеты; аккуратные печатные формы; при создании проекта можно выбрать три типа структуры для хранения тест кейсов (одна из которых позволяет разделять кейсы на ветки, соответствующие разработке).

Не радует: нет встроенных требований; нет своего багтрекера; цена довольно высокая (особенно для небольших компаний).

QA Touch

Сайт: www.qatouch.com
Разработчик: DCKAP
Цена: Professional $69 за 50 юзеров / месяц

Скриншоты интерфейса:

Радует: широкие имеющиеся и планируемые возможности при адекватной цене; приятный UI; встроенные багтрекер и требования; интеграция с внешними багтрекерами JIRA, GitHub, GitLab; релизное планирование тестранов; есть возможность создания пере-прогона (re-run) с кейсами определенного статуса; голосовой набор и автодополнение текста заголовка кейса и бага; переиспользуемые шаги кейса.
К сожалению, не смог опробовать и сделать скриншот некоторых компонентов продукта, т.к. они доступны только в платных планах.

Не радует: составляющие кейса (основные поля, шаги, вложения) разнесены на вкладки при редактировании; нет форматирования текста; картинку хоть и можно добавить к отдельному шагу, но только к одному и как скачиваемый файл; нет версионности кейса; текстовые области шагов и ожидаемых результатов, при изменении их размера вручную, сбиваются во время редактирования (не на одной линии); форма выбора кейсов для тестрана немного разная при создании и при редактировании его; список кейсов и багов включает только их название и ID (для быстрого обзора списка дополнительные настраиваемые поля были бы не лишними); отметка статуса при прогоне также вынесена на отдельную вкладку от общей информации кейса; есть небольшие косяки в отображаемых данных (общее количество кейсов на дашборде и странное поле "Assigned to" - списываю это на то, что я зарегистрировался еще в том году, с тех пор вендор существенно его дополнил).

Test Collab

Сайт: testcollab.com
Разработчик: Test Collab
Цена: Startups от $25 за юзера / месяц (свыше 50 пользователей - $10)

Скриншоты интерфейса:

Радует: широкая настройка почтовых уведомлений (с возможностью редактировать шаблоны писем); объединение тестранов в тест-планы; приятный интерфейс с подсказками (которые можно отключить); функция повторного использования шагов (reusable steps); возможность комментирования кейса при редактировании; тэги; выбор типа форматирования текста (Markdown, HTML/WYSIWYG, Plain Text); добавление пользовательских полей; настраиваемые шаблоны для выборки кейсов в тестран; встроенные требования; цена (для небольших проектов есть бесплатный план с 200 кейсами и 400 выполненными кейсами).

Не радует: нельзя редактировать системные поля (в частности Priority); нет возможности сохранить отображаемые поля в списках (при обновлении страницы сбрасываются по умолчанию); есть небольшие огрехи в отображении элементов UI; нет печатных форм ни для кейсов ни для отчётов (наверное, сейчас их редко используют, но другие инструменты предлагают такую функцию); данные на общем дашборде обновляются с задержкой; экспорт кейсов только для одного тестового набора (при этом вложенные наборы обрабатывает только экспорт в XML); неудобная вставка изображений в шаги кейса (через ссылку); нет своего багтрекера.

qTest Manager

Сайт: www.tricentis.com
Разработчик: Tricentis (приобрела QASymphony в 2018)
Цена: от $99 за юзера / месяц (цена приблизительна и зависит от количества пользователей)

Скриншоты интерфейса:

Радует: настройка системных и добавление пользовательских полей к различным объектам (с возможностью предпросмотра этого объекта и даже изменения цвета для статуса прогона); информативная история изменения кейса; встроенный HTML-редактор в текстовых полях кейса; комментирование отдельного кейса; можно подписаться на отдельный кейс и получать уведомления на почту об изменениях; интересная реализация авто-версионирования кейса (с мажорной и минорной составляющей); функция быстрого прогона кейса (без выставления статуса каждому шагу); встроенные требования с привязкой кейсов и указанием целевой сборки, также имеется встроенный багтрекинг; переиспользуемые кейсы; настраиваемые конфигурации тестранов; широкие возможности по интеграции как с багтрекерами, так и CI/CD сервисами; API для еще более гибкого взаимодействия; хранимые запросы поиска по кейсам, требованиям и т.д.; разнообразные отчеты; гибкая настройка на стороне администратора (пользователи, уведомления, права, группы и т.д.); встроенный проект со всеми данными для ознакомления с возможностями продукта; планы тестирования.

Не радует: нет печатных форм кейсов; экспорт кейсов только в Excel формате (но зато он имеет читаемый вид); немного неудобный просмотр картинок в шагах кейса при прогоне; на сайте нет информации о цене продукта (нужно делать отдельный запрос) и она внушительная.

PractiTest

Сайт: www.practitest.com
Разработчик: PractiTest
Цена: ENTERPRISE $49 за юзера / месяц (минимум от 3 пользователей)

Скриншоты интерфейса:

Радует: возможность комментирования кейса (теста); теги (ключевые слова) для теста; быстрый переход по номеру теста; генерация перестановок тестранов (для разных тестировщиков, версий); использование параметров в шагах кейса (с возможностью изменить значение при каждом прогоне); включение шагов (call to test) одного кейса в другой (иногда это действительно нужно и не надо прыгать по ссылкам на другие кейсы); двусторонняя интеграция с Jira и YouTrack (с помощью создания API токена); добавление пользовательских полей; канбан доска по статусам для кейсов; свои багтрекер и требования (но не сделал скриншоты с ними).

Не радует: сложный UI/UX в целом (в частности разделение структуры кейса на вкладки: описание и шаги на разных вкладках); скудная, непрезентабильная печатная версия как самих кейсов так и отчетов; хоть и есть поддержка markdown разметки, но картинки к шагам добавляются только как вложения; нельзя изменить статус всего кейса, если какой-то шаг не прошёл (это и правильно, но иногда нужно "озеленить" весь тест); пользовательскому списку нельзя задать приоритет сортировки (сортирует по алфавиту); цена (завышена, даже учитывая уникальные функции); виджет чата поддержки на каждой странице.
Сайт компании на момент публикации был недоступен с российского IP, при этом веб-платформа открывалась.

Zephyr Standalone

Сайт: www.getzephyr.com
Разработчик: SmartBear Software
Цена: от $50 за юзера / месяц (цена взята из прошлого, сейчас не указана на сайте)

Скриншоты интерфейса:

Радует: привлекательное планирование стадий тестирования (на подобии диаграммы Ганта) с добавлением и настройкой различных работ по тестированию; встроенные требования и багтрекинг, которые при наличии JIRA бесшовно интегрируются с ней (с возможностью поиска и просмотра тикетов напрямую из Zephyr); есть возможность добавлять пользовательские поля к объектам (проекту, кейсам, требованиям), изменять название и цвет статусам прогона (всего кейса и отдельного шага); можно добавить виджеты для проекта с различными характеристиками (диаграммами), которые будут обновляться через заданное время; экспорт кейсов в HTML и PDF формат с указанием необходимых полей.

Не радует: непривычный интерфейс, к UX/UI надо привыкать какое-то время; нет прямой ссылки на отдельный кейс (только через поисковый запрос можно сформировать URL для него); плашка с виджетом помощи внизу не убирается; нельзя менять системные поля; картинки к шагам кейса можно добавить только как вложения ко всему кейсу; заточенность только под JIRA; цену нужно узнавать по запросу (и только по телефону, в электронном сообщении эту информацию не предоставляют).

TestLodge

Сайт: www.testlodge.com
Разработчик: TestLodge Limited
Цена: Basic $49 за 600 кейсов / месяц (подписка по количеству данных)

Скриншоты интерфейса:

Радует: лаконичный интерфейс; создание и выбор конфигурации при создании тестрана; быстрая интеграция с популярными баг-трекерами; создание тест-плана (с шаблоном по умолчанию); матрица покрытия (если требования вести внутри продукта); модель подписки по количеству данных (для некоторых проектов это плюс); экспорт набора в HTML (она же печатная форма).

Не радует: нет разделения кейса на отдельные шаги; пользовательские поля нельзя переместить выше системных; картинку можно вставить только как вложение или ссылку на нее; экспорт кейсов только каждый набор в отдельности; тестовый набор можно указать только для одного тест-плана; нет своего багтрекера.

EasyQA

Сайт: geteasyqa.com
Разработчик: ThinkMobiles
Цена: $10 за юзера / месяц

Скриншоты интерфейса:

Радует: возможности для мониторинга и тестирования мобильных сборок (APK и IPA файлы), интегрируясь с GitHub или GitLab репозиториями; свой багтрекер с возможностью добавить плагин для интеграции с другими системами (GitHub, GitLab, YouTrack, JIRA, RedMine, Pivotal Tracker, Trello); простота в обращении (иногда это плюс) с тестовыми объектами (планы, тестраны, тест-кейсы, отчеты); наглядное сопоставление полей при экспорте кейсов из CSV файла (но требует внимания, можно уйти в бесконечный цикл экспорта).

Не радует: нет возможности хоть как-то кастомизировать объекты; нет ожидаемого результата для каждого шага кейса; в кейсах нельзя форматировать текст и прикладывать картинки; есть вопросы к UI в некоторых местах (особенно при отображении таблиц); не получил письма с приглашением для второго участника на почту с личного домена; нельзя менять права для ролей (+ не смог сменить роль проекта для неподтверждённого пользователя).
Судя по активности в социальных сетях и блоге на сайте, они приостановили разработку.

---

Бесплатные системы многих привлекают отсутствием ежемесячной платы. Но определенных затрат они, безусловно, потребуют. Во-первых, аренда хостинга (вычислительные ресурсы). Во-вторых, трудозатраты системного администратора по установке, настройке и поддержке работоспособности системы. Но сервер (или небольшая виртуальная машина) у вас уже может быть, а наличие готовых Docker-образов упрощает развертывание, поэтому запуск бесплатной системы “с нуля” может оказаться проще регистрации в платной системе (утрирую, конечно, но в каждой шутке есть доля шутки). Добавим к этому тенденцию “полного контроля” над данными, и продукты с открытым исходным кодом становятся всё более привлекательными для внедрения. Я взял на обзор три таких системы: TestLink, Squash TM и Kiwi TCMS.

TestLink

Сайт: testlink.org
Язык разработки: PHP

Скриншоты интерфейса:

Радует: встроенные требования и отслеживание их через кейсы; разнообразные текстовые отчеты; возможность добавить пользовательские поля; гибкая настройка ролей пользователей; интеграция с багтрекерами (JIRA, YouTrack, GitLab, Bugzilla и др.); тестлид может дополнительно установить срочность (urgency) для каждого кейса в тестране, что повлияет на порядок выполнения кейсов; управление списком тестируемых платформ; инвентарный список хостов (мелочь, но приятно); HTML-редактор с возможностью вставлять картинки, ссылки, таблицы, списки; по-моему, самый популярный Open Source инструмент со множеством инструкций и статей по настройке и использованию; наличие ресурса разработки на языке PHP позволяет изменить продукт под свои потребности (если стандартных функций покажется недостаточно или они окажутся не такими удобными).

Не радует: интерфейс, требующий небольшого привыкания; придется повозиться с настройкой некоторых компонентов для полноценной работы (точечная настройка конфигурационных файлов, отправка почты, интеграция с багтрекером); в текстовых окнах HTML-редактора не работает стандартная проверка орфографии браузера; нельзя редактировать системные поля и порядок их отображения на форме кейса; ручная смена порядка шагов (приходится вводить цифры, вместо перетаскивания); назначение кейсов для тестрана (билда) после платных инструментов покажется неудобным.

Squash TM

Сайт: www.squashtest.org
Язык разработки: Java

Скриншоты интерфейса:

Радует: управление требованиями с привязкой к тест-кейсам; HTML-редактор; использование параметров в шагах кейса и предусловиях; возможность создать тест кейс с Gherkin сценарием (BDD); UI функция сворачивания содержания шагов кейса; есть режим прогона кейсов с отображением во фрейме тестируемого веб-сайта (в большинстве случаев уже не актуально, но возможность такая есть); использование существующего кейса (Call a test case); добавление пользовательских полей к объектам; цветовое разграничение компонентов продукта, также показался удобным цветовой индикатор статуса в библиотеке кейсов; плагины для интеграции с багтрекерами JIRA и Mantis; есть подробная документация (правда, некоторые разделы не в том порядке).

Не радует: чтобы прикрепить картинку во вложении, нужно сначала добавить расширения для таких файлов в белый список системных настроек (по умолчанию png и jpg отсутствуют); нельзя редактировать системные поля (категория и приоритет); нельзя редактировать имеющиеся семь ролей прав доступа (однако, 7 уровней этого зачастую достаточно); не смог сгенерировать некоторые отчеты (из логов узнал, что проблема с инициализацией класса); необычная терминология для тест-планов и тест-ранов (тут они названы Campaign и Iteration); разбиение UI на вкладки.

Kiwi TCMS

Сайт: kiwitcms.org
Язык разработки: Python

Скриншоты интерфейса:

Радует: гибкая настройка прав групп пользователей; интеграция с багтрекерами JIRA, Bugzilla, GitHub and GitLab; быстрая работа системы; Markdown разметка текста с возможностью быстрого предпросмотра; возможность подключить плагины (некоторые, правда, только в планах на разработку) для сбора результатов автотестов; есть API для использования во внешних инструментах; подробная документация по продукту; активная разработка новых фич и планы на будущее.

Не радует: в тесте нет деления на отдельные шаги; некоторые счетчики в UI не обновляются, после совершения действия (необходимо обновлять страницу); своя подсветка орфографии в текстовом редакторе; один отчет по созданным кейсам (но в планах добавить еще несколько); нет деления на проекты внутри системы.

---

Заключение

Это лишь малая часть доступных на рынке систем. Однако, обзор уже получается довольно длинным. Не вошли в него плагины для JIRA ( TM4J , Zephyr , Xray , TestFLO и др.), т.к. это птицы разного полёта. JIRA хоть и используется сейчас на многих проектах, но всё-таки она не панацея. Поэтому это тема для отдельной, не меньшей статьи. Также под прицел не попали Test IT и Qase , но они вышли совсем недавно, когда основная часть этой статьи уже была написана. Возможно, за это время “родились” еще системы или есть уже существующие, достойные обзора - напишите в комментариях. Кажется, люди любят сериалы - напишем продолжение!

А пока предлагаю поучаствовать в голосовании на Хабре “Какая система управления тестированием у вас на проекте?”.
(Понимаю, что не всегда это есть “желаемая” система, тогда поделитесь вашей болью: с какой работаете, и с какой хотели бы работать.)

Кликните на картинку, чтобы перейти к голосованию на Хабре