Выбор системы управления тестированием в 2019

Обзорная статья со множеством скриншотов

Автор: Artem Hotenov | Опубликовано: 12 августа 2019

Несмотря на колоссальные возможности современных табличных редакторов, для многих команд разработки рано или поздно встает вопрос о внедрении специализированных инструментов (систем) для управления процессом тестирования в своих проектах. Какой же из них выбрать?

Такой вопрос в моей практике задавался не раз. Это подтолкнуло меня на создание этой обзорной статьи, чтобы в будущем сэкономить немного времени себе и всем тем, кто также столкнется с этим вопросом. И пусть даже в конце статьи на него не будет ответа (извините за спойлер), но ваше подсознание, скорее всего, определится уже сейчас и в нужный момент на определенном проекте подскажет ответ.

В своих поисках я натыкался на множество аналогичных статей (в одной из них я позаимствовал структуру сравнительной таблицы), но все они скупо перечисляют функции с сайтов этих систем и 1-2 скриншота интерфейса и зачастую содержат скрытую или открытую рекламу одного из таких инструментов. Мне же захотелось испытать каждую систему “на себе” и непредвзято поделиться увиденным, рассказать о своих ощущениях.

Дисклеймер:
В статье только моё субъективное мнение, некоторые моменты могли измениться (учитывая время, прошедшее от идеи до публикации, - 9 месяцев). Я не имею никакого отношения к перечисленным компаниям и продуктам, все скриншоты представлены в ознакомительных целях. В тексте очень много англицизмов. Положение в таблице или тексте это не положение в рейтинге, “лучший” и “худший” вы определяете для себя сами.

Ниже приведена итоговая сравнительная таблица, после неё читатель, не спешащий на встречу, найдет несколько слов о каждой системе.

Платные инструменты Open Source инструменты
TestRail QA Touch Test Collab qTest Manager PractiTest Zephyr Standalone TestLodge EasyQA TestLink Squash TM Kiwi TCMS
               \ Цена
Функция  \

TestRail

за 1 юзера
$30 /месяц

QA Touch

за 50 юзеров
$69 /месяц

Test Collab

за 1 юзера
$25 /месяц

qTest Manager

за 1 юзера
$99 + /месяц

PractiTest

за 1 юзера
$49 /месяц

Zephyr Standalone

за 1 юзера
$50 + /месяц

TestLodge

за 600 кейсов
$49 /месяц

EasyQA

за 1 юзера
$10 /месяц

TestLink

Squash TM

Kiwi TCMS

Язык
Python
Ожидаемый результат для каждого шага кейса
Ожидаемый результат для каждого шага кейса

TestRail

QA Touch

Test Collab

qTest Manager

PractiTest

Zephyr Standalone

TestLodge

EasyQA

TestLink

Squash TM

Kiwi TCMS

  Форматирование текста (вставка изображений, ссылок, и т.д.)
Форматирование текста

TestRail

Markdown

QA Touch

Test Collab

Markdown или HTML

qTest Manager

HTML

PractiTest

Markdown , но картинки как вложения ? но картинки как вложения

Zephyr Standalone

HTML

TestLodge

Markdown , но картинки как вложения ? но картинки как вложения

EasyQA

TestLink

HTML

Squash TM

HTML

Kiwi TCMS

Markdown
  Создание проекта
Создание проекта

TestRail

QA Touch

Test Collab

qTest Manager

PractiTest

Zephyr Standalone

TestLodge

EasyQA

TestLink

Squash TM

Kiwi TCMS

  Роли пользователей
Роли пользователей

TestRail

QA Touch

Test Collab

qTest Manager

PractiTest

Zephyr Standalone

TestLodge

EasyQA

определенные

TestLink

Squash TM

определенные

Kiwi TCMS

  Тестран
Тестран

TestRail

QA Touch

Test Collab

qTest Manager

PractiTest

Zephyr Standalone

TestLodge

EasyQA

TestLink

Squash TM

Kiwi TCMS

  Отчеты
Отчеты

TestRail

QA Touch

Test Collab

qTest Manager

PractiTest

Zephyr Standalone

TestLodge

EasyQA

TestLink

Squash TM

Kiwi TCMS

в планах
  Импорт / Экспорт кейсов
Импорт / Экспорт

TestRail

XML, CSV

QA Touch

CSV, Excel

Test Collab

XML, CSV

qTest Manager

Excel

PractiTest

CSV

Zephyr Standalone

TestLodge

XML, CSV

EasyQA

CSV

TestLink

XML

Squash TM

CSV, Excel

Kiwi TCMS

  API
API

TestRail

QA Touch

Test Collab

qTest Manager

PractiTest

Zephyr Standalone

TestLodge

EasyQA

TestLink

Squash TM

Kiwi TCMS

  Интеграция с багтрекерами
Интеграция с багтрекерами

TestRail

Все популярные

QA Touch

JIRA
GitLab
GitHub

Test Collab

Все популярные

qTest Manager

Bugzilla
Fogbugz
JIRA
Rally
VersionOne
VERA

PractiTest

JIRA
Redmine
Bugzilla
YouTrack
и др.

Zephyr Standalone

JIRA

TestLodge

Все популярные

EasyQA

GitHub
GitLab
YouTrack
JIRA
RedMine
Pivotal Tracker
Trello

TestLink

JIRA
YouTrack
JIRA
Bugzilla
Mantis
Fogbugz
RedMine
Trac
GitLab

Squash TM

JIRA
Mantis

Kiwi TCMS

JIRA
Bugzilla
GitHub
GitLab
  Встроенный багтрекер
Багтрекер

TestRail

QA Touch

Test Collab

qTest Manager

PractiTest

Zephyr Standalone

TestLodge

EasyQA

TestLink

Squash TM

Kiwi TCMS

  Встроенные требования
Требования

TestRail

QA Touch

Test Collab

qTest Manager

PractiTest

Zephyr Standalone

TestLodge

EasyQA

TestLink

Squash TM

Kiwi TCMS


Платные инструменты:
TestRail
QA Touch
Test Collab
qTest Manager
PractiTest
Zephyr Standalone
TestLodge
EasyQA

Open Source инструменты:
TestLink
Squash TM
Kiwi TCMS

TestRail

Сайт: www.gurock.com/testrail
Разработчик: Gurock Software GmbH
Цена: TestRail Cloud $30 за юзера / месяц (1-20 пользователей)

Скриншоты интерфейса:

Радует: удобный и понятный интерфейс; быстрая вставка изображений; Markdown разметка текста; добавление пользовательских полей; настройка порядка отображения полей кейса; возможность назначить каждый кейс (или тестран) на отдельного пользователя; быстрое копирование и перемещение кейсов; группировка нескольких тестранов в тестовый план; быстрая интеграция с багтрекерами (по URL трекера или используя плагины); экспорт как кейсов, так и отчетов в XML и CSV форматы; широкие возможности API для интеграции с вашими внутренними системами (синхронизация информации в кейсах, сохранение результатов автотестов и т.д); наглядные отчеты; аккуратные печатные формы; при создании проекта можно выбрать три типа структуры для хранения тест кейсов (одна из которых позволяет разделять кейсы на ветки, соответствующие разработке).

Не радует: нет встроенных требований; нет своего багтрекера; цена довольно высокая (особенно для небольших компаний).

QA Touch

Сайт: www.qatouch.com
Разработчик: DCKAP
Цена: Professional $69 за 50 юзеров / месяц

Скриншоты интерфейса:

Радует: широкие имеющиеся и планируемые возможности при адекватной цене; приятный UI; встроенные багтрекер и требования; интеграция с внешними багтрекерами JIRA, GitHub, GitLab; релизное планирование тестранов; есть возможность создания пере-прогона (re-run) с кейсами определенного статуса; голосовой набор и автодополнение текста заголовка кейса и бага; переиспользуемые шаги кейса.
К сожалению, не смог опробовать и сделать скриншот некоторых компонентов продукта, т.к. они доступны только в платных планах.

Не радует: составляющие кейса (основные поля, шаги, вложения) разнесены на вкладки при редактировании; нет форматирования текста; картинку хоть и можно добавить к отдельному шагу, но только к одному и как скачиваемый файл; нет версионности кейса; текстовые области шагов и ожидаемых результатов, при изменении их размера вручную, сбиваются во время редактирования (не на одной линии); форма выбора кейсов для тестрана немного разная при создании и при редактировании его; список кейсов и багов включает только их название и ID (для быстрого обзора списка дополнительные настраиваемые поля были бы не лишними); отметка статуса при прогоне также вынесена на отдельную вкладку от общей информации кейса; есть небольшие косяки в отображаемых данных (общее количество кейсов на дашборде и странное поле "Assigned to" - списываю это на то, что я зарегистрировался еще в том году, с тех пор вендор существенно его дополнил).

Test Collab

Сайт: testcollab.com
Разработчик: Test Collab
Цена: Startups от $25 за юзера / месяц (свыше 50 пользователей - $10)

Скриншоты интерфейса:

Радует: широкая настройка почтовых уведомлений (с возможностью редактировать шаблоны писем); объединение тестранов в тест-планы; приятный интерфейс с подсказками (которые можно отключить); функция повторного использования шагов (reusable steps); возможность комментирования кейса при редактировании; тэги; выбор типа форматирования текста (Markdown, HTML/WYSIWYG, Plain Text); добавление пользовательских полей; настраиваемые шаблоны для выборки кейсов в тестран; встроенные требования; цена (для небольших проектов есть бесплатный план с 200 кейсами и 400 выполненными кейсами).

Не радует: нельзя редактировать системные поля (в частности Priority); нет возможности сохранить отображаемые поля в списках (при обновлении страницы сбрасываются по умолчанию); есть небольшие огрехи в отображении элементов UI; нет печатных форм ни для кейсов ни для отчётов (наверное, сейчас их редко используют, но другие инструменты предлагают такую функцию); данные на общем дашборде обновляются с задержкой; экспорт кейсов только для одного тестового набора (при этом вложенные наборы обрабатывает только экспорт в XML); неудобная вставка изображений в шаги кейса (через ссылку); нет своего багтрекера.

qTest Manager

Сайт: www.tricentis.com
Разработчик: Tricentis (приобрела QASymphony в 2018)
Цена: от $99 за юзера / месяц (цена приблизительна и зависит от количества пользователей)

Скриншоты интерфейса:

Радует: настройка системных и добавление пользовательских полей к различным объектам (с возможностью предпросмотра этого объекта и даже изменения цвета для статуса прогона); информативная история изменения кейса; встроенный HTML-редактор в текстовых полях кейса; комментирование отдельного кейса; можно подписаться на отдельный кейс и получать уведомления на почту об изменениях; интересная реализация авто-версионирования кейса (с мажорной и минорной составляющей); функция быстрого прогона кейса (без выставления статуса каждому шагу); встроенные требования с привязкой кейсов и указанием целевой сборки, также имеется встроенный багтрекинг; переиспользуемые кейсы; настраиваемые конфигурации тестранов; широкие возможности по интеграции как с багтрекерами, так и CI/CD сервисами; API для еще более гибкого взаимодействия; хранимые запросы поиска по кейсам, требованиям и т.д.; разнообразные отчеты; гибкая настройка на стороне администратора (пользователи, уведомления, права, группы и т.д.); встроенный проект со всеми данными для ознакомления с возможностями продукта; планы тестирования.

Не радует: нет печатных форм кейсов; экспорт кейсов только в Excel формате (но зато он имеет читаемый вид); немного неудобный просмотр картинок в шагах кейса при прогоне; на сайте нет информации о цене продукта (нужно делать отдельный запрос) и она внушительная.

PractiTest

Сайт: www.practitest.com
Разработчик: PractiTest
Цена: ENTERPRISE $49 за юзера / месяц (минимум от 3 пользователей)

Скриншоты интерфейса:

Радует: возможность комментирования кейса (теста); теги (ключевые слова) для теста; быстрый переход по номеру теста; генерация перестановок тестранов (для разных тестировщиков, версий); использование параметров в шагах кейса (с возможностью изменить значение при каждом прогоне); включение шагов (call to test) одного кейса в другой (иногда это действительно нужно и не надо прыгать по ссылкам на другие кейсы); двусторонняя интеграция с Jira и YouTrack (с помощью создания API токена); добавление пользовательских полей; канбан доска по статусам для кейсов; свои багтрекер и требования (но не сделал скриншоты с ними).

Не радует: сложный UI/UX в целом (в частности разделение структуры кейса на вкладки: описание и шаги на разных вкладках); скудная, непрезентабильная печатная версия как самих кейсов так и отчетов; хоть и есть поддержка markdown разметки, но картинки к шагам добавляются только как вложения; нельзя изменить статус всего кейса, если какой-то шаг не прошёл (это и правильно, но иногда нужно "озеленить" весь тест); пользовательскому списку нельзя задать приоритет сортировки (сортирует по алфавиту); цена (завышена, даже учитывая уникальные функции); виджет чата поддержки на каждой странице.
Сайт компании на момент публикации был недоступен с российского IP, при этом веб-платформа открывалась.

Zephyr Standalone

Сайт: www.getzephyr.com
Разработчик: SmartBear Software
Цена: от $50 за юзера / месяц (цена взята из прошлого, сейчас не указана на сайте)

Скриншоты интерфейса:

Радует: привлекательное планирование стадий тестирования (на подобии диаграммы Ганта) с добавлением и настройкой различных работ по тестированию; встроенные требования и багтрекинг, которые при наличии JIRA бесшовно интегрируются с ней (с возможностью поиска и просмотра тикетов напрямую из Zephyr); есть возможность добавлять пользовательские поля к объектам (проекту, кейсам, требованиям), изменять название и цвет статусам прогона (всего кейса и отдельного шага); можно добавить виджеты для проекта с различными характеристиками (диаграммами), которые будут обновляться через заданное время; экспорт кейсов в HTML и PDF формат с указанием необходимых полей.

Не радует: непривычный интерфейс, к UX/UI надо привыкать какое-то время; нет прямой ссылки на отдельный кейс (только через поисковый запрос можно сформировать URL для него); плашка с виджетом помощи внизу не убирается; нельзя менять системные поля; картинки к шагам кейса можно добавить только как вложения ко всему кейсу; заточенность только под JIRA; цену нужно узнавать по запросу (и только по телефону, в электронном сообщении эту информацию не предоставляют).

TestLodge

Сайт: www.testlodge.com
Разработчик: TestLodge Limited
Цена: Basic $49 за 600 кейсов / месяц (подписка по количеству данных)

Скриншоты интерфейса:

Радует: лаконичный интерфейс; создание и выбор конфигурации при создании тестрана; быстрая интеграция с популярными баг-трекерами; создание тест-плана (с шаблоном по умолчанию); матрица покрытия (если требования вести внутри продукта); модель подписки по количеству данных (для некоторых проектов это плюс); экспорт набора в HTML (она же печатная форма).

Не радует: нет разделения кейса на отдельные шаги; пользовательские поля нельзя переместить выше системных; картинку можно вставить только как вложение или ссылку на нее; экспорт кейсов только каждый набор в отдельности; тестовый набор можно указать только для одного тест-плана; нет своего багтрекера.

EasyQA

Сайт: geteasyqa.com
Разработчик: ThinkMobiles
Цена: $10 за юзера / месяц

Скриншоты интерфейса:

Радует: возможности для мониторинга и тестирования мобильных сборок (APK и IPA файлы), интегрируясь с GitHub или GitLab репозиториями; свой багтрекер с возможностью добавить плагин для интеграции с другими системами (GitHub, GitLab, YouTrack, JIRA, RedMine, Pivotal Tracker, Trello); простота в обращении (иногда это плюс) с тестовыми объектами (планы, тестраны, тест-кейсы, отчеты); наглядное сопоставление полей при экспорте кейсов из CSV файла (но требует внимания, можно уйти в бесконечный цикл экспорта).

Не радует: нет возможности хоть как-то кастомизировать объекты; нет ожидаемого результата для каждого шага кейса; в кейсах нельзя форматировать текст и прикладывать картинки; есть вопросы к UI в некоторых местах (особенно при отображении таблиц); не получил письма с приглашением для второго участника на почту с личного домена; нельзя менять права для ролей (+ не смог сменить роль проекта для неподтверждённого пользователя).
Судя по активности в социальных сетях и блоге на сайте, они приостановили разработку.


Бесплатные системы многих привлекают отсутствием ежемесячной платы. Но определенных затрат они, безусловно, потребуют. Во-первых, аренда хостинга (вычислительные ресурсы). Во-вторых, трудозатраты системного администратора по установке, настройке и поддержке работоспособности системы. Но сервер (или небольшая виртуальная машина) у вас уже может быть, а наличие готовых Docker-образов упрощает развертывание, поэтому запуск бесплатной системы “с нуля” может оказаться проще регистрации в платной системе (утрирую, конечно, но в каждой шутке есть доля шутки). Добавим к этому тенденцию “полного контроля” над данными, и продукты с открытым исходным кодом становятся всё более привлекательными для внедрения. Я взял на обзор три таких системы: TestLink, Squash TM и Kiwi TCMS.

TestLink

Сайт: testlink.org
Язык разработки: PHP

Скриншоты интерфейса:

Радует: встроенные требования и отслеживание их через кейсы; разнообразные текстовые отчеты; возможность добавить пользовательские поля; гибкая настройка ролей пользователей; интеграция с багтрекерами (JIRA, YouTrack, GitLab, Bugzilla и др.); тестлид может дополнительно установить срочность (urgency) для каждого кейса в тестране, что повлияет на порядок выполнения кейсов; управление списком тестируемых платформ; инвентарный список хостов (мелочь, но приятно); HTML-редактор с возможностью вставлять картинки, ссылки, таблицы, списки; по-моему, самый популярный Open Source инструмент со множеством инструкций и статей по настройке и использованию; наличие ресурса разработки на языке PHP позволяет изменить продукт под свои потребности (если стандартных функций покажется недостаточно или они окажутся не такими удобными).

Не радует: интерфейс, требующий небольшого привыкания; придется повозиться с настройкой некоторых компонентов для полноценной работы (точечная настройка конфигурационных файлов, отправка почты, интеграция с багтрекером); в текстовых окнах HTML-редактора не работает стандартная проверка орфографии браузера; нельзя редактировать системные поля и порядок их отображения на форме кейса; ручная смена порядка шагов (приходится вводить цифры, вместо перетаскивания); назначение кейсов для тестрана (билда) после платных инструментов покажется неудобным.

Squash TM

Сайт: www.squashtest.org
Язык разработки: Java

Скриншоты интерфейса:

Радует: управление требованиями с привязкой к тест-кейсам; HTML-редактор; использование параметров в шагах кейса и предусловиях; возможность создать тест кейс с Gherkin сценарием (BDD); UI функция сворачивания содержания шагов кейса; есть режим прогона кейсов с отображением во фрейме тестируемого веб-сайта (в большинстве случаев уже не актуально, но возможность такая есть); использование существующего кейса (Call a test case); добавление пользовательских полей к объектам; цветовое разграничение компонентов продукта, также показался удобным цветовой индикатор статуса в библиотеке кейсов; плагины для интеграции с багтрекерами JIRA и Mantis; есть подробная документация (правда, некоторые разделы не в том порядке).

Не радует: чтобы прикрепить картинку во вложении, нужно сначала добавить расширения для таких файлов в белый список системных настроек (по умолчанию png и jpg отсутствуют); нельзя редактировать системные поля (категория и приоритет); нельзя редактировать имеющиеся семь ролей прав доступа (однако, 7 уровней этого зачастую достаточно); не смог сгенерировать некоторые отчеты (из логов узнал, что проблема с инициализацией класса); необычная терминология для тест-планов и тест-ранов (тут они названы Campaign и Iteration); разбиение UI на вкладки.

Kiwi TCMS

Сайт: kiwitcms.org
Язык разработки: Python

Скриншоты интерфейса:

Радует: гибкая настройка прав групп пользователей; интеграция с багтрекерами JIRA, Bugzilla, GitHub and GitLab; быстрая работа системы; Markdown разметка текста с возможностью быстрого предпросмотра; возможность подключить плагины (некоторые, правда, только в планах на разработку) для сбора результатов автотестов; есть API для использования во внешних инструментах; подробная документация по продукту; активная разработка новых фич и планы на будущее.

Не радует: в тесте нет деления на отдельные шаги; некоторые счетчики в UI не обновляются, после совершения действия (необходимо обновлять страницу); своя подсветка орфографии в текстовом редакторе; один отчет по созданным кейсам (но в планах добавить еще несколько); нет деления на проекты внутри системы.


Заключение

Это лишь малая часть доступных на рынке систем. Однако, обзор уже получается довольно длинным. Не вошли в него плагины для JIRA ( TM4J , Zephyr , Xray , TestFLO и др.), т.к. это птицы разного полёта. JIRA хоть и используется сейчас на многих проектах, но всё-таки она не панацея. Поэтому это тема для отдельной, не меньшей статьи. Также под прицел не попали Test IT и Qase , но они вышли совсем недавно, когда основная часть этой статьи уже была написана. Возможно, за это время “родились” еще системы или есть уже существующие, достойные обзора - напишите в комментариях. Кажется, люди любят сериалы - напишем продолжение!

А пока предлагаю поучаствовать в голосовании на Хабре “Какая система управления тестированием у вас на проекте?”.
(Понимаю, что не всегда это есть “желаемая” система, тогда поделитесь вашей болью: с какой работаете, и с какой хотели бы работать.)

Перейти к опросу на Хабре Кликните на картинку, чтобы перейти к голосованию на Хабре