Как проверить программу

Способы тестирования программного обеспечения

Всем привет! Уже на следующей неделе мы запускаем новый поток по курсу «Автоматизация веб-тестирования». Этому и будет посвящен сегодняшний материал.

В этой статье рассматриваются различные способы тестирования программного обеспечения, такие как модульное тестирование (unit testing), интеграционное тестирование (integration testing), функциональное тестирование (functional testing), приемочное тестирование (acceptance testing) и т.д.

Есть множество разных типов тестов, которые вы можете применить, чтобы убедиться, что изменения в вашем коде работают по сценарию. Не все типы тестирования идентичны, хотя здесь мы рассмотрим, насколько основные практики тестирования отличаются друг от друга.

Тестирование: ручное или автоматизированное?

Сначала надо понять различия между ручными и автоматизированными тестами. Ручное тестирование проводится непосредственно человеком, который нажимает на кнопочки в приложении или взаимодействует с программным обеспечением или API с необходимым инструментарием. Это достаточно затратно, так как это требует от тестировщика установки среды разработки и выполнения тестов вручную. Имеет место вероятность ошибки за счет человеческого фактора, например опечатки или пропуска шагов в тестовом сценарии.

Автоматизированные тесты, с другой стороны, производятся машиной, которая запускает тестовый сценарий, который был написан заранее. Такие тесты могут сильно варьироваться в зависимости от сложности, начиная от проверки одного единственного метода в классе до отработки последовательности сложных действий в UI, чтобы убедиться в правильности работы. Такой способ считается более надежным, однако его работоспособность все еще зависит от того насколько скрипт для тестирования был хорошо написан.

Автоматизированные тесты – это ключевой компонент непрерывной интеграции (Continuous Integration) и непрерывной доставки (continuous delivery), а также хороший способ масштабировать ваш QA процесс во время добавления нового функционала для вашего приложения. Однако в ручном тестировании все равно есть своя ценность. Поэтому в статье мы обязательно поговорим об исследовательском тестировании (exploratory testing).

Различные типы тестов

Модульные тесты

Модульные тесты считаются низкоуровневыми, близкими к исходному коду вашего приложения. Они нацелены на тестирование отдельных методов и функций внутри классов, тестирование компонентов и модулей, используемых вашей программой. Модульные тесты в целом не требуют особых затрат на автоматизацию и могут отрабатывать крайне быстро, если задействовать сервер непрерывной интеграции (continuous integration server).

Интеграционные тесты

Интеграционные тесты проверяют хорошо ли работают вместе сервисы и модули, используемые вашим приложением. Например, они могут тестировать интеграцию с базой данных или удостоверяться, что микросервисы правильно взаимодействуют друг с другом. Эти тесты запускаются с бОльшими затратами, поскольку им необходимо, чтобы много частей приложения работало одновременно.

Функциональные тесты

Функциональные тесты основываются на требованиях бизнеса к приложению. Они лишь проверяют выходные данные после произведенного действия и не проверяют промежуточные состояния системы во время воспроизведения действия.

Иногда между интеграционными тестами и функциональными тестами возникают противоречия, т.к. они оба запрашивают множество компонентов, взаимодействующих друг с другом. Разница состоит в том, что интеграционные тесты могут просто удостовериться, что доступ к базе данных имеется, тогда как функциональный тест захочет получить из базы данных определенное значение, чтобы проверить одно из требований к конечному продукту.

Сквозные тесты (End-to-end tests)

Сквозное тестирование имитирует поведение пользователя при взаимодействии с программным обеспечением. Он проверяет насколько точно различные пользователи следуют предполагаемому сценарию работы приложения и могут быть достаточно простыми, допустим, выглядеть как загрузка веб-страницы или вход на сайт или в более сложном случае – подтверждение e-mail адреса, онлайн платежи и т.д.

Сквозные тесты крайне полезные, но производить их затратно, а еще их может быть сложно автоматизировать. Рекомендуется проводить несколько сквозных тестов, но все же полагаться больше на низкоуровневое тестирование (модульные и интеграционные тесты), чтобы иметь возможность быстро распознать серьезные изменения.

Приемочное тестирование

Приемочные тесты – это формальные тесты, которые проводятся, чтобы удостовериться, что система отвечает бизнес-запросам. Они требуют, чтобы приложение запускалось и работало, и имитируют действия пользователя. Приемочное тестирование может пойти дальше и измерить производительность системы и отклонить последние изменения, если конечные цели разработки не были достигнуты.

Тесты производительности

Тесты на производительности проверяют поведение системы, когда она находится под существенной нагрузкой. Эти тесты нефункциональные и могут принимать разную форму, чтобы проверить надежность, стабильность и доступность платформы. Например, это может быть наблюдение за временем отклика при выполнении большого количества запросов или наблюдение за тем, как система ведет себя при взаимодействии с большими данными.

Тесты производительности по своей природе проводить достаточно затратно, но они могут помочь вам понять, какие внешние факторы могут уронить вашу систему.

Дымовое тестирование (Smoke testing)

Дымовые тесты – это базовые тесты, которые проверяют базовый функционал приложения. Они отрабатывают достаточно быстро и их цель дать понять, что основные функции системы работают как надо и не более того. Такое тестирование направлено на выявление явных ошибок.

Дымовые тесты могут оказаться полезными сразу после сборки нового билда для проверки на то, можете ли вы запустить более дорогостоящие тесты, или сразу после развёртывания, чтобы убедиться, что приложение работает нормально в новой среде.

Как автоматизировать тесты

Тестировщик может проводить все тесты, указанные выше, вручную, но это будет крайне затратно и непродуктивно. Поскольку люди имеют ограниченную возможность производить большое количество действий с повторениями при этом все еще проводя тестирование надежно. Однако машина может с легкостью воспроизводить эти же действия и проверить, допустим, что комбинация логин/пароль будет работать и в сотый раз без каких-либо нареканий.

Для автоматизации тестирования, вам для начала придется написать их на каком-то из языков программирования с использованием фреймворка для тестирования, который подойдет для вашего приложения. PHPUnit , Mocha, RSpec – это примеры фреймворков для тестирования, которые вы можете использовать для PHP, Javascript и Ruby, соответственно. В них есть множество возможностей для каждого языка, поэтому вам стоит немного позаниматься исследованием самостоятельно и проконсультироваться с сообществами разработчиков, чтобы понять, какой фреймворк подойдет вам лучше всего.

Если ваши тесты могут запускаться с помощью скриптов из терминала, вы можете автоматизировать их, использовав сервер непрерывной интеграции по типу Bamboo или же облачного сервера Bitbucket Pipelines. Эти инструменты будут мониторить ваши репозитории и исполнять наборы тестов, как только новые изменения будут запушены в основной репозиторий.

Если вы новичок в вопросах тестирования, обратитесь к нашему руководству по непрерывной интеграции, чтобы создать свой первый набор тестов.

Исследовательское тестирование

Чем больше функций и улучшений добавляется в ваш код, тем больше возрастает потребность в тестировании, поскольку на каждом этапе вам необходимо убеждаться, что система работает корректно. Также это понадобится каждый раз, когда вы исправляете баг, поскольку было бы не лишним убедиться, что он не вернется снова после нескольких релизов. Автоматизация – это ключ к тому, чтобы это стало возможным; написание тестов рано или поздно станет частью вашей практики разработчика.

Вопрос заключается в том, надо ли вообще в таком случае проводить ручное тестирование? Короткий ответ – да, и оно должно быть сфокусировано на том, что называется «исследовательское тестирование» (exploratory testing), которое помогает выявить неочевидные ошибки.

Сессия исследовательского тестирования не должна превышать двух часов и должна иметь четко ограниченную область действия, чтобы помочь тестировщикам сосредоточиться на определенной области программного обеспечения. После информирования всех тестировщиков о границах проведения тестирования, на их усмотрения остаются действия, которые они будут предпринимать, чтобы проверить, как поведет себя система. Такое тестирование является дорогостоящим по своей природе, но очень полезно для выявления проблем с пользовательским интерфейсом или проверки работоспособности сложных рабочих процессов для пользователей. Такое тестирование важно проводить всякий раз, когда в приложение добавляется кардинально новая функция, чтобы понять, как она поведет себя в пограничных условиях.

Заметка о тестировании

Перед тем, как закончить эту статью, я хочу поговорить о цели тестирования. С одной стороны, очень важно удостовериться, что пользователи смогут использовать ваше приложение («Я не могу войти в систему», «Я не могу сохранить данные» и т.п.), но с другой стороны не менее важно проверить, что ваша система не ломается при вводе неверных данных или неожиданных действиях. Вам нужно предвидеть, что произойдет, когда пользователь сделает опечатку, попытается сохранить неполную форму или использует неправильный API. Вам нужно проверить, сможет ли кто-то из пользователей легко скомпрометировать данные, получить доступ к тому или иному ресурсу, к которому у него не должно быть доступа. Хороший набор тестов должен попытаться сломать ваше приложение и помочь понять предел его возможностей.

И, наконец, тесты – это тоже код! Так что не забывайте о них во время code review, поскольку они могут быть последним этапом перед выпуском продукта на потребительский рынок.

По устоявшейся традиции ждем ваши комментарии и приглашаем всех на день открытых дверей, который уже 18 марта проведет наш преподаватель — ведущий автоматизатор в тестировании в Group-IB — Михаил Самойлов.

Как проверить файл на вирусы

Допустим, я скачал из интернета файл. Но это как-то спонтанно получилось и я даже не помню, с какого сайта он был скачан. Хотелось бы перед открытием файла убедиться, что он не заражен вирусами. Как же его проверить? Варианта два: либо антивирусной программой, либо через интернет.

По-хорошему каждый скачанный из интернета файл следует проверять на вирусы. Даже если загружаете его с давно знакомого и любимого сайта. Как говорится, доверяй, но проверяй!

Немного об антивирусных программах

На каждом компьютере или ноутбуке должна быть установлена антивирусная программа . Также не мешало бы ее иметь и на планшете или телефоне. Особенно это касается начинающих пользователей, а также школьников и студентов.

Мое мнение основано на многолетней работе в сфере компьютерного обучения. И со мной согласны мои друзья, которые профессионально занимаются ремонтом компьютеров.

Как бы аккуратно вы ни работали за компьютером, всегда есть риск подхватить вирус. Особенно это касается интернета. Поэтому, если у вас нет антивирусной программы или есть, но вы неуверены в том, что она обновляется, настоятельно рекомендую ее установить.

Каждый день появляется кучка новых вирусов, и если программа не обновляет свои базы, то она не сможет их обнаружить и ликвидировать.

Антивирусов в мире существует очень много. Есть платные, а есть и совершенно бесплатные версии. Но не все они одинаково хороши. По личному опыту, я рекомендую из платных пользоваться Антивирусом Касперского или Eset NOD32, а из бесплатных – программой Avast.

Как проверить файл антивирусной программой

Если на вашем компьютере установлена рабочая антивирусная программа, то при нажатии правой кнопкой по любому файлу или папке в открывающемся меню будет определенный пункт. Например, при установленном Антивирусе Касперского он называется «Проверить на вирусы».

Если на компьютере другая программа, то название может отличаться. Например, «Сканировать программой ESET NOD32» или «Проверить Avast».

На этот пункт нужно нажать, и программа проверит файл или папку на вирусы. Если она что-то обнаружит, то вылечит, удалит или заблокирует опасный объект. Конечно, при условии, что антивирус рабочий и его базы регулярно обновляются.

На самом деле, ни одна антивирусная программа не гарантирует обнаружения и удаления всех возможных вирусов. Это как употребление даже самых качественных витаминных комплексов не гарантирует того, что вы не заболеете.

В случае с антивирусной программой риск подхватить вирус крайне мал. А если на компьютере установлена одна из проверенных программ с обновляющимися базами, то он сводится к нулю.

Под «проверенными» я имею в виду те, которым доверяю я, мои друзья и большинство опытных пользователей компьютера. А именно: Kaspersky, Eset NOD, Avast, Dr.WEB.

Как проверить файл без антивирусной программы

Если на компьютере по какой-то причине нет антивирусной программы или вы сомневаетесь в ее надежности, можно проверить файл прямо в интернете. Есть очень мощный сайт, который проверяет файлы не одним-двумя антивирусами, а более чем 50-ю.

Принцип простой. Открываем virustotal.com, нажимаем на кнопку «Выберите файл» и выбираем файл на компьютере. После этого нажимаем на кнопку «Проверить».

Появится окошко, в котором будет сказано, проверялся ли этот файл раньше, а также когда это было и каковы результаты проверки.

Я вам рекомендую, каков бы ни был результат, все равно нажать на кнопку «Повторить анализ» в этом окошке. После этого начнется проверка файла и через непродолжительное время вы получите всю информацию по нему.

На картинке видно, что файл безопасен, но одной из 53-х антивирусных программ он не понравился. В данном случае этим файлом можно пользоваться. Но вот если бы он не понравился большему количеству программ, то лучше такой файл удалить.

Минусы . Если в файле будет найдено что-то нехорошее, сайт его не сможет вылечить и не сможет удалить. Вам это нужно будет сделать самостоятельно при помощи установленной на компьютере антивирусной программы (при условии, что она найдет вирус) или вручную.

Еще один серьезный минус — ограничение по размеру. Можно проверить только файлы, размер которых не превышает 128 МБ.

Также стоит отметить, что проверяя файл через интернет, он попадает к разработчикам антивирусных программ. То есть, осуществляя проверку, вы соглашаетесь с тем, что этот файл попадет в другие руки.

Как проверить сайт без антивирусной программы

Если на компьютере есть рабочая антивирусная программа, то все сайты, которые вы открываете в интернете, она проверяет автоматически. Но если ее нет, компьютер все время пребывания в интернете находится под угрозой. Ведь даже просто открыв зараженный вирусом сайт, вы можете занести его в систему.

На самом деле, выход есть. Существуют различные антивирусные «примочки» к браузерам. По-научному, они называются плагины или расширения . Это такие маленькие программы, которые встраиваются в браузер и проверяют на вирусы каждый открываемый вами сайт.

В общем-то, такой вариант защищает не хуже антивирусной программы. Но с поправкой, что речь идет только об интернете и только о тех сайтах, которые вы открываете в браузере.

Например, файлы, которые вы получаете через скайп, эти «примочки» не проверяют.

Как добавить антивирус в браузер:

• Google Chrome : → Дополнительные инструменты → Расширения → включить Kaspersky Protection.
• Mozilla Firefox : → Дополнения → Расширения → включить Kaspersky Protection.
• Safari : Safari → Настройки → Расширения → установить галочку на пункт Kaspersky Security.

В Yandex браузер такой плагин добавлен по умолчанию — специально включать его не нужно.

Кроме того, проверить на вирусы определенный сайт или отдельную страницу сайта можно также через virustotal.

2 . Щелкаем по вкладке «URL-адрес».

3 . В строке «Введите URL» указываем адрес сайта, который нужно проверить.

4 . Нажимаем на кнопку «Проверить!». Через пару секунд откроется дополнительное окошко, в котором будет написан результат.

Для более надежной проверки рекомендую на этом не останавливаться, а щелкнуть по кнопке «Повторить анализ». Антивирусы проверят сайт и выдадут актуальные данные о его безопасности.

Важно! Даже если проверка показала, что вирусов на сайте нет, это не гарантирует безопасности файлов, которые с него можно скачать. Поэтому рекомендую все-таки дополнительно их проверять.

100+ лучших инструментов для тестирования программного обеспечения

Сегодня мы сталкиваемся не только с растущим числом инструментов для тестирования нового программного обеспечения, но и с растущим числом самих способов тестирования. И у кого же найдётся достаточно времени, чтобы следить за сотнями новых инструментов? К счастью для вас, это делаем мы.

В нашем обзоре мы рассмотрим 102 инструмента для тестирования программного обеспечения. Для каждого будет представлена следующая информация:

• Краткое описание инструмента тестирования
• Снимок экрана пользовательского интерфейса
• Ключевые характеристики
• Что нужно знать
• Цена (если эта информация доступна)

Мы разделили все рассматриваемые приложения на 8 категорий. Кроме того, в конце обзора имеется бонусный раздел с новыми инструментами, за которыми стоит некоторое время последить.

Инструменты автоматизированного тестирования

Автоматизация тестирования является одним из наиболее развитых сегментов тестирования программного обеспечения. В последнее время этот сегмент заметно трансформировался благодаря появлению хороших вариантов с открытым исходным кодом и общему стремлению к DevOps и многоканальным моделям.

Мы можем разбить инструменты автоматизированного тестирования на две подкатегории:

• Функциональное тестирование
• Тестирование интеграции/API

Инструменты функционального тестирования программного обеспечения

Зачем нужны инструменты функционального тестирования? Средства функционального тестирования управляют автоматизированными тестами, взаимодействуя с пользовательским интерфейсом приложения. Эти инструменты обычно имеют интерфейс записи и воспроизведения, что облегчает работу тестировщиков. Однако эти тесты могут быть довольно медленными.

Tricentis Tosca

Tricentis Tosca обеспечивает модельно-ориентированную автоматизацию тестирования, нацеливаясь на разработку тест-кейсов и решение проблем. Этот инструмент предлагает комплексные возможности тестирования и записи.

Особенности:

• Поддержка гибких методик Agile.
• Широкий набор инструментов для виртуализации сервисов и управления тестовыми данными.
• Обеспечение автоматизации, которая упрощает повторное тестирование и не требует глубоких знаний в области кодирования.

Что вам нужно знать: Разработчики Tosca Testsuite сосредоточились на модельно-ориентированной автоматизации и создании «мини-пакета», который выходит за рамки чистой автоматизации тестирования.

HP Unified Functional Testing (UFT)

Ранее известный как QuickTest Professional (QTP), HP UFT автоматизирует тестирование функциональности графического интерфейса пользователя и серверных служб. Данный инструмент предлагает многоразовые тестовые компоненты, помогает преобразовать ручные средства тестирования в автоматизированные и сделать тестирование частью цикла разработки, позволяет проводить тестирование на нескольких машинах и устройствах.

Особенности:

• Сильная партнёрская сеть.
• Расширение поддержки новых браузеров и мобильных устройств (хотя в этом HP UFT отстаёт от многих лидеров рынка).
• Интегрированное предложение, которое включает в себя другие инструменты тестирования.

Что вам нужно знать: Хотя HP остаётся лидером на рынке платных средств автоматизации тестирования, в последнее время он пытается сосредоточиться на новых платформах, поэтому постепенно уступает место конкурентам.

Цены: Тарифные планы начинаются от 600$ в месяц и имеют три уровня ценообразования. Посетите страницу UFT с ценами, чтобы узнать больше.

IBM Rational Functional Tester

Rational Functional Tester, являющийся частью более крупной платформы тестирования — Rational от IBM, предназначен для автоматизации тестирования функциональности и регрессии программного обеспечения. Он поддерживает множество приложений, позволяет делать раскадровку и писать сценарии тестов.

Особенности:

• Интегрированное предложение, включающее в себя другие инструменты тестирования.
• Поддержка устаревших платформ и фреймворков.
• Предложение хорошо отработанных и надёжных инструментов.

Что вам нужно знать: IBM, некогда бывший настоящим лидером рынка, в последние годы вынужден противостоять растущей конкуренции со стороны HP и других перспективных компаний.

Цены: От 3400$ в месяц, имеется 6 уровней ценообразования. Посетите страницу Rational Functional Tester с ценами, чтобы узнать больше.

Katalon Studio

Katalon Studio, созданный на основе Selenium и Appium, представляет собой полноценный инструмент для автоматизации тестирования веб-сервисов и мобильных приложений. Katalon Studio обладает всеми необходимыми функциями, доступными, как правило, только в коммерческих инструментах. Сам продукт остался при этом бесплатным.

Особенности:

• Двойной интерфейс — для начинающих и продвинутых пользователей.
• Готовая интеграция с qTest и JIRA.

Что вам нужно знать: Katalon Studio — это кроссплатформенный инструмент, позволяющий превратить ручное тестирование в автоматизированный процесс.

Цены: Бесплатно.

Worksoft Certify

Worksoft Certify автоматизирует функциональное тестирование бизнес-процессов. Данный инструмент предлагает возможности обнаружения, масштабирования, валидации и определения соответствия требованиям.

Особенности:

• Использование бесскриптового подхода.
• Совместимость с пакетным программным обеспечением.
• Простота в использовании.
• Хорошая поддержка.

Что вам нужно знать: Хотя Certify работает с широким спектром приложений, в основном он сосредоточен на поддержке пакетного программного обеспечения, такого как SAP, Oracle, Salesforce и т.д.

TestPlant eggPlant Functional

TestPlant eggPlant Functional — инструмент автоматизированного функционального тестирования, использующий подход на основе изображений, которые пользователь видит на экране устройства. Этот подход, при котором тестирование пользовательского интерфейса основано на изображении, отличается от традиционного, поскольку тестирование производится с точки зрения пользователя, а не с точки зрения создателя кода. eggPlant Functional работает на всех типах устройств.

Особенности:

• Возможность многократного использования процессов автоматизации для тестирования производительности.
• Быстрое развитие.
• Возможность CI-интеграции и управления лабораторией.
• Поддержка всех основных платформ, включая веб-системы, мобильные системы, POS-системы и т.д.

Что вам нужно знать: Использование подхода eggPlant Functional на основе изображений может помочь решить сложные проблемы автоматизации. Данный подход позволяет тестировщикам, у которых практически нет подобных навыков, достигать надёжного уровня автоматизации. А для команд, которые изо всех сил пытались внедрить автоматизацию, — это способ преодолеть трудности.

Ranorex

Ranorex предназначен для настройки и выполнения сценариев автоматизированного тестирования. Данный инструмент позволяет распознавать объекты графического интерфейса, применять многоразовые тестовые сценарии, записывать и воспроизводить этапы проверки тестируемого программного обеспечения. Кроме того, Ranorex предлагает бесскриптовое тестирование.

Особенности:

• Дружественность к разработчику.
• Лёгкое распознавание объектов.
• Простая и доступная модель ценообразования.

Что вам нужно знать: По своей функциональности Ranorex соизмерим с продуктами поставщиков интегрированных пакетов. При этом он предлагает более дешёвые лицензии и техническое обслуживание.

Цены: Тарифные планы начинаются с 2990$ за лицензию, есть три схемы ценообразования. Посетите страницу Ranorex с ценами, чтобы узнать больше.

Инструменты для тестирования интеграции/API программного обеспечения

Инструменты тестирования программного интерфейса приложения предназначены для создания различных типов полезных нагрузок через API. С их помощью вы сможете убедиться, что программное обеспечение принимает допустимые входные данные и отклоняет неправильные входные данные с соответствующими сообщениями. Некоторые из этих инструментов могут также обеспечивать тестирование на нагрузку. API-тестирование особенно важно для облачных, мобильных и PaaS-систем.

CA Technologies Application Test

CA Application Test использует декларативную модель рабочего процесса, которая фокусируется на построении тестов поверх сценариев. Инструмент использует принцип «shift left», допуская тестирование API перед разработкой пользовательского интерфейса. Он также предлагает: автоматизированное мобильное тестирование, визуальные тесты, индивидуальное нагрузочное тестирование и расширенную аналитику.

Особенности:

• Интеграция с Selenium для улучшения визуального редактирования.
• Обеспечение надёжной поддержки мэйнфреймов.
• Возможность повторного использования тест-кейсов и инфраструктуры.
• Создание нагрузки на внутреннюю сеть с небольшим количеством ресурсов.

Что вам нужно знать: CA Technologies в основном сосредоточен на тестировании настольных приложений и сложной инфраструктуры с использованием LISA.

IBM Rational Test Workbench

Rational Test Workbench — комплексный инструмент автоматизации тестирования с возможностями интеграционного, регрессионного, нагрузочного тестирования. Rational Test Workbench позволяет проводить тестирование на уровне обслуживания и тестирование через интеграцию с инструментом коллективного управления жизненным циклом разработки программного обеспечения.

Особенности:

• Проведение непрерывного интеграционного тестирования.
• Интеграция с пакетом тестирования IBM Rational для расширенных возможностей.
• Обеспечение тестирования на протяжении всего жизненного цикла.
• Поддержка автоматизации.

Что вам нужно знать: IBM Rational Test Workbench предоставляет полный набор готовых к работе инструментов тестирования, которые охватывают потребности тестирования на протяжении всего жизненного цикла разработки.

Parasoft SOAtest

Parasoft SOAtest обеспечивает автоматизацию тестирования для сквозных сценариев на нескольких конечных точках с поддержкой REST, веб-служб и более 120 протоколов/типов сообщений. Parasoft SOAtest создаёт расширяемые и многократно используемые тесты. Помимо тестирования API, он предлагает тестирование SOA, производительности, веб-интерфейса, ошибок во время выполнения, безопасности API и т.д.

Особенности:

• Предоставление возможностей, выходящих за рамки тестирования API.
• Поддержка широкого набора сообщений/протоколов.

Что вам нужно знать: Parasoft SOAtest предназначен для автоматизированного тестирования API, но также даёт возможность осуществлять ряд других тестирований. Его самой уникальной особенностью является обширный список сред, включая протоколы, платформы и форматы сообщений, которые он поддерживает.

SmartBear ReadyAPI

SmartBear ReadyAPI — полноценная платформа тестирования API с возможностью функционального и нагрузочного тестирования API, тестирования безопасности API, виртуализации сервисов, тестирования API в коде, управления производительностью API, построения и управления APIS. SmartBear Ready API обеспечивает управление проектами, работу с метриками и отчётами, поддержку сценариев.

Особенности:

• Обеспечение широкого спектра возможностей тестирования API.
• Поддержка непрерывной интеграции.

Что вам нужно знать: SmartBear ReadyAPI — это комплексный инструмент для тестирования API, который включает тесты API во время функционального тестирования, тестирования производительности и тестирования после развёртывания. Он также интегрируется с расширенной средой тестирования SmartBear.

Crosscheck Networks SOAPSonar

Crosscheck Networks SOAPSonar позволяет осуществлять тестирование API, а также эмуляцию и виртуализацию API. Для обеспечения функциональной автоматизации, тестирования производительности и безопасности Crosscheck Networks использует технологию динамических мутаций.

Особенности:

• Обеспечение тестирования безопасности и API-сервисов.
• Поддержка различных протоколов и сообщений, в том числе JSON, REST и SOAP.

Что вам нужно знать: Crosscheck Networks SOAPSonar предлагает множество возможностей тестирования API, хотя основное внимание уделяется функциональному тестированию, тестированию производительности и безопасности для конечных точек сервисов. Проводятся эти тесты с использованием запатентованной технологии мутации.

Инструменты для тестирования интеграции
с открытым исходным кодом

Есть также несколько инструментов с открытым исходным кодом. Если вы решите пойти по этому пути, рассмотрите следующие варианты: Apache JMeter, SoapUI, PowerMock, EasyMock, REST Assured, WebInject, Mockito, Jmockit, mocktail, WireMock, Betamax, Mockserver.

Инструменты для тестирования производительности

Инструменты тестирования производительности берут простой сценарий автоматизации, и запускают его на сотнях или тысячах машин, чтобы имитировать работу приложения под нагрузкой. Эти тесты обычно стоят дорого и выполняются реже, чем тесты функциональной автоматизации. Тестирование производительности особенно важно для облачных приложений.

Существует два основных типа подобных инструментов:

• Узкоспециализированные инструменты («чистые» инструменты — Pure Play Tools)
• Расширенные инструменты

Каждый тип имеет свои плюсы и минусы. Вот что вам нужно знать о различии между этими двумя типами инструментов.

Инструменты тестирования производительности Pure Play

• Как правило, стоят дешевле
• Возникает меньше проблем в процессе приобретения и внедрения
• Обеспечивают более быстрое развитие с использованием лучших в своём классе инструментов
• Поддерживают больше интеграций и использование открытого исходного кода

• Требуются знания отдельных скриптов/языков для обслуживания

Расширенные инструменты тестирования производительности

• Допускается повторное использование прошлых сценариев автоматизации
• Используются знакомые языки
• Один поставщик может снабжать вас несколькими инструментами

• Медленная и менее сфокусированная разработка
• Закрытая экосистема, ограничивающая доступ к лучшим в своём классе инструментам
• Как правило, стоят дороже и ориентированы на крупные организации

Tricentis Flood

Tricentis Flood — это облачная платформа для распределённого нагрузочного тестирования, которая помогает проверить, как приложение будет вести себя в условиях огромной нагрузки, генерируемой со всего мира. Flood генерирует нагрузку, используя популярные инструменты нагрузочного тестирования с открытым исходным кодом (Apache JMeter, Flood Element, Gatling и Chrome), а также функциональные тест-кейсы Tricentis Tosca.

Flood легко интегрируется с инструментами CI, такими как Jenkins и Bamboo, а также с наиболее популярными инструментами APM (New Relic, AppDynamics, Dynatrace и др.). Кроме того, Tricentis Flood может быть интегрирован в ваш личный аккаунт у таких хостинг-провайдеров, как AWS и Azure.

Бесплатная пробная версия Flood включает в себя 5 узел-часов, которые можно использовать для быстрого запуска нагрузочного тестирования. Подписки довольно гибкие, и можно выбрать то, что максимально соответствует вашему бюджету и потребностям. Попробовать Tricentis Flood бесплатно можно здесь.

Automation Anywhere Testing Anywhere

Данный инструмент использует автоматизацию любых типов тестирования и предлагает кроссплатформенную поддержку мобильных устройств, веб-ресурсов и настольных компьютеров. Automation Anywhere может преобразовывать различные сценарии в сценарии нагрузки и позволяет осуществлять машинное обучение и аналитику.

Особенности:

• Предлагает простое преобразование из автоматизации.
• Похож на HP, но менее дорогой.
• Включает TestLab для управления устройствами тестирования.

Тип инструмента: Расширенный.

Что вам нужно знать: Automation Anywhere — это слабый конкурент HP, который предлагает более надёжные возможности автоматизации.

BlazeMeter

BlazeMeter осуществляет запуск тестов производительности, а также масштабируемое нагрузочное тестирование. Инструмент совместим с Apache JMeter, предлагает отчёты в режиме реального времени, имитирует условия сети и позволяет разработчикам создавать и редактировать тесты производительности.

Особенности:

• Масштабируемый.
• Использует открытый исходный код и AW.
• Предлагает мощную поддержку API и кастомизацию.

Тип инструмента: Pure Play.

Что вам нужно знать: BlazeMeter — новичок в области тестирования производительности в облаке. Хотя он имеет ограниченное количество вариантов использования и не предлагает возможностей мониторинга, он популярен среди разработчиков.

Цены: Доступен бесплатный тариф. Платные тарифные планы начинаются с 99$ в месяц, есть 3 уровня цен. Для уточнения подробностей посетите страницу BlazeMeter с ценами.

Borland Silk Performer

Borland Silk Performer предлагает неограниченную масштабируемость для моделирования нагрузки любого размера. Кроме того, инструмент обеспечивает визуальную диагностику и стресс-тестирование с обнаружением паттернов. Как часть более крупной платформы (Silk Central), Silk Performer также включает в себя широкий спектр дополнительных возможностей.

Особенности:

• Кроссплатформенная поддержка.
• Интегрирован в Silk Central.
• Интегрируется с инструментами мониторинга и IDE.

Тип инструмента: Расширенный.

Что вам нужно знать: Borland является сильным конкурентом HP (хотя и предлагает такие же высокие цены) с мощной кроссплатформенной поддержкой и возможностями облачной загрузки.

CA Technologies Application Test

Инструмент Application Test автоматизирует тестирование, используя в том числе стратегию «shift left». В дополнение к тестированию производительности он позволяет выполнять функциональное и регрессионное тестирование. Инструмент поддерживает работу с мобильными устройствами.

Особенности:

• Обеспечение надёжной поддержки мэйнфреймов.
• Возможность повторного использования инфраструктуры и тестовых наборов LISA.
• Создание нагрузки на внутреннюю сеть с небольшим количеством ресурсов.

Тип инструмента: Расширенный.

Что вам нужно знать: CA Technologies в основном сосредотачивает свои усилия на тестировании настольных приложений и сложной инфраструктуры с использованием LISA.

HP LoadRunner, Performance Center & StormRunner

HP предлагает комбинацию из трёх инструментов для тестирования производительности и нагрузки. LoadRunner осуществляет комплексное нагрузочное тестирование с интерактивным моделированием и возможностями анализа первопричин, в то время как Performance Center позволяет повторно использовать накопленные методы и ресурсы для тестирования нескольких приложений. И LoadRunner, и Performance Center поддерживают непрерывное и мобильное тестирование. Наконец, StormRunner расширяет возможности тестирования в области SaaS.

Особенности:

• Надёжные и хорошо развитые инструменты.
• Поддерживает устаревшие и новые технологии.
• Позволяет повторно использовать тесты Unified Functional Testing.

Тип инструмента: Расширенный.

Что вам нужно знать: HP является лидером в области тестирования.

Цены: Стоимость использования LoadRunner/StormRunnerLoad составляет 0,56$ за день работы одного виртуального пользователя, но у них есть также бесплатные версии. Для уточнения информации посетите их страницу с расценками.

IBM Rational Performance Tester

Rational Performance Tester предлагает тестирование без выполнения кода и отчёты в режиме реального времени, а также инструменты анализа первопричин. Данный инструмент также сравнивает результаты тестирования с целями SLA, интегрируется с IBM Rational Quality Manager и включает в себя регистратор тестов.

Особенности:

• Надёжный и развитый инструмент.
• Поддерживает устаревшие и новые технологии.
• Позволяет повторно использовать тесты Rational Functional Tester.

Тип инструмента: Расширенный.

Что вам нужно знать: IBM Rational Performance Tester работает в облаке и предлагает поддержку веб-приложений и настольных компьютеров, но его мобильная поддержка крайне слаба.

Neotys NeoLoad

NeoLoad использует интуитивно понятный графический интерфейс для создания сценариев использования, идентификации целей и выполнения тестов. Он позволяет имитировать нагрузку локально или с помощью облачной платформы Neotys, отслеживает все серверы во время нагрузочного тестирования.

Особенности:

• Обеспечение сквозного тестирования.
• Кроссплатформенные возможности.
• Облачная и локальная поддержка.

Тип инструмента: Pure Play.

Что вам нужно знать: Neotys — это небольшое, но быстроразвивающееся решение с кроссплатформенной поддержкой (через NeoLoad) и возможностями постпродакшн-мониторинга (через NeoSense).

Parasoft Load Test

Parasoft Load Test обеспечивает тестирование производительности, нагрузки и параллелизма с возможностью имитации различных нагрузок и тестирования из разных мест. Load Test также может запускать другие тесты, ранее созданные в Parasoft.

Особенности:

• Поддержка устаревших приложений.
• Возможность повторного использования других тестов, созданных в Parasoft.
• Возможности мониторинга производительности.

Тип инструмента: Расширенный.

Что вам нужно знать: Parasoft позволяет повторно использовать тест-кейсы под нагрузкой и осуществляет мониторинг производительности. Он обеспечивает поддержку настольных и веб-приложений, но не способен взаимодействовать с облаком и мобильными приложениями.

Radview WebLOAD

Radview WebLOAD имитирует различные условия нагрузки для неограниченного числа пользователей и распределяет нагрузку на любое количество компьютеров. Кроме того, он может отслеживать производительность сервера и предлагает кроссплатформенную поддержку для веб-, настольных и мобильных устройств (через PerfectoMobile).

Особенности:

• Кроссплатформенная поддержка.
• Опенсорсная поддержка (поддерживает Selenium).

Тип инструмента: Pure Play.

Что вам нужно знать: Radview — новичок на рынке тестирования производительности. В настоящее время его позиции не очень хороши (рейтинг упал со 100 до 25).

Цены: Запросить цену можно здесь.

SmartBear LoadComplete

SmartBear LoadComplete — инструмент для нагрузочного, стрессового и масштабируемого тестирования, который работает как с HTML-сайтами, так и с многофункциональными интернет-приложениями. SmartBear LoadComplete может генерировать нагрузку с виртуальных машин, с локальных компьютеров или из облака. Он предлагает возможности записи и воспроизведения, визуальное программирование, распределённое нагрузочное тестирование и т.д.

Особенности:

• Возможность мониторинга производительности.
• Возможность легко развёртывать тесты как на рабочем столе, так и в облаке.
• Более низкая цена, чем у HP.

Тип инструмента: Расширенный.

Что вам нужно знать: LoadComplete — это основной продукт SmartBear и расширение TestComplete. Он предлагает веб-поддержку, облачную поддержку, но не имеет мобильных возможностей.

Цены: Тарифные планы начинаются от 230$ в год, имеется 5 уровней цен. Посмотреть цены здесь.

Soasta CloudTest

Soasta CloudTest предлагает непрерывное нагрузочное тестирование в любом масштабе с аналитикой в реальном времени. Данный инструмент также имеет встроенные возможности мониторинга и позволяет пользователям создавать тесты, используя данные на основе RUM и сценарии для конкретных приложений.

Особенности:

• Кроссплатформенная поддержка.
• Инновационный инструмент.
• Связь с мониторингом производительности.

Тип инструмента: Pure Play.

Что вам нужно знать: Soasta является крупнейшей компанией в своей области (на сегодняшний день финансовые возможности составляют более 75 миллионов долларов). Он обеспечивает кроссплатформенную поддержку и предлагает мониторинг производительности с помощью mPulse.

Цены: От 2500$ в год, есть два уровня цен. Посмотреть цены можно здесь.

eggPlant Performance

eggPlant Performance обеспечивает облачное моделирование распределённой нагрузки с элементами управления тестами и стандартными языками сценариев. Инструмент eggPlant Performance от TestPlant входит в расширенный ассортимент инструментов тестирования eggPlant.

Особенности:

• Кроссплатформенная поддержка.
• Возможность повторного использования функциональных тестов в качестве тестов производительности.
• Переход через различные слои приложений, включая пользовательский интерфейс, API и командную строку.

Тип инструмента: Расширенный.

Что вам нужно знать: eggPlant Performance, как расширение eggPlant Functional, поддерживает веб-, настольное и мобильное тестирование.

Цены: Посмотреть информацию о лицензировании и ценах можно здесь.

Инструменты управления тестированием

Управление тестированием — это развитый сегмент тестирования, который в настоящее время трансформируется в результате широкого внедрения Agile, DevOps и Test Driven. Большинство инструментов управления тестированием ориентированы на методологии Agile или Waterfall.

qTest Manager от Tricentis qTest

qTest Manager предоставляет возможности отслеживания, управления, организации и отчётности для тестирования программного обеспечения и управления тестовыми сценариями. qTest Manager управляет требованиями и тест-кейсами, выполняет тесты, отслеживает дефекты и сообщает о тестовых данных. Он интегрируется с JIRA, Rally и VersionOne, а также с другими популярными инструментами автоматизации.

Особенности:

• Удобный интерфейс.
• Интеграция с JIRA, Jenkins, Rally и инструментами автоматизации.
• Поддержка ручного, исследовательского и автоматизированного тестирования — всё в одном месте.

Что вам нужно знать: qTest Manager — лидер на рынке инструментов управления тестами и единственная платформа, которая предлагает единый источник для ручного, исследовательского и автоматизированного тестирования.

SmartBear QAComplete

SmartBear QAComplete обеспечивает видимость процесса тестирования с возможностью управления, организации и составления отчётов. Данный инструмент предлагает готовые шаблоны или настраиваемые параметры рабочего процесса, возможность отслеживания тестов в пользовательских историях и возможность повторного использования в течение всего цикла тестирования. Он интегрируется с такими инструментами, как Jira, Selenium и SoapUI.

Особенности:

• Настраиваемый инструмент.
• Поддерживает различные интеграции.

Что вам нужно знать: SmartBear QAComplete предоставляет единое пространство для управления тестированием. Благодаря индивидуальной настройке он может работать как с Agile, так и с Waterfall.

Zephyr

Zephyr предназначен для создания, планирования, выполнения и отслеживания тестов. Он поддерживает структурированные и произвольные тесты (а также ручные и автоматизированные тесты) и интегрируется с мощнейшими инструментами, такими как JIRA, Confluence и Bugzilla.

Особенности:

• Обеспечение видимости в реальном времени.
• Возможность выполнения нескольких тестов одновременно.

Что вам нужно знать: Zephyr — ещё один «монстр» в области управления тестированием, ориентированный на малый и средний сегменты рынка.

Цены: Прочитать о том, как купить Zephyr, можно здесь.

Testuff

Testuff — инструмент управления SaaS-тестированием. Он поддерживает различные методологии тестирования и предлагает возможности управления на протяжении всего жизненного цикла тестирования. Testuff поддерживает автоматизированное тестирование, двустороннюю интеграцию с баг-трекерами и видеоотслеживание дефектов.

Особенности:

• Функция записи видео для отслеживания дефектов.
• Сравнительно невысокая цена.
• Удобство для пользователя.

Что вам нужно знать: Testuff — это инструмент SaaS, наиболее уникальной функцией которого является видеоотслеживание дефектов. Он предлагает интеграцию с трекерами ошибок и с инструментами автоматизации.

Цены: Тарифные планы начинаются с 27$ на пользователя в месяц. Подробную информацию о ценах можно найти здесь.

Инструменты управления тестами с открытым исходным кодом

Есть также несколько инструментов для управления тестированием с открытым исходным кодом. Если вы решили отдать предпочтение именно этой категории, рассмотрите следующие варианты: Trantula, Testopia, QABook, TestLink, XQual, TestMaster, Testitool.

Инструменты ity-тестирования

В этот раздел попали инструменты трёх подкатегорий, объединённых общим суффиксом английских названий — «ity». Они предназначены для тестирования:

• Безопасности (англ. — Security)
• Юзабилити, т.е. удобства использования (англ. — Usability)
• Совместимости (англ. — Compatibility)

Тестирование по принципу –ity представляет собой развивающийся сегмент, в котором, как правило, представлены дорогие специализированные инструменты. Эти инструменты постепенно эволюционируют, становятся проще в использовании и предлагают улучшенный сервис, что, несомненно, идёт на благо небольшим командам, которые ещё не могут вкладывать деньги в специализированные ресурсы.

Инструменты тестирования безопасности

Инструменты для тестирования безопасности обычно строятся вокруг конкретной платформы и/или технологии. Как правило, это дорогие специализированные инструменты, которые включают в себя тяжёлые сервисы. Вариантов с открытым кодом в этой области немного.

HP Fortify On Demand

HP Fortify On Demand — сервис с единой платформой для просмотра и управления рисками безопасности, разработки графиков тестирования безопасности и запуска проектов исправления. Fortify on Demand запускает автоматизированные тесты с полным аудитом результатов и включает поддержку SAST, DAST и IAST (благодаря добавлению более старого инструмента WebInspect), а также ограниченную поддержку MAST.

Особенности:

• Самый сильный набор комбинированных предложений с полной поддержкой на разных языках.
• Поддержка RASP.

Что вам нужно знать: HP, несомненно, является крупнейшей фигурой в сфере безопасности. Он позволяет работать с инструментами SAST, DAST, IAST и MAST.

Цены: От 2000$ за приложение. Запросить цены можно здесь.

Veracode

Veracode включает в себя инструменты для SAST, DAST, IAST и MAST. Его бинарный статический анализ ориентирован на Agile, а его инструменты DAST и IAST предлагают настоящий облачный хостинг и мониторинг периметра сети. Почти все его предложения рассчитаны на мобильные устройства.

Особенности:

• Самый мощный вариант для облачных и мобильных технологий.
• Интеграция с многочисленными инструментами отслеживания ошибок и контроля качества, такими как TFS.
• Поддержка RASP.

Что вам нужно знать: Veracode — крупнейшая компания в сфере безопасности, не имеющая собственных инструментов тестирования и SDLC.

IBM Application Security APPScan

APPScan предлагает единую консоль для тестирования, отчётности и политик. Он осуществляет статическое, динамическое и интерактивное тестирование безопасности. Инструмент статического тестирования IBM AppScan хорошо известен в области безопасности, хотя инструменты DAST используют сторонние решения, а инструменты IAST работают только с .Net и Java.

Особенности:

• Сильный в SAST.
• Включает в себя полный набор предложений.

Что вам нужно знать: IBM конкурирует с HP как с аналогичным полным сервисным предложением.

Цены: Тарифные планы начинаются с 10700$ за установку. Запросить цены можно здесь.

Инструменты тестирования удобства использования (юзабилити)

Инструменты юзабилити-тестирования, как правило, более типовые и предлагают простое развёртывание в приложениях. Ценность этих инструментов заключается в предоставлении экспертной оценки или оценки от сообщества пользователей.

UserTesting

Инструмент создаёт видео людей, использующих тестируемый сайт или приложение, и предоставляет отчёт, в котором выявляются основные проблемы. UserTesting объединяет пользователей из собственной сети или сети вашей компании, которые соответствуют вашей целевой аудитории.

Особенности:

• Сравнительно невысокая стоимость.
• Простота в использовании.
• Гибкое лицензирование.
• Большая сеть тестировщиков.

Что вам нужно знать: UserTesting фокусируется исключительно на юзабилити-тестировании сайтов и мобильных приложений. Его сеть пользователей и экспертов сильна и включает в себя истинных профессионалов в области UX. Хотя продукт традиционно был довольно слабым, он постепенно улучшается.

Цены: Тарифы на UserTesting начинаются с 99$ за видео. Посмотреть цены можно здесь.

Validately

Описание: Приложение позволяет тестировать живые сайты и анализировать результаты с помощью отчётов и видео. Validately облегчает тестирование (на ваших собственных клиентах или на тестировщиках, найденных приложением в сети) и позволяет вам общаться с тестировщиками вживую.

Особенности:

• Сравнительно невысокая стоимость.
• Простота в использовании.
• Возможность получить обратную связь перед кодированием, что позволяет сократить затраты и объём работы.

Что вам нужно знать: Validately обеспечивает обратную связь с пользователями на стадии, предшествующей написанию кода. Инструмент предназначен для взаимодействия пользователей с настольными, веб- и мобильными каркасами (не приложениями) и получения ответной реакции от них.

Цены: От 79$ в месяц, имеется три уровня цен. Посмотреть информацию о ценах на Validately можно здесь.

Инструменты тестирования совместимости

Ценность тестирования на совместимость основана на эффективном кросс-браузерном мобильном и веб-тестировании. Тестирование на совместимость легко провести вручную, но это отнимает много времени. Автоматизированные инструменты повышают эффективность этого процесса.

Browsera

Browsera предоставляет подробный отчёт о проблемах макета, что позволяет избежать длительного просмотра скриншотов, находит ошибки Javascript и тестирует динамические страницы. Browsera может также тестировать страницы, требующие входа в систему, и тестировать сайты целиком, что избавит вас от необходимости переходить от страницы к странице.

Особенности:

• Различия в точках расположения.
• Отсутствие необходимости тестировать сайты постранично.
• Тестирование динамических страниц и Javascript.

Что вам нужно знать: Browsera предлагает как бесплатные, так и корпоративные версии своего инструмента тестирования совместимости. Среди наиболее уникальных функций этого инструмента — возможность обнаружения различий макета в разных браузерах, выявление ошибок Javascript.

Browserling

Browserling создаёт интерактивные сеансы в режиме реального времени для кросс-браузерного тестирования. Он предлагает создание скриншотов, совместное использование экрана, поиск ошибок и видео. Предназначен Browserling только для веб-тестирования.

Особенности:

• Сравнительно невысокая цена.
• Не требуется установка.
• Возможность обнаружения ошибок Javascript.
• Тестирование динамических страниц.

Что вам нужно знать: Основанная в 2011 году компания Browserling, ориентирована только на веб-продукты и не поддерживает автоматизированное тестирование.

Цены: От 49$ в месяц, есть 3 уровня ценообразования. Посмотреть цены можно здесь.

Инструменты для тестирования настроек и инфраструктуры

Тестовые настройки и инфраструктура — это быстро меняющийся сегмент, что связано с изменениями тенденций в области мобильных устройств, веб-технологий (облачных), NoSQL и контейнеров, а также с появлением новых компаний.

Мы можем разбить эти инструменты тестирования на четыре подкатегории:

• Облачное тестирование
• Фермы мобильных устройств
• Управление тестовыми данными
• Управление средой

Облачное тестирование

Облачные инструменты тестирования представляют собой сеть виртуальных машин, в которой тестирование настольных компьютеров и сайтов может проводиться с меньшими затратами, что в результате позволяет экономить деньги организаций.

Sauce Labs

Sauce Labs позволяет осуществлять кросс-браузерное, мобильное и ручное тестирование, а также автоматизацию для параллельного тестирования как веб-, так и мобильных устройств. Sauce Labs использует туннельную технологию для шифрования трафика между отдельными тестами и облаком и предлагает доступ к сеансам удалённого рабочего стола во время тестов.

Особенности:

• Сравнительно невысокая стоимость.
• Совместимость с открытым исходным кодом.
• Дополнительные функции для ручного и кросс-браузерного тестирования.
• Непрерывная интеграция.

Что вам нужно знать: Sauce Labs предлагает дополнительные корпоративные возможности в расширенных подписках. В настоящее время он работает только с технологиями открытого исходного кода (Selenium, Appium и JS Unit Testing). Имеются функции ручного тестирования и сравнения браузеров.

Цены: От 19$ в месяц. Подробности можно узнать здесь.

HP StormRunner Load

Описание: HP StormRunner Load — инструмент для планирования, проведения и масштабирования веб- и мобильных тестирований. Он обеспечивает обнаружение аномалий и прогнозную аналитику в реальном времени. Кроме того, HP StormRunner Load поддерживает использование реальных мобильных устройств в облачном тестировании, а также тестовые записи.

Особенности:

• Поддержка гибких процессов разработки.
• Хорошая масштабируемость.
• Интеграция с другими инструментами тестирования HP.

Что вам нужно знать: HP StormRunner Load — это масштабируемое решение для гибкого облачного тестирования.

Цены: 0,56$ в день за одного виртуального пользователя, но есть также и бесплатная версия. Подробную информацию о ценах можно получить здесь.

IBM Smart Business Development and Test Cloud

Smart Business Development and Test Cloud — платформа, предназначенная для упрощения оценки, планирования, проектирования и тестирования частных облачных сред. По запросу IBM также предлагает физические и виртуализированные тестовые ресурсы.

Особенности:

• Поддержка для построения сложных тестовых сред.
• Автоматизированное управление настройками и конфигурацией.
• Интеграция с IBM CloudBurst.

Что вам нужно знать: IBM Smart Business Development and Test Cloud ориентирована больше на создание тестовых сред, чем на создание машин/браузеров для тестирования.

Borland Silk Central Connect

Silk Central Connect предлагает предварительно сконфигурированные кросс-браузерные тестовые среды в облаке и позволяет повторно использовать тестовые сценарии. Кроме того, для удобства сравнения Silk Central Connect предоставляет параллельные результаты кросс-браузерного тестирования, а также интегрируется с Silk Test.

Особенности:

• Поддержка коммерческой автоматизации (через Silk Test).

Что вам нужно знать: Silk Central — это корпоративная версия Sauce Labs. Как и Sauce Labs, он предлагает мобильную поддержку через эмуляторы. Однако он запускает только сценарии Silk Test.

Фермы мобильных устройств

Ферма мобильных устройств представляет собой сеть мобильных устройств для проведения тестирования. Она позволяет сэкономить на приобретении, управлении и обслуживании устройств. Все фермы мобильных устройств условно можно разделить на узкоспециализированные («чистые» инструменты — Pure Play Tools) и расширенные (Extension Tools). Каждый из этих двух типов инструментов имеет свои плюсы и минусы.

Инструменты Pure Play

• Как правило, стоят дешевле
• Возникает меньше проблем в процессе приобретения и внедрения
• Обеспечивают более быстрое развитие с использованием лучших в своём классе инструментов
• Поддерживают больше интеграций и использование открытого исходного кода

• Требуются знания отдельных скриптов/языков для обслуживания

Расширенные инструменты

• Допускается повторное использование прошлых сценариев автоматизации
• Используют знакомые языки
• Один поставщик может снабжать вас несколькими инструментами

• Медленная и менее сфокусированная разработка
• Закрытая экосистема, ограничивающая доступ к лучшим в своём классе инструментам
• Как правило, более дорогие и ориентированы на крупные организации

Ферма устройств от Amazon Web Service

AWS Device Farm обеспечивает автоматизированное тестирование на реальных мобильных устройствах в облаке AWS. С её помощью вы также можете вручную воспроизводить проблемы и использовать встроенные тестовые наборы, платформы с открытым исходным кодом или ручные тесты.

Особенности:

• Сравнительно невысокая цена.
• Широкие возможности выбора устройств.
• Поддержка открытого исходного кода.
• Дружественная к разработчику среда.
• Интеграция с AWS.

Тип инструмента: Pure Play.

Что вам нужно знать: Amazon выпустила Device Farm в качестве расширения Amazon Web Services в июле 2015 года. В том же 2015 году, но позже, она выпустила фреймворк автоматизации пользовательского интерфейса в дополнение к существующим интеграциям Calabash, Appium и Espresso. Этот фреймворк пока не пользуется популярностью, так как большинство пользователей всё ещё используют интеграции с открытым исходным кодом.

Цены: От 0,17$ за минуту использования устройств. Посмотреть цены можно здесь.

Borland Silk Mobile Testing

Для мобильного тестирования инструмент использует стратегию «shift left», предоставляя пользователю центр управления, предназначенный для непрерывных процессов. Также Silk Mobile Testing поддерживает кроссплатформенные автоматизированные тесты, поддерживает ручное или ознакомительное тестирование, предоставляет скриншоты, видео и отчёты о состоянии тестов. Silk Mobile Testing интегрируется с решениями от Borland Silk Performer и Silk Central.

Особенности:

• Кроссплатформенная поддержка.
• Интеграция с Silk Central.

Тип инструмента: Расширенный.

Что вам нужно знать: Borland предлагает инструменты тестирования корпоративного уровня, способные конкурировать с HP, однако они, как правило, дорогостоящие.

Experitest SeeTestCloud

SeeTestCloud предлагает инвентаризацию устройств, управление приложениями, пользователями и проектами для мобильных устройств, обеспечивает удалённый доступ и интегрируется с инструментами тестирования производительности, такими как HP LoadRunner и JMeter. Experitest предлагает как локальную, так и онлайн-версию SeeTestCloud.

Особенности:

• Высокая безопасность.
• Согласованная работа с компаниями, которые владеют собственными устройствами.
• Поддержка коммерческой автоматизации.
• Визуализация сети.
• Осуществление мониторинга устройств.

Тип инструмента: Расширенный.

Что вам нужно знать: Experitest SeeTestCloud — это локальное облако устройств, которое подключается к вашим доступным мобильным устройствам. Ещё Experitest предлагает SeeTestAutomation, которая интегрируется с HP UFT и LoadRunner, а также с некоторыми опенсорсными инструментами, такими как JMeter.

Цены: Тарифные планы начинаются с 2000$ в год. Посмотреть расценки можно здесь.

HP Mobile Center

HP Mobile Center предоставляет как реальные устройства, так и эмуляторы, которые поддерживают тестирование приложений и мониторинг в режиме реального времени. HP Mobile Center также позволяет управлять устройствами и разрешениями пользователей, осуществлять запись и воспроизведение взаимодействий, структурированное ручное или автоматизированное тестирование и оценку безопасности.

Особенности:

• Интеграция с HP UFT и LeanFT для улучшенного автоматизированного тестирования.
• Использование реальных устройств с опцией для эмуляторов.

Тип инструмента: Расширенный.

Что вам нужно знать: HP Mobile Center интегрируется с другими инструментами тестирования от HP, чтобы обеспечить более полное и всестороннее тестирование. Поддержка как реальных устройств, так и эмуляторов обеспечивает гибкость в тестировании.

Цены: Тарифные планы начинаются с 12000$ в год. Посмотреть подробности можно здесь.

Keynote Mobile Testing

Keynote Mobile Testing обеспечивает автоматизацию тестирования для реальных мобильных устройств. Он поддерживает модульное, сборочное, регрессионное, исследовательское и негативное тестирование. Кроме того, Keynote Mobile Testing позволяет создавать тесты с помощью сценариев или интеграций с опенсорсными фреймворками. Интегрируется с несколькими приложениями.

Особенности:

• Использование реальных мобильных устройств.
• Обеспечение поддержки новых устройств сразу после их выпуска.
• Интеграция с ведущими приложениями, включая Appium и Selenium.

Тип инструмента: Расширенный.

Что вам нужно знать: Keynote Mobile Testing позволяет проводить автоматизированное тестирование на самых разных устройствах. Инструмент поддерживает множество интеграций, благодаря чему он беспрепятственно работает с процессами гибкой методологии разработки.

Цены: От 180$ в месяц. Посмотреть расценки можно здесь.

Mobile Labs deviceConnect

Mobile Labs deviceConnect обеспечивает удалённое управление устройствами, отслеживание и мониторинг, а также управление пользователями и приложениями. Инструмент предлагает ручное и автоматизированное тестирование приложений (всё из своей частной облачной платформы тестирования).

Особенности:

• Высокая безопасность.
• Совместная работа с компаниями, которые владеют собственными устройствами.

Тип инструмента: Pure Play.

Что вам нужно знать: Mobile Labs deviceConnect позволяет пользователям подключать собственные устройства к частному облаку для функционального и автоматизированного тестирования или тестирования производительности. Для осуществления автоматизированного тестирования Mobile Labs сотрудничает исключительно с HP.

Perfecto Mobile Monitoring

Описание: Perfecto Mobile Monitoring предлагает облачное автоматизированное тестирование, мониторинг юзабилити и производительности, а также визуальные отчёты и интеграцию с различными средами автоматизации, включая опции с открытым исходным кодом и HP UFT.

Особенности:

• Высокая безопасность.
• Широкая доступность устройств.
• Поддержка различных фреймворков автоматизации.
• Тестирование производительности.

Тип инструмента: Расширенный.

Что вам нужно знать: Perfecto Mobile предлагает комбинацию частных и общих/облачных устройств.

Цены: Тарифные планы начинаются от 99$ в месяц. Запросить цену можно здесь.

Sauce Labs

Sauce Labs обеспечивает автоматизированное тестирование с помощью эмуляторов, симуляторов и реальных устройств, осуществляя нативные, гибридные и мобильные веб-тесты. Этот инструмент основан на стандартах с открытым исходным кодом и работает как с iOS-, так и с Android-устройствами.

Особенности:

• Сравнительно невысокая стоимость.
• Совместимость с открытым исходным кодом.
• Дополнительные функции для ручного и кросс-браузерного тестирования.
• CI-интеграция.

Тип инструмента: Pure Play.

Что вам нужно знать: Sauce Labs предлагает продукт с дополнительными корпоративными возможностями в расширенных подписках. В настоящее время он работает только с опенсорсными технологиями, такими как Selenium, Appium и JS Unit Testing. Это единственный мобильный инструмент тестирования, который поддерживает автоматизацию для нативного, гибридного и мобильного веб-тестирования на всех типах устройств (реальные, эмуляторы и симуляторы).

Цены: От 19$ в месяц. Подробности вы найдёте здесь.

Smart Software Testing Solutions от pCloudy

Описание: pCloudy поддерживает непрерывную разработку и тестирование на реальных устройствах, предлагает тестирование местоположения, функциональность браузера HTML5 и возможности отладки.

Особенности:

• Согласуется с практикой непрерывного развития.
• Предлагает уникальную функцию отладки.
• Использует реальные устройства.

Тип инструмента: Расширенный.

Цены: От 20$ за 5 часов работы. Посмотреть расценки можно здесь.

Soasta TouchTest

Soasta TouchTest обеспечивает автоматизированное тестирование и возможность запуска тестов на нескольких устройствах одновременно. Данный инструмент также предоставляет доступ к новейшим устройствам и показателям производительности мобильных устройств.

Особенности:

• Поддержка автоматизированного тестирования.
• Доступ к показателям производительности.
• Тестирование на нескольких устройствах одновременно.

Тип инструмента: Расширенный.

Что вам нужно знать: Soasta TouchTest интегрируется с Soasta CloudTest и Soasta mPulse для кроссплатформенного веб-тестирования и мониторинга производительности.

Цены: Имеется 3 уровня цен. Запросить цены можно здесь.

TestPlant eggCrate

TestPlant eggCrate может стать полноценной лабораторией для тестирования устройств при подключении к сетям eggBox и eggPlant от компании TestPlant.

Особенности:

• Сравнительно невысокая стоимость.
• Совместная работа с компаниями, которые владеют собственными устройствами.

Тип инструмента: Расширенный.

Что вам нужно знать: TestPlant eggCrate — это мобильное решение для тестирования, которое вы можете подключить к существующим мобильным устройствам. В настоящее время eggCrate работает только с функциональными тестами eggPlant и не предоставляет поддержку открытого исходного кода или нагрузочного тестирования.

Цены: Просмотреть информацию о лицензировании и ценах можно здесь.

Инструменты для управления тестовыми данными

Инструменты управления тестовыми данными автоматизируют процесс развёртывания «золотых» тестовых данных в базах. Когда-то внедрение баз данных с открытым исходным кодом сильно встряхнуло рынок, и сейчас он снова сталкивается с изменениями из-за роста количества хранилищ NoSQL. Давайте рассмотрим основные инструменты для управления тестовыми данными.

Informatica Test Data Management (TDM)

Informatica TDM предлагает обнаружение и классификацию конфиденциальных данных, маскировку данных, генерацию тестовых данных, ускорители приложений, отчёты по мониторингу и соответствию требованиям. Informatica TDM может быть развёрнут локально, в облаке или с использованием модели гибридного облака.

Особенности:

• Самый мощный автономный набор инструментов.
• Предоставление набора других инструментов данных.
• Широкая партнёрская сеть интеграций.

Что вам нужно знать: Informatica предлагает лучшее в своём классе решение в области безопасности данных и управления ими. Его решение для управления тестовыми данными предлагает постоянную маскировку данных, генерацию тестовых данных, подмножество данных, а также возможности облака и хранения.

CA Technologies Test Data Manager

Test Data Manager от CA Technologies — ориентированное на тестирование и полностью автоматизированное решение, созданное для повторного использования. CA Technologies Test Data Manager обеспечивает генерацию синтетических данных, маскировку данных, поднабор данных, анализ покрытия, хранилище тестовых данных и виртуализацию. Инструмент ориентирован на Agile модель непрерывной доставки.

Особенности:

• Самый мощный интегрированный набор инструментов.
• Широкий набор инструментов для виртуализации и разработки приложений.

Что вам нужно знать: CA Technologies уделяет большое внимание управлению тестовыми данными в части, касающейся DevOps и автоматизации. Его Test Data Manager, появившийся в результате приобретения GridTools в 2015 году, обеспечивает маскировку данных и генерацию тестовых данных.

HP Test Data Management

HP Test Data Management извлекает релевантные данные для создания производственной тестовой среды путём построения модели данных и правил подмножеств с графическим пользовательским интерфейсом. HP Test Data Management также маскирует конфиденциальные данные и предоставляет возможность извлекать данные по требованию.

Особенности:

• Мощный дополнительный набор инструментов с HP QC и UFT.

Что вам нужно знать: HP в последнее время не добилась никакого прогресса в разработке своего решения для управления тестовыми данными. HP Test Data Management поддерживает генерацию и маскировку данных, но не имеет облачных возможностей и не поддерживает ни одну из новых технологий баз данных.

IBM InfoSphere Optim

IBM InfoSphere Optim использует готовые рабочие процессы и сервисы для непрерывного тестирования и гибкой разработки. IBM InfoSphere Optim упрощает создание производственных сред, обеспечивает нагрузочное тестирование с помощью интеграций с Rational Test Workbench, а также позволяет маскировать данные и разрабатывать/применять политику управления тестовыми данными.

Особенности:

• Обеспечивает тесную интеграцию с инструментами тестирования IBM.
• Работает в предпроизводственной и производственной средах.
• Интегрируется с IBM хостингом.

Что вам нужно знать: IBM получил возможность управлять тестовыми данными в 2005 году благодаря приобретению Ascential Software. Его решение для управления тестовыми данными InfoSphere Optim поддерживает маскировку данных, поднаборы данных и генерацию данных. Также продукт интегрируется с Rational Test Workbench.

Delphix Engine и Data Masking

Delphix Engine — это механизм виртуализации, который оптимизирует доставку данных, сжимает и создаёт виртуальные копии производственных данных, фиксирует изменения на уровне транзакций. Он может использоваться как локально, так и в облаке. Delphix Data Masking работает вместе с Delphix Engine, обеспечивая надёжную маскировку данных путём замены конфиденциальных данных фиктивными данными.

Особенности:

• Более гибкое решение с поддержкой новых технологий и ориентацией на высокотехнологичное пространство.

Что вам нужно знать: Delphix — одно из самых молодых решений в области управления тестовыми данными. Несмотря на это, с момента своего основания в 2008 году он добился больших успехов. Совместимые с AWS инструменты Delphix Engine и Data Masking поддерживают маскировку данных, поднабор данных и генерацию данных.

Инструменты для управления средой

Инструменты управления средой автоматизируют процесс развёртывания программного обеспечения в тестовой или промежуточной среде. С развитием DevOps эти инструменты приобретают всё большую важность. Docker, Puppet и Chef проложили путь к новым, более дешёвым и лучшим решениям для управления средой.

Plutora Test Environment Manager (TEMS)

Plutora TEMS — инструмент на основе SaaS, позволяющий управлять как автономными, так и интегрированными средами на протяжении всего процесса. Plutora TEMS включает в себя механизм доступности и распределения среды, процессы управления для выявления и исправления изменений в тестовых средах и интеграции с несколькими ведущими инструментами. В дополнение к планированию и настройке среды, он также обеспечивает прогнозирование затрат.

Особенности:

• Предоставляет возможности на протяжении всего жизненного цикла тестирования.
• Отслеживает версии конфигурации и изменения среды.

Что вам нужно знать: Plutora TEMS — это комплексный инструмент тестирования, который предлагает множество возможностей на протяжении всего жизненного цикла тестирования, включая аудит и управление, а также настраиваемые процессы управления.

TEMS Omnium

TEMS Omnium — инструмент SaaS, предоставляющий единый источник для версий сборки во всех средах. Omnium позволяет собирать, систематизировать и идентифицировать шаблоны использования и планирования для приложений и ИТ-сред. Он может быть развёрнут локально или через облако. Продукт доступен в двух версиях: Omnium Light и Omnium Enterprise.

Особенности:

• Поддерживает несколько интеграций, в том числе с открытым исходным кодом.

Что вам нужно знать: TEMS Omnium доступен в двух версиях, соответствующих разным уровням потребностей. Его самой уникальной особенностью является широкий спектр интеграций с инструментами DevOps и Test Ops.

Цены: Тарифные планы начинаются с 55$ в месяц. Посмотреть цены можно здесь.

Инструменты мобильного тестирования

Мобильное тестирование становится всё более важным, поскольку мобильные устройства используются сегодня почти повсеместно. С учётом разнообразия типов приложений (нативные, гибридные, мобильные веб-версии) и операционных систем тестирование мобильных приложений может оказаться сложным делом. Инструменты мобильного тестирования используют автоматизированные среды тестирования, чтобы упростить этот процесс.

Keynote DeviceAnywhere

Keynote DeviceAnywhere предлагает для мобильного тестирования реальные устройства, включая телефоны и планшеты. DeviceAnywhere является частью более крупного инструмента Mobile Testing от Keynote, который обеспечивает автоматизацию тестирования и поддерживает модульное, регрессионное, исследовательское и негативное тестирование.

Особенности:

• Использует реальные мобильные устройства
• Обеспечивает поддержку новых устройств сразу после их выпуска.
• Интегрируется с ведущими приложениями, включая Appium и Selenium.
• Предлагает различные тарифные планы.

Что вам нужно знать: Keynote DeviceAnywhere позволяет проводить автоматизированное тестирование на самых разных устройствах и поддерживает множество интеграций, благодаря чему инструмент беспрепятственно работает с Agile-процессами.

Цены: Тарифные планы начинаются с 200$ за проект. Посмотреть цены можно здесь.

Appium

Описание: Appium — фреймворк с открытым исходным кодом, предназначенный для автоматизации мобильного тестирования. Он использует протокол WebDriver для поддержки тестирования приложений iOS и Android. Appium работает с нативными, гибридными и мобильными веб-приложениями. Данный инструмент поддерживает различные языки программирования.

Особенности:

• Использование как реальных устройств, так и эмуляторов.
• Поддержка всех платформ тестирования, инструментов и языков.
• Кроссплатформенная поддержка.

Что вам нужно знать: Appium — это опенсорсный фреймворк, позволяющий автоматизировать тестирование нативных, гибридных или мобильных веб-приложений для iOS и Android. Не требует модификации кода и поддерживает тестирование на любом языке.

Selendroid

Описание: Selendroid обеспечивает автоматизацию тестирования для нативных, гибридных и мобильных веб-приложений (только для устройств Android). Selendroid построен на базе Selenium и API WebDriver. Он не требует каких-либо изменений кода для тестирования приложений и предлагает встроенный инспектор для упрощения разработки тест-кейсов.

Особенности:

• Использование как реальных устройств, так и эмуляторов.
• Совместимость с протоколом JSON Wire и Selenium 3 Ready.
• Интеграция с Selenium Grid для масштабирования и параллельного тестирования.

Что вам нужно знать: Selendroid предлагает автоматизированное тестирование для нативных, гибридных или мобильных веб-приложений для Android. Он поддерживает несколько целевых API и может быть расширен во время выполнения.

ios-driver

ios-driver обеспечивает автоматизацию тестирования нативных, гибридных и мобильных веб-приложений (только для устройств iOS). Он использует Selenium и API WebDriver. Для тестирования приложений не требуется никаких изменений кода.

Особенности:

• Использование эмуляторов, с поддержкой реальных устройств, запускаемых в следующем выпуске.
• Совместимость с протоколом JSON Wire Protocol.
• Интеграция с Selenium Grid для масштабирования и параллельного тестирования.

Что вам нужно знать: ios-driver предлагает автоматизированное тестирование нативных, гибридных или мобильных веб-приложений для iOS. Он не требует джейлбрейка устройств и может использоваться как часть Selenium Grid для управления фермой устройств или симуляторов.

Цены: ios-драйвер можно скачать бесплатно.

Инструменты отслеживания ошибок

Инструменты отслеживания ошибок упрощают процесс выявления ошибок в программном обеспечении, позволяют управлять ими и создавать отчёты. Эти инструменты упрощают совместную работу, обеспечивая согласованность по всем направлениям, особенно когда альтернативой является электронная таблица.

Bugzilla

Bugzilla — опенсорсный и регулярно развивающийся инструмент отслеживания ошибок. Bugzilla предлагает совместную работу с членами команды, интегрированные возможности электронной почты и многое другое.

Особенности:

• Автоматическое обнаружение дубликатов ошибок.
• Поддержка административных возможностей, включая настройки безопасности.
• Возможность планировать отчёты и исправлять ошибки по электронной почте.
• Бесплатный инструмент.

Что вам нужно знать: Bugzilla — это бесплатный инструмент, который предлагает множество возможностей для отслеживания ошибок и совместной работы пользователей. Он находится в стадии активной разработки.

Цены: Бесплатно.

MantisBT

MantisBT — баг-трекер с открытым исходным кодом, который позволяет настраивать поля ошибок, уведомления и рабочие процессы. MantisBT позволяет получать уведомления по электронной почте и контролировать доступ на основе ролей, что облегчает совместную работу.

Особенности:

• Простота в использовании.
• Веб- и мобильные интерфейсы.
• Бесплатный инструмент с возможностью платного хостинга.

Что вам нужно знать: MantisBT — простой, но мощный опенсорсный инструмент для отслеживания ошибок. Это бесплатное решение предлагает множество плагинов для расширения его функциональности.

Цены: Бесплатно.

Atlassian JIRA

Atlassian JIRA, как часть более крупного инструмента управления инцидентами, обеспечивает отслеживание ошибок. JIRA предлагает возможности планирования, отслеживания, выпуска и отчётности. При этом он поддерживает как пользовательские, так и готовые рабочие процессы. Интегрируется с различными инструментами тестирования и надстройками, доступными через Atlassian Marketplace.

Особенности:

• Обеспечение гибкой отчётности и планирования портфеля.
• Интеграция с инструментами разработчика и более 1000 дополнений.
• Варианты развёртывания облаков, серверов и центров обработки данных.

Что вам нужно знать: JIRA обеспечивает отслеживание ошибок наряду с множеством других возможностей управления инцидентами, которые могут расширить его использование за пределы разработки программного обеспечения. Это готовое к использованию решение, которое поддерживает широкий спектр интеграций.

Цены: Тарифные планы начинаются с 10$ на пользователя, имеется 9 ценовых уровней. Посмотреть цены можно здесь.

FogCreek FogBugz

FogCreek FogBugz, являющийся частью более крупного инструмента трекинга и совместной работы, обеспечивает отслеживание ошибок. Среди доступных функций FogBugz — управление задачами, отслеживание времени, интеллектуальное планирование, поддержка электронной почты, совместная работа с документами и отчёты о сбоях. Он также помогает управлять гибкой разработкой, проводить анализ и управлять кодом.

Особенности:

• Предлагает облачные или локальные варианты развёртывания.
• Массовое редактирование выпуска.
• Поддержка пользовательских рабочих процессов, типов обращений и статусов.
• Автоматические сообщения об ошибках.

Что вам нужно знать: FogBugz обеспечивает отслеживание ошибок, а также обладает множеством других функций, которые расширяют его возможности за пределы разработки программного обеспечения.

Цены: Тарифные планы начинаются с 20$ в месяц. Посмотреть тарификацию можно здесь.

Тестирование ниш

Нишевые категории формируются для решения новых проблем, создаваемых Agile, Mobile, Cloud, DevOps и т.д. Основные сегменты в этой области:

• Тестовая отчётность
• Логирование/отладка
• Массовое тестирование
• Управление бета-версией

Инструменты отчётов о тестах

Подобные инструменты централизуют и стандартизируют тестовую отчётность, получаемую от независимых инструментов, соединяя Agile/Waterfall, кроссплатформенные, ручные и автоматизированные тестовые метрики. Благодаря правильным инструментам отчётности о тестировании команды могут отказаться от электронных таблиц и начать получать информацию о прогрессе, состоянии и качестве тестирования программного обеспечения в режиме реального времени.

qTest Insights by QASymphony

qTest Insights предоставляет бизнес-аналитику для тестовых метрик и отчётов. Он предлагает группам единый источник для управления и анализа метрик. Инструмент включает в себя детализацию отчётов, настраиваемую панель мониторинга, визуальные тепловые карты и интерактивные диаграммы.

Особенности:

• Обеспечение точной визуализации данных в режиме реального времени.
• Интеграция с другими инструментами тестирования QASymphony, а также с решениями сторонних производителей.

Что вам нужно знать: Недавно QASymphony обновил свой инструмент отчётности qTest, и в результате появился qTest Insights 2.0. Благодаря этой модернизации появились уникальные функции, улучшающие визуализацию данных и предоставляющие более точную информацию в режиме реального времени и в удобном формате.

Testuff

Testuff — инструмент управления тестированием SaaS, поддерживающий различные методологии тестирования, предлагающий возможности управления тестированием на протяжении всего жизненного цикла и поддерживающий автоматическое тестирование. Testuff предлагает отчёты о дефектах, в том числе и видео-трекинг дефектов.

Особенности:

• Функция записи видео для отслеживания дефектов.
• Сравнительно невысокая цена.
• Удобство для пользователя.

Что вам нужно знать: Testuff ориентирован не только на отчёты о тестировании. Скорее, это инструмент управления тестами, который включает в себя отчёты о дефектах. Также он предлагает множество интеграций с баг-трекерами и несколько интеграций с инструментами автоматизации.

Логирование/отладка

Средства логирования и отладки собирают информацию о технических и функциональных ошибках в предпроизводственной и производственной средах. Производственное логирование в основном полезно в мобильных и облачных приложениях.

QASymphony qTest eXplorer

QASymphony qTest eXplorer осуществляет исследовательское, сессионное и ручное тестирование на разных платформах, автоматически записывая сеансы тестирования и документируя дефекты. QASymphony qTest eXplorer интегрируется с ведущими Agile ALM, включая Rally, JIRA и VersionOne, что способствует улучшению представления ошибок и проблем.

Особенности:

• Поддержка глубокого исследования на наличие ошибок.
• Централизация тестовой документации.
• Интеграция с ведущими Agile ALM.
• Возможность редактирования записанных сессий.

Что вам нужно знать: QASymphony qTest eXplorer устраняет необходимость ручного захвата экрана и документирования, автоматизируя весь процесс. Автоматизация, а также интеграция с ведущими Agile ALM позволяют оптимизировать процессы, проводить более глубокие исследования ошибок и более надёжную документацию.

HP Sprinter

HP Sprinter фиксирует действия пользователя во время ручного исследовательского тестирования и обеспечивает запись для точного воспроизведения ошибок. HP Sprinter также предоставляет автоматизированные сканеры дефектов для определённых условий, таких как зеркальное тестирование для запуска тестов на нескольких машинах и внедрение данных, чтобы исключить необходимость повторного ручного тестирования.

Особенности:

• Полная функциональность.
• Возможность автоматизации.
• Интеграция с другими инструментами тестирования HP.
• Сравнительно невысокая стоимость (бесплатно с HP QC/ALM).

Что вам нужно знать: HP Sprinter был выпущен в 2011 году как часть HP QC/ALM Premium Edition. Помимо захвата скриншотов и видео, HP Sprinter предоставляет возможности для автоматизации тестирования, внедрения данных и многого другого.

Instabug

Описание: Instabug, ориентированный только на мобильные приложения, обеспечивает обратную связь внутри приложения и создание отчётов об ошибках, а также позволяет вести прямой чат с бета-тестировщиками непосредственно внутри приложения. Instabug также предлагает отчёты о сбоях, автоматизацию рабочих процессов, десятки возможностей интеграции и единую панель управления для отчётов об ошибках и их исправления.

Особенности:

• Предлагает мобильную функциональность.
• Хорошо интегрируется со сторонними инструментами, такими как Jira и ZenDesk.
• Невысокая стоимость.

Что вам нужно знать: Выпущенный в 2013 году Instabug фокусируется исключительно на мобильных приложениях и предлагает расширенные функции, такие как чат с бета-пользователями и аналитика сбоев.

Цены: Тарифные планы начинаются с 49$ в месяц. Посмотреть подробности можно здесь.

TestFairy

Описание: TestFairy предоставляет видеозапись, журналы и отзывы пользователей исключительно для мобильных приложений iOS и Android. TestFairy также предлагает распространение приложений, отчёты о сбоях и страницы сообщества.

Особенности:

• Обеспечение надёжной регистрации данных (включая память, уровень сигнала и многое другое).
• Возможность запуска приложения.

Что вам нужно знать: Выпущенный в 2013 году TestFairy сравним с Instabug, поскольку он также ориентирован исключительно на мобильные устройства. Однако, в отличие от Instabug, TestFairy больше фокусируется на сообщениях об ошибках, чем на управлении ошибками.

Цены: От 79$ за месяц использования. Посмотреть цены можно здесь.

Browserling

Browserling предоставляет интерактивные сеансы в режиме реального времени для кросс-браузерного адаптивного тестирования и SSH-туннели для локального тестирования. Browserling предлагает скриншоты и видео, совместное использование экрана и поиск ошибок. Предназначен он только для веб-тестирования.

Особенности:

• Невысокая цена.

Что вам нужно знать: Основанный в 2011 году Browserling ориентирован только на веб и не поддерживает автоматическое тестирование.

Цены: Тарифные планы начинаются с 19$ за месяц. Посмотреть цены можно здесь.

BrowserStack

BrowserStack обеспечивает тестирование ряда устройств и браузеров, а также локальное тестирование для разработки и внутренних сайтов. Все тестирования проводятся на реальных устройствах и браузерах, а не на виртуальных машинах.

Особенности:

• Мобильная и веб-поддержка, а также поддержка ручного и автоматического тестирования.
• Локальная поддержка тестирования сайтов.
• Надёжные SDK для автоматизации интеграции.

Что вам нужно знать: Основанный в 2011 году BrowserStack позволяет проводить тестирование как в интернете, так и на реальных мобильных устройствах.

Цены: Тарифные планы начинаются с 29$ в год. Посмотреть цены можно здесь.

CrossBrowserTesting

CrossBrowserTesting при помощи интерактивной лаборатории тестирования обеспечивает тестирование в режиме реального времени на реальных браузерах и мобильных устройствах. Данный инструмент предлагает автоматические скриншоты и сравнение скриншотов, тесты Selenium и локальные тесты.

Особенности:

• Мобильная и веб-поддержка, а также поддержка ручного и автоматизированного тестирования.
• Развивающаяся интеграция с комплексным решением для тестирования SmartBear.
• Невысокая цена.
• Обеспечение локальной поддержки тестирования сайта.

Что вам нужно знать: SmartBear приобрёл CrossBrowserTesting в 2016 году. Сам по себе CrossBrowserTesting позволяет проводить тестирование как в интернете, так и на реальных мобильных устройствах.

Цены: От 29$ за месяц использования. Страница с ценами находится здесь.

Массовое тестирование (Краудтестинг)

Инструменты массового тестирования используют «толпу» для помощи в тестировании программного обеспечения через веб-платформы. Массовое тестирование снижает общую стоимость рабочей силы, а также стоимость доступа к специализированным устройствам, сетям и наборам навыков.

Сообщества, участвующие в массовом тестировании, могут быть управляемыми или неуправляемыми. Управляемое сообщество — сообщество, в котором взаимодействием с «толпой» управляет поставщик. Эти сообщества минимизируют усилия заказчика и предоставляют услуги гораздо более высокого качества, но стоят они дороже. Неуправляемое сообщество — это то, где взаимодействием с толпой управляет сам заказчик. Такой вариант требует больше усилий от вашего бизнеса, но обходится дешевле.

Applause

Applause обеспечивает массовое тестирование для исследовательского тестирования, тестирования доступности, безопасности, юзабилити, локализации, а также нагрузочного тестирования. Applause опирается на сеть из более 250 000 профессиональных тестировщиков по всему миру.

Особенности:

• Обширная сеть тестировщиков.
• Предлагает как управляемые, так и неуправляемые сообщества.

Тип сообщества: Управляемое и неуправляемое.

Что вам нужно знать: Applause — крупнейшая, хорошо зарекомендовавшая себя и имеющая обширную базу тестировщиков платформа для массового тестирования. В настоящее время она предлагает как управляемые, так и неуправляемые сообщества, но намечается тенденция перехода к более управляемым предложениям премиум-класса.

Цены: Узнать о расценках можно здесь.

Bugcrowd

Bugcrowd обеспечивает массовое тестирование безопасности приложений с использованием сети из более 28 000 тестировщиков. Bugcrowd использует программу «баунти», чтобы стимулировать тестировщиков находить больше ошибок.

Особенности:

• Способен обнаруживать сильные дефекты.
• Предлагает квалифицированное тестирование безопасности и проникновения.

Тип сообщества: Неуправляемое.

Что вам нужно знать: Bugcrowd специализируется на поиске небольшого количества критических ошибок безопасности с помощью системы «баунти», которая поощряет более опытных тестировщиков.

Crashalytics

Crashalytics предназначен для предоставления расширенных отчётов о сбоях для приложений iOS и Android. Это достаточно лёгкий продукт, не создающий большой нагрузки на сеть.

Особенности:

• Лёгкая интеграция с приложениями, которые требуют тестирования.
• Обновления в режиме реального времени.
• Бесплатно для большинства случаев использования.

Что вам нужно знать: Crashalytics сообщает о сбоях в мобильных приложениях в режиме реального времени. Он был приобретён Twitter в 2013 году.

Цены: Это программное обеспечение является бесплатным.

Crowdar

Crowdar предоставляет управляемые сообщества, которые предлагают функциональное тестирование и тестирование производительности, а также управление тестированием и автоматизацию тестирования.

Особенности:

• Комплексные услуги тестирования.
• Конкурентное ценообразование.

Тип сообщества: Управляемое.

Что вам нужно знать: В основном Crowdar выполняет мелкомасштабные работы, предоставляя комплексные услуги тестирования через назначенного сотрудника.

CrowdSourced Testing

CrowdSourced Testing обеспечивает функциональное тестирование, тестирование локализации и юзабилити для сайтов, мобильных приложений (iOS, Android и Windows), видеоигр и программного обеспечения. Он использует глобальную сеть из более 45 000 профессиональных тестировщиков со средним опытом работы более 6 лет.

Особенности:

• Сеть опытных тестировщиков.
• Обеспечение тестирования для широкого спектра потребностей (мобильные приложения, сайты, программное обеспечение, видеоигры).

Тип сообщества: Управляемое.

Что вам нужно знать: CrowdSourced Testing предлагает функциональное тестирование и тестирование юзабилити с упором на UX и тестирование локализации.

Цены: От 49$ за платформу. Посмотреть цены можно здесь.

Upwork

Описание: Upwork предоставляет большую сеть фрилансеров для любого количества требований к тестированию. Upwork — это не сообщество, специализирующееся на тестировании, но оно может похвастаться большой сетью фрилансеров. С помощью Upwork компании публикуют описание работы, фрилансеры подают заявки, и компании могут выбирать фрилансера на основе таких факторов, как навыки, проектное предложение и цены.

Особенности:

• Крупнейшая сеть фрилансеров, специализирующихся на тестировании, маркетинге и т.д.

Тип сообщества: Неуправляемое.

Что вам нужно знать: Upwork (ранее Elance-Odesk) обладает сетью из более 3 000 000 000 фрилансеров. Лишь небольшая часть из них специализируется на тестировании программного обеспечения. Тем не менее Upwork до сих пор входит в число крупнейших сетей фрилансеров.

LionBridge

LionBridge предлагает управляемые и традиционные QA-сервисы, а также тестирование мобильных приложений и игр. LionBridge использует как лабораторное автоматизированное тестирование, так и практическое тестирование местоположения.

Особенности:

• Обширная сеть тестировщиков.

Тип сообщества: Управляемое.

Что вам нужно знать: LionBridge предлагает сеть из более 140 000 краудсорсеров, однако только часть этих людей являются тестировщиками.

MyCrowd

Описание: MyCrowd позволяет проводить массовое функциональное и исследовательское тестирование сайтов и мобильных приложений, а также шаблонное тестирование электронной почты. MyCrowd имеет сеть из 25000 тестировщиков из 40 стран.

Особенности:

• Предлагает индивидуальные решения.
• Обеспечивает тестирование мобильных устройств и сайтов.

Тип сообщества: Неуправляемое.

Что вам нужно знать: MyCrowd предоставляет относительно небольшое сообщество тестировщиков, при этом уделяет основное внимание тестированию сайтов и мобильных приложений.

Цены: Тарифные планы начинаются с 23$ в час. Узнать подробности можно здесь.

passbrains

Passbrains обеспечивает массовое тестирование совместимости, функциональности, локализации, нагрузки, производительности, юзабилити и безопасности. Он предлагает доступ к сообществу, созданному частной компанией, или к сообществу passbrains, где тестировщики отобраны на основе многочисленных факторов, включая навыки и местоположение.

Особенности:

• Хорошо зарекомендовал себя.
• Имеет большую базу талантливых тестировщиков со всего мира.
• Предоставляет полный набор решений для управляемого тестирования.

Тип сообщества: Управляемое.

Что вам нужно знать: Passbrains даёт возможность осуществлять крауд-тесты для широкого спектра потребностей.

Цены: Тарифные планы начинаются с 990€. Узнать подробности можно здесь.

PeoplePerHour

PeoplePerHour — это сеть фрилансеров, включая тестировщиков программного обеспечения. PeoplePerHour позволяет компаниям размещать вакансии и проверять соискателей или искать фрилансеров напрямую, основываясь на навыках, ставках и т.д.

Особенности:

• Широкий выбор фрилансеров, готовых выполнить тестирование для обеспечения качественного приложения.

Тип сообщества: Неуправляемое.

Что вам нужно знать: PeoplePerHour — посредник в поиске фрилансеров. Предоставляет гарантированно хороших тестировщиков, но проектами не управляет.

Revolution IT

Revolution IT обеспечивает управляемое краудсорсинговое тестирование облачных, веб, мобильных и игровых приложений с целью проверки их функциональности, удобства использования, совместимости и безопасности. Revolution IT — австралийская компания со 100 000 штатом тестировщиков по всему миру. Она предлагает интеграцию с различными инструментами тестирования, такими как JIRA и Quality Center, а также совместную работу с HP AppPulse.

Особенности:

• Интегрируется с различными инструментами тестирования.
• Обеспечивает видимость хода выполнения теста в режиме реального времени.

Тип сообщества: Управляемое.

Что вам нужно знать: Revolution IT предоставляет множество возможностей для массового тестирования и интеграции.

TestFairy

TestFairy проводит массовое тестирование исключительно мобильных iOS- и Android-приложений с помощью видеозаписей, лог-журналов и отзывов пользователей. TestFairy также предлагает отчёты о сбоях и страницы сообщества.

Особенности:

• Интеграция с JIRA, GitHub, NetBeans и другими инструментами отслеживания ошибок.

Тип сообщества: Управляемое.

Что вам нужно знать: TestFairy предоставляет видеозахват всего тестирования, включая статистику.

Цены: Тарифные планы начинаются с 79$ за месяц. Посмотреть цены можно здесь.

Topcoder

Предоставляет краудсорсинг для проектирования и создания прототипов, разработки приложений, алгоритмов и аналитики, а также модернизации приложений. Topcoder может похвастаться сообществом из 1 000 000 000 пользователей.

Особенности:

• Хорошо налаженная и разветвлённая сеть.
• Предлагает квалифицированное тестирование безопасности и проникновения.

Тип сообщества: Управляемое.

Что вам нужно знать: Topcoder имеет большую, хорошо налаженную сеть тестировщиков, хотя тестирование — не единственное, на чём он фокусирует своё внимание.

Новые инструменты тестирования программного обеспечения

Эти инструменты пока ещё не совсем готовы к тому, чтобы попасть в наш список, но они определённо заслуживают вашего внимания.