Тестирование

В вакансиях пишут, что нужен навык A/B-тестирования. Как его получить, если я еще не работаю с продуктом?

Попробовать освоить самостоятельно. 

Если навык нужен для вакансии начинающего специалиста, скорее всего, вас не будут оценивать по количеству проведенных A/B-тестов

Работодателю важно, чтобы вы понимали принцип работы инструмента и знали, как его настроить. Так ему не придется учить вас с нуля

Потренироваться на Pet Project. Можно запустить собственный проект — личный блог или трекер привычек — и провести A/B-тест какой-нибудь фичи. Это хороший способ потренироваться настраивать тестирование. 

Ограничения способа: Проанализировать результаты, скорее всего, не получится. На старте у вас будет мало трафика, а значит небольшая выборка для эксперимента.

Поработать на фрилансе. Пополнить портфолио реальными кейсами можно, если найти небольшие заказы на бирже. 

Ограничения способа: Заказчикам важен не только сам результат, но и доверие к этому результату. Поэтому нужно постараться, чтобы найти заказ, который отдадут новичку без опыта. Для этого первое время придется ставить цену на свои услуги ниже рыночной. Ее можно будет повысить, когда наберетесь достаточно опыта, получите отзывы и положительный рейтинг на биржах.

Обратиться к специалистам с предложением помощи. Можно найти специалиста по A/B-тестированию в своем окружении или за его пределами и попросить его передать вам часть задач. 

Ограничения способа: Далеко не все откликнутся на ваше предложение, а те, кто откликнутся, скорее всего, предложат символическую оплату ваших услуг или не заплатят вообще. Не расстраивайтесь и помните, что ваша цель — получить опыт, а не заработать.

Пройти курсы. Необязательно искать курс только по A/B-тестам. Можно пройти более объемную тему и разобраться сразу в нескольких смежных вопросах. 

Ограничения способа: Теорию можно освоить и самостоятельно, поэтому выбирайте курсы, где обучение построено на кейсах.

Для чего это нужно?

Любые интерфейсы, которые взаимодействуют с клиентом, имеют разные составные элементы, которые можно улучшать, чтобы клиент превратился из потенциального в действительного.

Как понять – улучшать?

Изначально почти нет чётких критериев хорошего, эффективного инструмента онлайн-продаж. Рассмотрим методологию на примере сайтов. Конечно, известны элементарные правила в духе того, что салатовый текст на красном фоне – не самое профессиональное решение. Или, скажем, кнопка «купить» должна быть по размеру больше, чем курсор мыши. Но если не брать в расчёт азы, а пойти в сторону гроус-хакинга, то правильных ответов становится всё меньше, а потребности в тестах – больше.

Вряд ли опытный маркетолог даст однозначный ответ, стоит ли перекрашивать CTA на вашей продающей странице из фиолетового в синий или добавлять новое поле в лид-форму. Во многих случаях рекомендацией будет проведение Аб-теста, и это абсолютно взвешенное решение.

Аудитории из разных регионов и источников, разного пола и возраста, в разное время дня и года могут непредсказуемо отличаться по поведению. Факторов насчитывается тысячи, и именно поэтому необходимо проводить исследования на практике.

Главная деятельность тестировщиков

заключается в том, что они предоставляют участникам проекта по разработке программного обеспечения отрицательную обратную связь о качестве программного продукта.

«Отрицательная обратная связь» не несет какой-то негативный оттенок, и не означает, что тестировщики делают что-то плохое, или что они делают что-то плохо. Это просто технический термин, который обозначает достаточно простую вещь.

Но эта вещь очень значимая, и, наверное, единственная наиболее значимая составляющая деятельности тестировщиков.

Существует наука — «теория систем». В ней определяется такое понятие как «обратная связь»:

«Обратная связь» это некоторые данные, которые с выхода попадают обратно на вход, или какая-то часть данных, которые с выхода попадают обратно на вход. Эта обратная связь может быть положительной и отрицательной.

Считается, что положительная обратная связь прибавляется к входному сигналу, то есть, она усиливает входной сигнал. А отрицательная обратная связь входной сигнал ослабляет.

И та, и другая разновидности обратной связи равноценно важны.

Отрицательная обратная связь стабилизирует систему благодаря тому, что она ослабляет входной сигнал.

Положительная обратная связь, усиливая входной сигнал, приводит к тому, что он становится все сильнее и сильнее, и может возрастать неограниченно. Неограниченное возрастание входного сигнала может привести к разрушению системы.

Постоянное ослабление входного сигнала может привести к тому, что система просто затухает и становится стабильной, но входной сигнал становится равным нулю.

Для того, чтобы система приносила какую-то пользу, у нее должна быть одновременно и положительная обратная связь, которая усиливает входной сигнал, и отрицательная обратная связь, которая регулирует его мощность и не дает ему стать слишком сильным, иначе система разрушится.

В разработке программных систем положительной обратной связью, конечно же, является какая-то информация, которую мы получаем от конечных пользователей. Это запросы на какую-то новую функциональность, это увеличение объема продаж (если мы выпускаем качественный продукт).

Отрицательная обратная связь тоже может поступать от конечных пользователей в виде каких-то негативных отзывов. Либо она может поступать от тестировщиков.

Чем раньше предоставляется отрицательная обратная связь, тем более слабый сигнал ей еще нужно модифицировать, и поэтому тем меньше энергии необходимо для модификации этого сигнала. Именно поэтому тестировать нужно начинать как можно раньше, на самых ранних стадиях проекта, и предоставлять эту обратную связь и на этапе проектирования, и еще, может быть, раньше, еще на этапе сбора и анализа требований.

Функциональное тестирование

Под функциональным тестированием понимается проверка соответствия программного продукта функциональным требованиям, указанным в техническом задании на создание это продукта.
Если говорить проще, то при функциональном тестировании проверяется выполняет ли программный продукт все функции, которые должен.

Итак, Вы таки решились провести функциональное тестирование. Вы заглядываете в техническое задание, читаете функциональные требования и понимаете, что по крайней мере они расположены не в том порядке, в каком можно производить тестирование. Вы будете удивлены, что еще достаточно давно другие уже заметили это несоответствие и придумали как его преодолеть.

Для проведения функционального тестирования персоналом отдела технического контроля разрабатывается документ программа и методика испытаний функционала приложения (ПМИ). Документ ПМИ содержит перечень сценариев тестирования программного продукта (test cases) с подробным описанием шагов. Каждый шаг сценария тестирования характеризуется действиями пользователя (специалиста по тестированию) и ожидаемыми результатами – ответной реакции программы на эти действия. Программа и методика испытаний обязана имитировать эксплуатацию программного продукта в реальном режиме. Это означает, что сценарий тестирования должен быть построен на основе анализа операций, которые будут выполнять будущие пользователи системы, а не быть искусственно составленной последовательностью понятных только разработчику манипуляций.

Обычно, функциональное тестирование проводится на двух уровнях:

• Компонентное (модульное) тестирование. Тестирование отдельных компонентов программного продукта, сфокусированное на их специфике, назначении и функциональных особенностях.
• Интеграционное тестирование. Данный вид тестирования проводится после компонентного тестирования и направлен на выявление дефектов взаимодействия различных подсистем на уровне потоков управления и обмена данными.

Похожие термины:

• система унифицированного контроля знаний, умений и навыков на основе педагогических тестов, стандартизированных процедур проведения тестового контроля, обработки, анализа и представления резул

• одна из форм итоговой аттестации обучающихся в организациях общего среднего образования, совмещенной со вступительными экзаменами в организации образования, дающей послесреднее или высшее обра

• компонент образовательного электронного издания, функционирующего на базе средств ИКТ, являющийся аналогом традиционного тестирования. В случае электронного тестирования осуществляется предъ

• форма экзамена, проводимого одновременно по нескольким учебным дисциплинам с применением информационных технологий;

• Форма контроля знаний и речевых навыков и умений с помощью аппаратно-программных средств тестирования и заложенных в них тестов. Тестирование проводится по программе, включающей группу заданий,

• систематическое применение тестов для количественного измерения психофизических показателей способностей, а также для прогноза психологических проявлений.

• Маркетинговый инструмент, используемый для оценки и управления эффективностью веб-страницы. Он позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнив

• вид компьютерного тестирования, при котором тестовые задания с известными характеристиками последовательно изображаются на экране компьютера, а уровень подготовленности испытуемого со все воз

• методологическая основа диагностики уровня здоровья. В зависимости от возможностей исследователя и задач исследования при Ф. т. используют дозированные нагрузки на велоэргометре, различные вари

• педагогическое тестирование с целью измерения уровня подготовленности абитуриентов ВУЗов.

• педагогическое тестирование, предназначенное для оценивания уровня подготовленности каждого испытуемого персонально (безотносительно к успехам других) в четко определенной области знаний.

• педагогическое тестирование по окончании обучения определенного уровня, как правило, основного и полного среднего образования с целью сопоставления уровня подготовленности учащихся с образова

• одна из форм контроля, применяемого для выявления соответствия критериальным показателям качества производственного обучения. Тестирование качества выполнения учебно-производственных работ и

• . Тесты для контроля качества усвоения знаний и умений разрабатываются на четыре уровня, в соответствии с выделенным уровнем усвоения учебного материала (см. Уровни качества усвоения знаний и уме

• педагогическое тестирование на компьютере под управлением специальной программы, обеспечивающей нужную презентацию тестовых заданий и обработку результатов тестирования.

• педагогическое тестирование, при котором носителем содержания теста служит бланк определенного образца; дополняется соответствующим бланком ответов.

• педагогическое тестирование, предназначенное для сопоставления уровня подготовленности испытуемых в определенной области знаний относительно друг друга или относительно нормативной выборки.

• совокупность методических и организационных мероприятий, обеспечивающих разработку педагогических тестов, подготовку и проведение стандартизованной процедуры измерения уровня подготовленнос

• педагогическое тестирование с целью измерения уровня подготовленности испытуемых в определенной области знаний, соответствующей законченной теме или разделу учебной дисциплины.

• Тесты на так называемый «коэффициент интеллекта» (или ума) включают целую серию вопросов, задач, головоломок и сложных заданий и показывают общий уровень, на котором выполняет задания ребенок К

Определите цели

Определите основные бизнес-задачи вашей компании и убедитесь, что цели A/B-тестирования с ними совпадают.

Пример: Допустим, вы менеджер продукта в «компании X» на стадии стартапа. Руководству нужно добиться роста количества пользователей. В частности, компания стремится к росту количества активных пользователей (метрика DAU), определяемых как среднее количество зарегистрированных пользователей сайта в день за последние 30 дней. Вы предполагаете, что этого можно добиться либо путем улучшения показателей удержания (процент пользователей, возвращающихся для повторного использования продукта), либо путем увеличения числа новых регистрирующихся пользователей.

В процессе исследования воронки вы замечаете, что 60% пользователей уходят до завершения регистрации. Это означает, что можно повысить количество регистраций, изменив страницу регистрации, что, в свою очередь, должно помочь увеличить количество активных пользователей.

Scrum

Scrum — Часть методологии Agile, итеративный инкрементный фреймворк, созданный для управления процессом разработки ПО. Согласно принципам Scrum, команда тестировщиков должна участвовать в следующих этапах:

• Участие в Scrum планировании
• Поддержка в юнит-тестировании
• Тестирование пользовательских историй
• Сотрудничество с заказчиком и владельцем продукта для определения критериев приемлемости
• Предоставление автоматического тестировании

Более того, участники QA-отдела должны присутствовать на всех ежедневных собраниях, как и другие члены команды, чтобы обсудить, что было протестировано и сделано вчера, что будет протестировано сегодня, а также общий прогресс тестирования.

В то же время принципы Agile методологии в Scrum к появлению специфических особенностей:

• Оценка усилий, необходимых для каждой пользовательской истории является обязательной
• Тестировщик должен быть внимательным к требованиям, поскольку они могут постоянно изменяться
• Риск регрессии возрастает вместе с частыми изменениями в коде
• Одновременность планирования и выполнения тестов
• Недопонимание между членами команды в случае если требования заказчика не до конца ясны

Узнайте больше о методологии Scrum из предыдущей статьи.

Основные задачи тестирования

Еще несколько терминов, которые связаны с упомянутыми двумя задачами, которыми занимается тестировщик, это стимулы, реакции и оракул.

Стимулы — это данные, которые подаются на вход программе.

Реакции — это то, что получается на выходе.

Оракул — это способ проверки наблюдаемого результата, совпадает он с некоторыми ожиданиями или не совпадает.

Программа представляет собой механизм по переработке информации. На вход поступает информация в каком-то одном виде, на выходе информация в некотором другом виде. При этом входов и выходов у программы может быть много, они могут быть разными, то есть у программы может быть несколько разных интерфейсов, и эти интерфейсы могут иметь разные виды:

• Пользовательский интерфейс (UI)
• Программный интерфейс (API)
• Сетевой протокол
• Файловая система
• Состояние окружения
• События

Наиболее распространенные интерфейсы это

• графический,
• текстовый,
• консольный,
• и речевой.

Через пользовательский интерфейс компьютер взаимодействует с человеком, с пользователем.

Через программный интерфейс программы взаимодействуют друг с другом (человек тут не нужен).

Ну, и можно выделить такие еще разновидности как сетевой протокол, чаще всего тоже для взаимодействия программ друг с другом, но через сеть, а не непосредственно, как это происходит через программный интерфейс.

Это файловая система, программы могут писать данные на диск и читать данные с диска.

Это состояние окружения, которое могут программы модифицировать и, соответственно, тоже читать.

Это события, в частности, таймер. То есть некоторые механизмы отслеживания времени.

Используя все эти интерфейсы, тестировщик каким-то образом создает искусственные ситуации, и проверяет в этих ситуациях как программа себя ведет. Вот это и есть тестирование.

Цели и этапы тестирования ПО

Цели тестирования:

1. Повысить вероятность того, что приложение, предназначенное для тестирования, будет работать правильно при любых обстоятельствах.
2. Повысить вероятность того, что приложение, предназначенное для тестирования, будет соответствовать всем описанным требованиям.
3. Предоставление актуальной информации о состоянии продукта на данный момент.

Этапы тестирования:

1. Анализ
2. Разработка стратегии тестирования и планирование процедур контроля качества
3. Работа с требованиями
4. Создание тестовой документации
5. Тестирование прототипа
6. Основное тестирование
7. Стабилизация
8. Эксплуатация

Виды тестирования сайта

Функциональное тестирование (Functionality testing)

Функциональное тестирование определяется как тип тестирования, который проверяет, что каждая функция П.О. работает в соответствии со спецификацией требования. Это тип тестирования «черного ящика», т. е. этот тип тестирования не требует внутренних знаний о структуре программного обеспечения. Оно проверяет различные аспекты, описанные в документе спецификации требований и спецификации функций.

Тестирование удобства пользования (Usability testing)

С помощью этого вида тестирования проверяются характеристики взаимодействия человека с компьютером с целью выявления недостатков для исправления. Основными характеристиками являются: • Простота обучения. • Навигация. • Субъективное удовлетворение пользователя. • Общий вид. Другими словами можно сказать, что сайт должен быть прост в использовании и достаточно последователен; инструкции должны быть очень четкими; главное меню должно быть предоставлено на каждой странице; содержание должно быть логичным и простым для понимания.

Тестирование интерфейса пользователя (UI testing)

Оно определяется как процесс тестирования графического интерфейса пользователя тестируемого приложения. Тестирование UI включает проверку экранов с помощью элементов управления, таких как меню, кнопки, значки и все типы панелей — панель инструментов, строка меню, диалоговые окна, окна и т. д

Оно помогает ответить на такие вопросы: • Как выглядит интерфейс? • Удобно ли пользователю нажимать на кнопки? • Понятны ли иконки, читабелен ли текст, формат, шрифт? • Какие акценты в каких местах будут располагаться и к чему привлекать внимание? Также при прохождении этого вида тестирования осуществляются проверки на совместимость с разными интернет браузерами и их версиями; как выглядит сайт при разных разрешениях экрана и на различных устройствах (смартфоны, планшеты)

Тестирование производительности (Performance testing)

Веб-приложение должно выдерживать большие нагрузки, поэтому тестирование производительности обычно включает в себя нагрузочное тестирование, стресс-тестирование и тестирование производительности сайта на разной скорости интернет-соединения. При нагрузочном тестировании проверяется насколько много пользователей могут обращаться к одной странице или запрашивать ее. Может ли система выдерживать пиковые нагрузки? Насколько сайт может обрабатывать множество одновременных пользовательских запросов, большие входные данные от пользователей, одновременное подключение к базе данных, большую нагрузку на определенные страницы и так далее. Cтресс-тестирование тестирует за пределами нормальной рабочей точки и оценивает, как система работает в таких экстремальных условиях. Оно проводится, чтобы убедиться, что система не будет аварийно завершать работу в критических ситуациях. Тестирование производительности сайта на разной скорости интернет-соединения проверяет на сколько быстро откликается сайт при разных скоростях соединения.

Тестирование безопасности (Security testing)

Тестирование безопасности определяется как тип тестирования программного обеспечения, обеспечивающий защиту программных систем и приложений от любых уязвимостей, угроз и рисков, которые могут привести к большим потерям. Тестирование безопасности любой системы заключается в обнаружении всех возможных лазеек и слабых сторон системы, которые могут привести к потере информации, доходов, репутации со стороны сотрудников или посторонних лиц Организации. Цель тестирования безопасности — выявить угрозы в системе и измерить ее потенциальные уязвимости, чтобы система не перестала функционировать или использовалась. Это также помогает в обнаружении всех возможных угроз безопасности в системе и помогает разработчикам в устранении этих проблем посредством кодирования. Во время работы над всеми этапами тестирования сайта обязательно должен быть создан документ, где отражены все ошибки, и который далее передается разработчикам для исправления этих ошибок и, после этого проводится повторное тестирование.

Виды тестов

Все тесты — это очень оперативная оценка знаний. Но тесты можно классифицировать на несколько видов.

Традиционный тест позволяет оценить уровень подготовленности испытуемого по тому или иному направлению, это стандартный метод контроля.

Всем испытуемым дают одинаковые задания, которые они должны выполнить за определенное (одинаковое для всех) время.

Такими тестами можно выявить общий уровень развития той или иной области знаний у группы испытуемых, также и индивидуальный уровень сформированности ЗУН каждого обучаемого.

Как правило, традиционные тесты содержат ряд вопросов с вариантами ответов, из которых необходимо выбрать один (или несколько) правильных.

При таком варианте испытуемый может угадать правильный ответ — это минус в тестировании. Но процент угадываемости не слишком велик, поэтому сказать о том, что тесты ненадежны, нельзя.

Нетрадиционный тест можно назвать интегративной оценкой. Такой тест содержит целую систему заданий, усложнящихся по мере выполнения предыдущих. Обычно такие тесты используют во время итоговой диагностики, в виде экзамена.

Задания в таких тестах связывают два или более учебных предмета.

Тут легко прослеживается межпредметная связь. Поэтому правильно выполнить тест могут только подготовленные ученики, которые знают все учебные предметы и могут легко применять свои знания на практике.

Интегративные тесты организуют лишь после интегративного обучения.

Чем можно заменить А/В-тестирование?

Иногда проверить гипотезу проще другими методами. Разберем, что это за методы и в каких ситуациях ими можно заменить A/B-тест.

Юзабилити-тестирование. Этим методом проверяют, насколько интерфейс удобен для пользователей. 

Для исследования не нужно привлекать разработчиков, как в случае с A/B-тестом. Нужно создать новый интерфейс на уровне макетов, собрать интерактивный прототип и пронаблюдать, как пользователи с ним взаимодействуют. Потом выявить возможные проблемы и найти решение. Как тестируют прототипы и анализируют результаты мы рассказывали в статье о UX. 

Fake door тест. Когда разработать фичу — сложно и долго, этим методом можно проверить, нужна ли она пользователям. 

Для этого в интерфейс добавляется кнопка, за которой ничего нет, — fake door — и отслеживается, какой процент пользователей ее нажмет. За fake door обычно размещают сообщение о том, что раздел в разработке. Можно также добавить ссылку на опрос и таким образом собрать дополнительные данные для будущего продукта.

Релиз нового продукта на ограниченную аудиторию. Если есть достаточно времени, то вместо теста можно запустить продукт на один город, район или другую выделенную часть пользователей.

Метод подходит, когда продукт локальный и требуется протестировать большие изменения бизнес-модели, или попробовать совершенно новый продукт. Например, беспилотное такси, которое тестирует Яндекс в одном из районов Москвы. Если результаты будут положительными, можно масштабировать продукт на всю остальную аудиторию.

Синонимы термина «тестирование»

С точки зрения того, что тестирование — это предоставление отрицательной обратной связи, всемирно известная аббревиатура QA (англ. Quality Assurance — Обеспечение качества).

 «Контроль качества» — Quality Control, можно считать в широком смысле синонимом для термина «тестирование», потому что контроль качества это и есть предоставление обратной связи в самых разных ее разновидностях, на самых разных этапах программного проекта.

Итак,

тестирование — это

• проверка соответствия программы требованиям,
• осуществляемая путем наблюдения за ее работой
• в специальных, искусственно созданных ситуациях, выбранных определенным образом.

Отсюда и далее будем считать это рабочим определением «тестирования».

Общая схема тестирования примерно следующая:

1. Тестировщик на входе получает программу и/или требования.
2. Он с ними что-то делает, наблюдает за работой программы в определенных, искуственно созданных им ситуациях.
3. На выходе он получает информацию о соответствиях и несоответствиях.
4. Далее эта информация используется для того, чтобы улучшить уже существующую программу. Либо для того, чтобы изменить требования к еще только разрабатываемой программе.

Это весьма близко к определению, данному в SWEBOK, хотя есть несколько отличий. Например, в нашем определении нет слова «тест».

Определение тестирования по SWEBOK

звучит следующим образом:

Тестирование – это проверка соответствия между реальным поведением программы и ее ожидаемым поведением на конечном наборе тестов, выбранных определенных образом.

А мы с вами говорили о некоторых специальных искусственно созданных ситуациях, выбранных определенным образом. Вот эти специальные, искусственно созданные ситуации, и есть ТЕСТЫ. Чуть позже мы это сформулируем еще более точно в виде определения термина «тест», а пока пойдем дальше.

Madtest

Конструктор для создания квиз-тестов и опросов. Можно создавать тесты как на сайте Meduza.io, больше подойдет для тестирования взрослой аудитории, для медиа и тех, кто размещает тесты и опросы у себя на сайте.

Цена: бесплатный тариф с ограничениями, платный тариф от 1990 рублей в месяц.

Возможности:

• Несколько форматов — тест-викторина и личностный тест.
• Удобный и понятный редактор.
• Персонализированные результаты.
• Большой выбор СТА-действий на странице результатов — кнопки, ссылки на мессенджеры, подборки карточек, подборки товаров.
• Возможность брендирования тестов.
• Разные типы ответов.
• Комментарии к ответам.
• Много аналитики, которую автоматически собирает сервис.
• Созданные тесты можно проходить как по прямой ссылке, так и размещать на вашем сайте или блоге.

В бесплатной версии доступно создание не больше 3 квиз-тестов в месяц, не больше 8 вопросов, а так же закрыт доступ к расширенной статистике по прохождениям. Количество прохождений тестов не ограничено, но вы сможете идентифицировать не больше 10 заявок в месяц.

Обзор сервиса Madtest

https://youtube.com/watch?v=zBi4gqOl1N4

Подготовьте эксперимент

Для того, чтобы тест выдавал корректные результаты сделайте следующее:

Создайте новую версию (B), отражающую изменения, которые вы хотите протестировать.

Определите контрольную и экспериментальную группы. Каких пользователей вы хотите протестировать: всех пользователей на всех платформах или только пользователей из одной страны? Определите группу испытуемых, отобрав их по типам пользователей, платформе, географическим показателям и т. п. Затем определите, какой процент исследуемой группы составляет контрольная группа (группа, видящая версию A), а какой процент — экспериментальная группа (группа, видящая версию B). Обычно эти группы одинакового размера.

Убедитесь, что пользователи будут видеть версии A и B в случайном порядке. Это значит, у каждого пользователя будет равный шанс получить ту или иную версию.

Определите уровень статистической значимости (α). Это уровень риска, который вы принимаете при ошибках первого рода (отклонение нулевой гипотезы, если она верна), обычно α = 0.05. Это означает, что в 5% случаев вы будете обнаруживать разницу между A и B, которая на самом деле обусловлена случайностью. Чем ниже выбранный вами уровень значимости, тем ниже риск того, что вы обнаружите разницу, вызванную случайностью.

Определите минимальный размер выборки. Калькуляторы есть здесь и здесь, они рассчитывают размер выборки, необходимый для каждой версии. На размер выборки влияют разные параметры и ваши предпочтения

Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов.

Определите временные рамки. Возьмите общий размер выборки, необходимый вам для тестирования каждой версии, и разделите его на ваш ежедневный трафик, так вы получите количество дней, необходимое для проведения теста

Как правило, это одна или две недели.

Пример: На существующем сайте в разделе регистрации мы изменим главную страницу — это и будет нашей версией B. Мы решаем, что в эксперименте будут участвовать только новые пользователи, заходящие на страницу регистрации. Мы также обеспечиваем случайную выборку, то есть каждый пользователь будет иметь равные шансы получить A или B, распределенные случайным образом.

Важно определить временные рамки. Допустим, ежедневно на нашу страницу регистрации в среднем приходит трафик от 10 000 новых пользователей, это означает, что только 5000 пользователей могут увидеть каждую версию

Тогда минимальный размер выборки составляет около 100 000 просмотров каждой версии. 100 000/ 5000 = 20 дней — столько должен продлиться эксперимент.

Что делать, если в команде нет аналитика?

Подготовить и провести A/B-тест можно и без аналитика.

Для настройки A/B-теста можно также воспользоваться специальными инструментами:

Google Optimize. У инструмента интуитивно понятный интерфейс. Можно рассчитать основные метрики, а по итогу A/B-теста выгрузить данные в Google Analytics для анализа результатов.

VWO. Этот инструмент поддерживает мультивариантное тестирование и раздельное тестирование URL-адресов. Можно создавать визуал версий без изменения кода через встроенный редактор.

Unbounce. Инструмент подойдет для базового A/B-тестирования. Есть визуальный конструктор и визуальный редактор.

Optimizely. Инструмент поддерживает многостраничные тесты. Тоже есть визуальный редактор, чтобы создавать версии без изменения кода, доступна оптимизация для мобильных приложений.

Проверка совместимости

Нужно проверить:

• Совместимость с браузерами;
• Совместимость с операционными системами;
• Просмотр на мобильных устройствах;
• Параметры печати.

Совместимость с браузерами

Работа некоторых веб-приложений зависит от типа браузера. Сайт должен быть совместим с различной конфигурацией и параметрами разнообразных браузеров.

Верстка сайта должна быть кроссбраузерной. При использовании Java-скриптов и AJAX, обеспечивающего функциональность пользовательского интерфейса, проверки безопасности или валидации создают большую нагрузку на систему.

Проверьте работу веб-приложения в браузерах Internet Explorer, Firefox, Netscape Navigator, AOL, Safari, Opera разных версий.

Совместимость с операционными системами

Некоторые функции веб-приложения могут быть несовместимы с определенными операционными системами. Не во всех из них поддерживаются новые технологии, используемые в веб-разработке. Поэтому проверьте работу приложения в Windows, Unix, MAC, Linux, Solaris и их различных версиях.

Просмотр на мобильных устройствах

Проведите тестирование сайта на мобильных устройствах и проверьте, как просматриваются веб-страницы с помощью мобильных браузеров. Проблемы с совместимостью также могут возникнуть из-за мобильных устройств. Также не стоит забывать о тестировании сайта на разных разрешениях.

Параметры печати

Если вы предусматриваете возможность печати страницы, удостоверьтесь, что шрифты, выравнивание, графика и т. д. отображаются на бумаге должным образом. Страницы должны подходить под размеры, которые устанавливаются в опциях печати.

Подкатегории

Профессиональные тесты (2329 тестов)

• IT и сетевые технологии (187 тестов)
• Автолюбителям (30 тестов)
• Банковская деятельность (35 тестов)
• Бухгалтерия и финансы (190 тестов)
• ГИМС (14 тестов)
• для мигрантов (2 теста)
• Документоведение (32 теста)
• Животноводство и растениеводство (11 тестов)
• Землеустройство и Оценщики (9 тестов)
• Медицина (443 теста)
• Менеджмент (280 тестов)
• НАКС (тесты для сварщиков) (285 тестов)
• Общественное питание (7 тестов)
• Охрана труда (169 тестов)
• Педагогика (175 тестов)
• Соц работа (48 тестов)
• Страхование (9 тестов)
• Строительство и инженерия (22 теста)
• Технический персонал (17 тестов)
• Торговля и маркетинг (77 тестов)
• Туризм (44 теста)
• Частная охрана (ЧОП) (14 тестов)
• Юриспруденция (253 теста)
• Пройти тест «Волоконно-оптические линии связи (ВОЛС). Часть 1» онлайн (100 вопросов)
• Пройти тест «Технология визажа» онлайн (29 вопросов)

Общеобразовательные (2979 тестов)

• Безопасность (34 теста)
• Биология (222 теста)
• География (76 тестов)
• Естествознание (15 тестов)
• Иностранные языки (426 тестов)
• Информатика и ИКТ (224 теста)
• История (316 тестов)
• Культурология (101 тест)
• Лингвистика, филология, языкознание (58 тестов)
• Литература (76 тестов)
• Логика (14 тестов)
• Математика и статистика (222 теста)
• Общественные науки (63 теста)
• Право и обществознание (235 тестов)
• Психология (249 тестов)
• Русский язык (121 тест)
• Социология (69 тестов)
• Страноведение и этнография (40 тестов)
• Физика (135 тестов)
• Физкультура и спорт (30 тестов)
• Философия (52 теста)
• Химия (53 теста)
• Экономика (257 тестов)
• Пройти тест «GMAT» онлайн (75 вопросов)
• Пройти тест «Черчение (7 класс)» онлайн (88 вопросов)

Профессиональные психологические тесты (87 тестов)

• Для коммерческой направленности (5 тестов)
• Для соискателей офисных вакансий (4 теста)
• Для управляющего звена (10 тестов)
• общение (5 тестов)
• темперамент (5 тестов)
• тесты на логику (7 тестов)
• характер (3 теста)
• числовые тесты (2 теста)
• мышление и интеллект (5 тестов)
• прочие тесты (35 тестов)
• Пройти тест «Диагностика учебной мотивации студентов» онлайн (34 вопроса)
• Пройти тест «Методика изучения мотивации обучения Т.И. Ильиной» онлайн (17 вопросов)
• Пройти тест «Методика исследования самоотношения (МИС; С.Р.Пантилеев)» онлайн (110 вопросов)
• Пройти тест «Многоуровневый личностный опросник «Адаптивность» (МЛО-АМ) А. Г. Маклакова и С. В. Чермянина» онлайн (165 вопросов)
• Пройти тест «Социальный тест» онлайн (55 вопросов)
• Пройти тест «Тест Гилфорда, субтест 1. Истории с завершением» онлайн (14 вопросов)
• Пройти тест «Тест Гилфорда, субтест 2. Группы экспрессии» онлайн (15 вопросов)
• Пройти тест «Тест Гилфорда, субтест 3. Вербальная экспрессия» онлайн (12 вопросов)
• Пройти тест «Тест для определения качеств удаленного помощника» онлайн (78 вопросов)
• Пройти тест «Тест на механическую понятливость. Тест Беннета» онлайн (70 вопросов)

Тесты на национальных языках (16 тестов)

• Тести українською (2 теста)
• qazaq tilinde test (7 тестов)
• қазақ тілінде тест (7 тестов)

Инспекции и сквозные просмотры

Инспекции исходного текста и сквозные просмотры являются основными методами ручного тестирования. Так как эти два метода имеют много общего, они рассматриваются здесь совместно. Инспекции и сквозные просмотры включают в себя чтение или визуальную проверку программы группой лиц. Оба метода предполагают проведение подготовительной работы. Завершающим этапом является «обмен мнениями» – собрание, проводимое участниками проверки. Цель такого собрания – нахождение ошибок, но не их устранение (т. е. тестирование, а не отладка). Программа, тестируется не автором, а другими людьми и фактически «инспекция» и «сквозной просмотр» – просто новые названия старого метода «проверки за столом», однако они более эффективны потому что в процессе участвует не только автор программы, но и другие лица. Результатом использования этих методов является, обычно, точное определение природы ошибок. К тому же этим методом можно обнаруживать группы ошибок, что позволяет в дальнейшем корректировать сразу несколько ошибок.