Услуги интернет-маркетолога по настройке Яндекс Директа. Этот материал был написан в октябре 2022 года, мы обновили его в ноябре 2022 года: добавили обзор нового инструмента Яндекса для тестирования сайтов — Вариокуба.
Суть А/Б-тестирования довольно проста: вы запускаете два варианта одного и того же объявления или создаете две версии посадочной страницы и смотрите, какая из них лучше работает. Объявления могут отличаться только текстом на кнопке или креативами, сайты — цветом кнопки действия или расположением отдельных блоков.
Как это работает. Одинаковое количество пользователей видит разные варианты объявлений и посадочных, взаимодействует с ними. А потом вы оцениваете, что привлекло больше внимания аудитории: скажем, синяя кнопка или зеленая, блок с формой заявки на первом экране или на всплывающем уведомлении, объявление с кнопкой «Купить курс» или «Посмотреть программу».
Сколько времени нужно на А/Б-тесты. Всё зависит от количества трафика на сайте: нужно тестировать до тех пор, пока вы не соберете достаточно данных для получения результатов со статистической значимостью.
В этом материале мы рассмотрим:
6 инструментов для А/Б-тестов сайта
2 инструмента для А/Б-тестов контекстной рекламы
2 инструмента для А/Б-тестов email-рассылок
Советы специалистов, как грамотно провести A/Б-тесты
6 инструментов для А/Б-тестов сайта
А/Б-тесты сайта нужны, чтобы улучшить его качество и повысить конверсионность. В нашей подборке есть и платные, и бесплатные инструменты для тестирования — каждый найдет подходящий.
Google Оптимизация
По-другому этот инструмент еще называют Google Optimize. Он поможет бесплатно проверить, какие элементы сайта удобнее для пользователей. Когда вы это выясните, сможете внести изменения в сайт и тем самым увеличить его конверсионность.
Что можно сделать:
провести А/Б-тесты всех элементов сайта: цветов, размеров кнопок, картинок, текстов, полей в лид-формах и прочего;
сравнить эффективность двух страниц — например, двух лендингов, на одном из которых больше текста, а на другом — фото;
добавить персональные предложения для разных сегментов аудитории: например, пользователям, которые пришли из ВКонтакте, показать акцию «Скидка 20% за репост закрепленного поста из группы ВКонтакте».
Главный плюс инструмента — в том, что для проведения А/Б-теста вам не придется менять код сайта. То есть можно справиться своими силами и не привлекать разработчиков. А еще можно настраивать аудиторию и выбирать, кто из посетителей сайта будет участвовать в тесте.
Google Оптимизация разработана на основе Google Analytics и работает на его базе. Так что для работы с Оптимизацией не придется заводить новую учетную запись — можно войти через свой аккаунт в Google Analytics.
Стартовая страница Google Оптимизации
Перед началом работы с Google Оптимизацией можно настроить уведомления под себя: например, указать, что вы хотите получать подсказки.
Окно с настройкой уведомлений откроется автоматически после нажатия на кнопку «Начать работу» на странице инструмента
По результатам тестирования можно посмотреть подробные отчеты и решить, нужно ли что-то менять на сайте, и если нужно, то что именно.
Воспользоваться инструментом
Андрей Рожков руководитель отдела аналитики в E-Promo
Для проведения тестов я обычно использую инструмент Google Optimize — он довольно простой и бесплатный. Его плюс — в том, что часто для его внедрения достаточно поработать с Google Tag Manager. Это не отнимает много сил и времени, что действительно важно при нашей работе, ведь нужно решать задачи нескольких клиентов одновременно.
Анна Ергунова веб-аналитик ArrowMedia
С помощью А/Б-тестов можно проверять совершенно различные элементы интерфейса на предмет продающей способности сайта. Обычно перед запуском A/Б-тестирования мы проводим полный юзабилити-аудит сайта. Проверка помогает выявить явные и косвенные недочеты интерфейса и сформулировать гипотезы для теста, которые в дальнейшем мы подтверждаем или опровергаем. Это могут быть как минимальные правки — например, цвет конверсионной кнопки или наличие/отсутствие определенной формы обратной связи, — так и полное изменение карточки товара, корзины, страницы оформления заказа, меню и т. д.
Помимо наличия гипотез важно остановиться на инструментах. Если нужно протестировать цвет кнопок, баннеров, надписей или конверсионность лендингов, то обычно используем сервис Google Optimize. Он достаточно прост в настройке, легко интегрируется с менеджером тегов Google Tag Manager и системой веб-аналитики Google Analytics. С помощью встроенного в сервис редактора можно изменить цвет конверсионной кнопки в два клика.
«1С-Битрикс: Управление Сайтом» + Яндекс Метрика
Здесь мы предлагаем использовать сразу два инструмента в связке: «1С-Битрикс: Управление Сайтом» и Яндекс Метрику. Первый инструмент платный — стоимость от 40 900 рублей и выше (модуль А/Б-тестирования появляется только в этой версии лицензии и тех, что дороже), а второй инструмент бесплатный.
«1С-Битрикс: Управление Сайтом» — это коммерческая CMS-система, внутри которой можно улучшать и оптимизировать сайты. По шести сценариям можно протестировать:
новый дизайн;
главную страницу;
детальные карточки товаров;
страницу корзины;
страницу оформления заказа;
произвольно выбранную страницу.
И после этого на основе отчетов по тестированию можно выбрать наиболее эффективный вариант для показа.
Отчет по А/Б-тестам в «1С-Битрикс: Управление Сайтом»
Воспользоваться инструментом
Зачем тут Яндекс Метрика? Она помогает убедиться, что по результатам тестов вы сможете выбрать наиболее конверсионные варианты на основе данных о визитах. В целом, можно ориентироваться и только на отчеты «Битрикса», но чем больше данных вы соберете и проанализируете, тем лучше.
Анна Ергунова веб-аналитик ArrowMedia
При необходимости проведения более трудозатратного A/Б-тестирования, например, изменения дизайна карточки товара или страницы оформления заказа, мы используем инструменты CMS-системы сайта и систему веб-аналитики Яндекс Метрика. CMS-система «1С-Битрикс: Управление Сайтом» имеет модуль A/Б-тестирования, с помощью которого можно настроить сценарий теста. А для Яндекс Метрики настраивается передача параметров визита. Анализируя полученные данные в Метрике, мы сможем оценить, какой из вариантов теста оказался более конверсионным.
В момент выбора инструмента тестирования нужно чётко понимать механику работы и возможности каждого сервиса, а также учитывать вероятные барьеры в подготовке. В сложных тестах, например, при изменении страниц корзины или каталога, лучше использовать инструменты, которые предлагают сами CMS-системы, потому что без привлечения дизайнеров и разработчиков не обойтись. Если же нужно провести тест цвета конверсионной кнопки, то достаточно использовать Google Optimize, а запуск провести самостоятельно.
Freshmarketer
Это платный инструмент компании Freshworks, который позволяет провести А/Б-тесты для всех элементов сайта. 21 день можно пользоваться им бесплатно в рамках демо, дальше — только за деньги. Стоимость подписки варьируется от $19 до $359 в месяц — в зависимости от опций, включенных в пакет. Например, можно также получить полную автоматизацию маркетинговых процессов и оптимизацию коэффициента конверсии, а не только функционал для А/Б-тестов.
Что можно сделать:
провести А/Б-тесты всех элементов сайта;
создать несколько вариантов страниц сайта;
проанализировать сегменты аудитории;
отследить доходы;
интегрировать тепловые карты и записи сеанса, чтобы лучше понимать, с какими проблемами сталкиваются посетители сайта: какие кнопки, формы или блоки им сложно найти.
Достоинство инструмента — в том, что с его помощью можно вносить как простые изменения (например, на уровне текста), так и расширенные (менять код). Всё это делается в одном редакторе, не нужно использовать сразу несколько инструментов.
Но тем, кто плохо знает английский, придется сложновато — здесь нет встроенного перевода на русский. Хотя в целом можно справиться и с автопереводом Google.
Стартовая страница Freshmarketer
Также в Freshmarketer есть подробные отчеты по результатам тестирования — можно узнать, почему один элемент отработал лучше другого.
Воспользоваться инструментом
Optimizely
Инструмент для крупных компаний, который может работать сразу с большим количеством данных и проводить несколько тестов одновременно. Он платный: цены стартуют от $1000 в месяц, точнее можно узнать, оставив свои контакты на сайте — вам придет письмо с актуальной стоимостью. Его можно протестировать бесплатно, но при этом подключить можно будет только один сайт — в целом, рабочий способ для владельцев бизнеса юзать дорогой инструмент.
Что можно сделать:
одновременно запустить неограниченное количество А/Б-тестов;
персонализировать контент для разных сегментов аудитории;
добавить группы исключений;
использовать искусственный интеллект для прогнозирования аудитории;
настроить таргетинг более чем по 15 критериям;
одновременно работать с контентом всей командой;
получить подробные отчеты по результатам тестов.
Стартовая страница Optimizely
Воспользоваться инструментом
ABTasty
ABTasty тоже создан скорее для крупных компаний, чем для малого или среднего бизнеса, но стоимость подписки у него более доступная, чем у Optimizely — она стартует от $200 в месяц. Точную цену тоже вышлют вам на почту, если вы оставите свои контакты в лид-форме.
Что можно сделать:
провести А/Б-тесты всех элементов сайта в разных версиях — для мобильных и десктопов;
сегментировать пользователей на основе их взаимодействия с сайтом;
добавить на сайт разные виджеты без работы с кодом;
спрогнозировать результаты тестов;
получить подробную отчетность.
Стартовая страница ABTasty
Воспользоваться инструментом
Вариокуб
Это новый инструмент Яндекса, интегрированный в Метрику. Компания представила его в конце ноября 2022 года на конференции «Матемаркетинг». Пока Вариокуб работает в тестовом режиме, но каждый может присоединиться к тестированию, оставив заявку на лендинге. Судя по всему, инструментом можно пользоваться бесплатно.
Что можно сделать:
тестировать разные сайты: от одностраничного лендинга до сайта большой компании;
проводить эсперименты тремя способами: с помощью встроенного визуального редактора, интеграции через API и флаги в коде и через настройку редиректа;
просматривать подробную отчетность по результатам тестов;
на основе результатов тестов прогнозировать, какие изменения положительно скажутся на конверсии и сайте в целом.
Плюс инструмента — в том, что он интегрирован в Метрику. Например, после окончания эксперимента результаты появятся в специальном разделе в Метрике — не придется отдельно заходить в Вариокуб и не нужно будет разбираться с непривычным интерфейсом нового инструмента.
Воспользоваться инструментом
2 инструмента для А/Б-тестов контекстной рекламы
Тестирование объявлений помогает оптимизировать затраты на продвижение и увеличивать эффективность рекламы. В ходе тестов можно найти наиболее удачные варианты объявлений и перераспределить бюджет на них, а неэффективные отключить. Делать это только на основе своих предположений опасно — вы можете считать, что пользователи лучше отреагируют на один текст или креатив, а на деле эффективнее окажется другой. Рассказываем, какие инструменты помогут принять обоснованные решения.
Эксперименты в Яндекс Аудиториях
Это бесплатный инструмент, который доступен всем рекламодателям Директа. Удобно то, что он встроен в Директ — не придется скачивать и осваивать новые программы, настраивать интеграции между сервисами. К тому же, система дает подсказки, а интерфейс интуитивно понятный.
Что можно сделать:
узнать, как влияют друг на друга кампании разных типов;
проанализировать влияние показов рекламы на конверсии на сайте;
сравнить эффективность автоматических стратегий и ручного управления ставками;
получить подробную отчетность по результатам тестирования в Яндекс Директе или Яндекс Метрике.
Всего в Яндекс Аудиториях можно создать до 200 экспериментов и сразу использовать их в Яндекс Директе.
Воспользоваться инструментом
Дарья Никитина менеджер отдела контекстной рекламы департамента перформанс-рекламы в СберМаркетинге
Мы любим тестить все возможные параметры для изменения в РК и в первую очередь сравниваем между собой:
Также, если по схожим продуктам необходимо использовать одну и ту же семантику в рамках одного аккаунта, можно разводить околотематику с помощью A/Б-тестов. Например, для инвестиционного страхования жизни и просто инвестиций. Есть несколько инструментов для контекстной рекламы, позволяющих провести А/Б-тестирование. Для Яндекс Директа — «Эксперименты в Яндекс Аудиториях», в Google Ads — встроенные в интерфейс Drafts and Experiments, а для различных тестирований контента сайта есть Google Optimize.
Сейчас для нас наиболее актуален Яндекс Директ, поэтому чуть подробнее расскажем про него.
В данном инструменте можно делить аудиторию как на равные сегменты, так и на сегменты с разными долями. Когда какие использовать:
сегменты с разными долями используем, когда необходимо получать в одних тестируемых кампаниях больше трафика, чем в других;
равные сегменты — когда сравниваем больше двух текстов, креативов, стратегий и т. д.
Вариант с делением аудитории пополам на два сегмента Вариант с делением аудитории на разные доли Вариант с делением на несколько сегментов с равными долями
Тестировать можно несколько кампаний против нескольких, несколько против одной или одну против одной.
Как мы рекомендуем работать с Экспериментами:
Создавайте сразу два дубля основной кампании, чтобы запускать две чистые кампании без накопленной статистики — так сравнение будет более точным.
Используйте одинаковые настройки для всех параметров, кроме тестируемого.
Отдельно промечайте кампании в названии и с помощью UTM для упрощения сбора статистики.
Останавливайте эксперимент и принимайте решение тогда, когда наберется достаточно статистики и станет видно, что одна из кампаний отработала значительно лучше другой. Корректно оценить результаты поможет «Калькулятор достоверности A/Б-тестирования» Яндекса.
Drafts and Experiments в Google Ads
Google Ads приостановил рекламу для российских рекламодателей и пользователей. Информации о том, когда показы смогут возобновиться, нет. ppc.world продолжит держать своих читателей в курсе ключевых обновлений Google Ads.
Это инструмент, встроенный в рекламный кабинет Google Ads. Он бесплатный и позволяет проводить тесты внутри кабинета.
С его помощью рекламодатели могут менять отдельные настройки в поисковых кампаниях и в рекламе для контекстно-медийной сети и анализировать, что отработало лучше.
Можно:
создать дубли поисковых кампаний и кампаний для контекстно-медийной сети;
частично изменить настройки главной кампании в дублях и запустить А/Б-тесты;
получить подробную отчетность о результатах тестирования;
проанализировать, помогло ли изменение настроек улучшить эффективность рекламы.
Воспользоваться инструментом
2 инструмента для А/Б-тестов email-рассылок
Качество email-маркетинга во многом зависит от того, насколько хорошо маркетолог знает целевую аудиторию и ее поведение: какие письма люди вероятнее прочитают, какие отправят в спам, а какие не просто откроют, но и перейдут по кнопке действия внутри. Лучше понять, какие письма работают, поможет А/Б-тестирование.
Часто специалисты проводят его вручную: отправляют половине базы один вариант письма, другой половине — второй вариант письма, а потом анализируют результаты. Но можно упростить эту работу, используя специальные инструменты.
Калькулятор достоверности А/Б-тестирования от Mindbox
Это бесплатный инструмент, внутри которого есть два встроенных калькулятора:
Для расчета размера выборки. Он поможет понять, сколько людей должно поучаствовать в тесте для получения достоверных результатов.
Для подведения итогов А/Б-тестирования. Он поможет понять, отличаются ли результаты в тестируемых вариантах, какой из них лучше и можно ли считать результаты значимыми.
На странице инструмента есть пояснения, которые помогут вам правильно заполнить все необходимые поля калькуляторов и оценить результаты А/Б-тестов.
Калькулятор поможет с тестированием Open rate, Click rate, конверсии в заказы и других показателей.
Воспользоваться инструментом
Анастасия Сычева руководитель команды email-маркетинга хостинг-провайдера REG.RU
В своей работе мы активно используем подход Growth Marketing, поэтому регулярно проводим А/Б-тесты в email-рассылках. Например, этим летом мы запланировали и провели 11 А/Б-тестов на разных сегментах и всей базе нашей рекламной рассылки (это свыше 900 000 адресов).
Такой подход помогает нам быстро внедрять лучшие практики в жизнь, повышать окупаемость инвестиций (ROI), влиять на конверсию: увеличивать долю пользователей, которые совершают целевые действия.
Что мы тестируем:
варианты темы письма и прехедера,
имя отправителя,
лучшее время и день отправки,
частоту отправки массовых рассылок,
длину письма,
дополнительные кнопки и блоки,
формулировки призывов к действию (CTA),
контент в письмах на разных сегментах аудитории.
Также А/Б-тесты помогают снизить риски при изменениях. Например, в ближайшие месяцы мы запланировали обновление дизайна рассылок, но сначала мы проверим его на тестовой группе. Как пользователи отреагируют на изменения? Как обновления в дизайне повлияют на метрики OR, CTOR, процент отписок, конверсию в заказы?
Когда продвигаешь сложный IT-продукт и работаешь с большим объемом базы, без А/Б-тестов не обойтись. Именно они помогают совершить кратный рост и увидеть зоны роста.
Мы используем в работе Калькулятор достоверности А/Б-тестирования от Mindbox. Сервис очень удобен, так как подходит для тестирования всех основных метрик email-маркетинга:
открываемость писем (Open rate),
количество кликов из письма по отношению к тем, кто открыл письмо (CTOR),
количество отписок по отношению к тем, кто открыл письмо (UTOR),
конверсия в заказы и другие показатели.
Каждый раз перед тем, как запустить тест, мы рассчитываем размер выборки, необходимой для проведения эксперимента. Важно знать, сколько пользователей нужно включить в тестовую выборку, чтобы получить достоверные результаты.
В сервисе как раз есть удобный функционал, в котором можно рассчитать размер выборки, указать средний показатель и ожидаемый абсолютный прирост, процент достоверности и мощности.
Затем на этапе подведения итогов мы опять возвращаемся к сервису Mindbox, чтобы понять, отличаются ли результаты в тестируемых вариантах, какой вариант лучше и можно ли считать результаты значимыми.
В сервисе можно не только увидеть, какой вариант лучше, но и посмотреть процент конверсии и доверительный интервал.
Sendsay
Это российский сервис автоматизации рассылок, внутри которого есть возможность проводить А/Б-тестирование. Инструмент платный, стоимость подписки зависит от того, на какое количество человек вы планируете запускать рассылки. Цена стартует от 660 рублей за месяц.
Что можно сделать:
провести А/Б-тестирование темы письма, имени отправителя, контента, времени отправки или нескольких параметров одновременно;
выбрать процент тестовой группы;
настроить условия тестирования;
получить подробную отчетность по результатам тестов.
Воспользоваться инструментом
Анастасия Сычева руководитель команды email-маркетинга хостинг-провайдера REG.RU
В своей работе мы используем встроенный функционал для А/Б-тестов в сервисе Sendsay. Через Sendsay мы отправляем массовые рекламные рассылки. Раньше, когда мы пользовались самописным решением для отправки рассылок, нам приходилось вручную выгружать адреса, делить их пополам и заново по очереди загружать в систему, чтобы провести А/Б-тест. Это было долго и не очень удобно, особенно, когда нужно оперативно протестировать какую-то фичу.
В Sendsay всё настраивается автоматически в разделе А/Б-тестов. Сервис предлагает выбрать, что именно мы хотим протестировать (тему письма, имя отправителя, контент, время отправки). Также можно настроить процент тестовой группы и условия для победы.
Умные алгоритмы сами выберут вариант-победитель на основе поведения пользователей и отправят на оставшуюся часть аудитории лучшую версию письма.
Например, недавно с помощью Sendsay мы тестировали следующую гипотезу: «Если добавить эмодзи в тему скидочной рассылки, открываемость увеличится на 3%». Так выглядели итоги теста. Оба варианта письма расположены рядом, снизу представлена подробная статистика по каждому письму — это очень удобно и наглядно.
Как грамотно провести А/Б-тесты — советы специалистов
Тестировать вслепую всё подряд не стоит — сначала нужно тщательно проработать гипотезы и решить, как вы будете оценивать результаты тестов. Ответы на вопросы «Как это сделать? И какой должна быть хорошая гипотеза?» — в комментарии практикующего веб-аналитика Андрея Рожкова.
Андрей Рожков руководитель отдела аналитики в E-Promo
В маркетинге очень много работают с тестированием — от посадочных до объявлений, я же по большей части занимаюсь интерфейсами. Однако провести тест — это примерно 20% работы. Куда сложнее понять, что именно нужно тестировать и как измерять результат. Для этого нужно сформировать правильные гипотезы и только потом их тестировать.
В своей работе я придерживаюсь следующего алгоритма:
Провожу исследование продукта и целевой аудитории. Без этого невозможно понять, как работает продукт и какие проблемы клиентов он закрывает. Хорошим решением будет проведение интервью с продактом или фаундером проекта — нужно расспросить их о целях и задачах продукта.
Юзабилити-аудит по инсайтам, полученным на первом этапе. Он позволит выявить проблемные зоны в цепочках конверсии пользователей: не нашел форму оформления заказа, условия доставки и прочее. Уже на этом этапе должны быть сформированы первые гипотезы для улучшения продукта, но тестировать их еще рано.
Опрос и глубинное интервью с респондентами. Самое время проверить гипотезы, полученные во время общения с командой проекта и аудита. На этом этапе необходимо составить опросник для интервью и пообщаться с пользователями. Например, узнать, что для них было удобным при взаимодействии с сайтом, а что нет? Какие ситуации запомнились, когда они не смогли что-то найти или сделать на сайте? Заметили ли они изменения на сайте? Если да, то почему заметили — потому что им стало удобнее пользоваться сайтом или, наоборот, сложнее?
Глубинные интервью надо повторять до тех пор, пока аналитик не сможет предсказать почти все ответы респондентов.
UX/Usability-тестирование. На этом этапе важно убедиться в том, что проблемы, выявленные на прошлом шаге, действительно существуют. Для этого готовим тест-кейсы — это небольшие задания для пользователей: например, найти рецепт борща на сайте с помощью фильтров или скачать прайс-лист. Ищем респондентов из ЦА продукта — тех, кто ни разу не взаимодействовал с продуктом. Часто бывает, что новые пользователи не испытывают проблем тех, кто давно пользуется сайтом: например, при обновлении навигации.
Составление ТЗ на тесты и проведение A/Б-тестирования. Вот теперь, когда у нас готовы ключевые гипотезы, можно проводить тесты.
Хорошая гипотеза должна четко отвечать на следующие вопросы:
Что мы хотим изменить в продукте?
Какая метрика изменится в результате?
На ком мы будем измерять результат?
На сколько изменится нужная метрика?
За какой период мы получим данные?
Удачи вам с A/Б-тестами и не забывайте правильно генерировать гипотезы!
Полезные материалы по теме:
A/Б-тесты на сайте: что можно тестировать и как получать достоверные результаты
А/Б-тестирование на маркетплейсах: что тестировать и как провести тест
А/Б-тестирование в Яндекс.Директе: как провести и где брать идеи
Стартовая страница Google Оптимизации
Комментарии