Перезвоните мне

+7 (495) 77-55-145

Сравнение инструментов для A/B тестирования - блог о веб аналитике Keyvision

Сравнение инструментов для A/B тестирования

( веб-аналитика Google Website Optimizer а/б тестирование a/b test )

30 Июля 2012 | Екатерина Семенова

Толчком к выходу за рамки использования GWO стала новость, что его реорганизуют и теперь этот инструмент будет входить в состав Google.Analytics. Сам Google.Analytics получил новый функционал, а наш любимый GWO станет куда мощнее и информативнее.

Еще до появления известий, что GWO перестанет быть самостоятельным продуктом, мы столкнулись с весьма интересной проблемой: GWO не может отслеживать одновременно несколько целей. Тогда мы стали думать: “А нет ли альтернатив у GWO?”.

Оказалось, что они присутствуют, и даже в хорошем количестве. Далее хотелось бы рассказать о впечатлении использования VisualWebsiteOptimizer (VWO) и Optimizely. На момент написания статьи сравнивал исключительно GWO (не будем пока трогать функционал экспериментов в Google.Analytics).

Google.Website Optimizer:

  1.  Бесплатен! ;) и будет бесплатным в составе Google.Analytics;
  2. Умеет проводить A/B и мультивариантные тестирования;
  3. Достаточно прост в настройке и установке кодов (всего 2-3 кода). Инструкция (на мой взгляд) подробна и понятна;
  4. Легко интерпретировать отчеты (рис. 1):
     image00.jpg
    Рис. 1 Пример отчета в Google.Website Optimizer
  5.  Очень сильно не хватает сегментации пользователей, принимающих участие в экспериментах. Приходится каждый раз писать специальные скрипты.

 
VisualWebsiteOptimizer:

  1. Платный (!)
  2. Умеет проводить не только A/B с мультивариантными тестированиями, но и эксперименты со стоимостью заказов (очень интересная вещь для интернет-магазинов) (рис. 2)
    image06.png
    Рис. 2 Возможные типы экспериментов
  3.  Есть интересная особенность - VWO умеет составлять свою собственную тепловую карту кликов. Этот инструмент будет весьма полезен, если в эксперименте задействована какая-то узкая аудитория. Другими словами, если в эксперименте участвует строго определенная аудитория (например, только жители Нижнего Новгорода), то тепловая карта кликов будет составлена только для этой аудитории. Так мы можем увидеть “тепловую” реакцию этой узкой группы. Яндекс.Метрика пока такой возможности не предоставляет;
  4. Что мне понравилось в VWO, так это “визуальный редактор” при настройке вариантов страниц для тестирования (рис 3)
    image05.png
    Рис. 3 Визуальный редактор
    Сильно упрощает жизнь, когда надо внести изменения на страницу. Нет необходимости постоянно просить клиента вносить правки в коды страниц. Все изменения хранятся на сервере инструмента.;
  5.  Я считаю, что еще одним преимуществом данного инструмента является возможность выбора аудитории для проведения эксперимента (рис. 4):
    image04.png
    Рис. 4 Сегментация аудитории эксперимента
    Я свободно могу попросить инструмент показывать тестовый вариант только тем, кто пришел с поиска по поисковому запросу “купить samsung galaxy S3”;
  6.  Гибкость инструмента повышается еще и за счет возможности распределения количества трафика между вариантами. Причем, в произвольном соотношении (конечно, сумма должна быть равна 100%) (рис. 5)
    image02.png
    Рис. 5 Распределяем количество трафика между тестируемыми вариантами
  7. Еще одна “печенька” от разработчиков - это выбор размещения файлов кода самого эксперимента. Какие есть варианты:
    1. Вы вставляете код вида (рис. 6) к себе на страницы сайта и спокойно запускаете эксперимент. Управление экспериментом и дизайном страниц происходит исключительно в интерфейсе VWO;
    2. Вы скачиваете файлы .js к себе на сервер и просто в коде страниц указываете ссылки на них. После каждого изменения в настройках эксперимента или в дизайне страницы вам необходимо будет заново скачать файлы к себе на сервер.
      image01.png
      Рис. 6 Код VWO 

Optimizely:

  1. Тоже платный инструмент (!);
  2. Умеет проводить A/B и мультивариантные тестирования;
  3. Так же, как и в VWO, есть визуальный редактор;
  4. Умеет сегментировать участников экспериментов;
  5. Тоже умеет распределять трафик между вариантами страниц;
  6. Есть существенное отличие с размещением скриптов - вам их выдают в качестве ссылки (они хранятся на сервере инструмента) (рис. 7). Ее просто вставляете в код страниц на сайте:
    image03.png
    Рис. 7 Вариант кода Optimizely
     

И VWO и Optimizely имеют много отличительных черт от GWO (визуальный редактор, сегментация трафика, расположение скриптов), при этом, важная их особенность - это платные инструменты. Однако можно с уверенностью сказать, что при правильном их применении, даже $49 и более, потраченные на эксперименты, могут “отбиться” благодаря увеличению конверсии.

Удачных вам экспериментов! :)


Адрес: Москва, центр дизайна ARTPLAY, ул. Нижняя Сыромятническая, дом 10 (м.Курская)
Тел.: +7 (495) 77-55-145
Email: info@keyvision.ru
KeyVision, 2011-2017. © All Rights Reserved

Дизайн: ijidigital

 
ъ 1