Як запустити ідеальний А / Б-тест

Ми раді повідомити, що в Carrot Quest з'явилася можливість створювати А / Б тести . Це велика подія, і ми дуже сподіваємося, що ви витягне максимум користі з цього інструменту.
У цій статті ми хочемо розповісти, що таке А / Б тести, навіщо вони потрібні, як правильно їх проводити і аналізувати. Загалом, дати інформацію, завдяки якій ви зможете проводити якісні А / Б тести.

Ось найпростіша ілюстрація А / Б тесту: ви хочете з'ясувати, що працює краще - червона або зелена кнопка CTA. Для цього ви ділите свою аудиторію навпіл і показуєте кожній половині різні варіанти повідомлення (групі А повідомлення з червоною кнопкою, групі Б - із зеленою). Потім дивіться на конверсію і оцінюєте, який варіант найбільш успішний. Після можна відключити менш ефективний варіант, а переможця залишити для показу всім користувачам.

Щоб наблизити А / Б тест до наукового експерименту, можна ввести контрольну групу - частина аудиторії, яка зовсім не побачить вашого послання (жоден з варіантів). Так ви зможете перевірити, як зміниться світ без вашого повідомлення (раптом воно тільки знижує конверсію ?!).

Навіщо потрібні А / Б тести? Чому не можна відправляти всім спочатку один лист, а через тиждень інше і порівняти результат

А / Б тести допомагають виключити вплив зовнішніх факторів на кшталт сезонності, рекламних кампаній і днів тижня.

Наприклад, ви провели успішну рекламну кампанію і привели на сайт зацікавлених в продукті лидов. Разом зі збільшенням трафіку можна очікувати підвищення конверсії. Буде некоректно порівнювати ефективність повідомлення, яке відправляється цій групі, з повідомленням для нецільового або зовсім холодного трафіку. Або банально настало літо і конверсія в продаж кондиціонерів стала вище в 2 рази. Точний результат можна отримати, тільки якщо врахувати і мінімізувати вплив подібних зовнішніх факторів.

Повідомлення показуються в один і той же період часу, а люди в кожну з груп (А чи Б) вибираються випадковим чином.

Як бачите, А / Б тести - дуже потужний інструмент маркетолога. Він допомагає постійно поліпшувати вашу комунікацію з користувачем (тестувати і вибирати ті елементи, які з більшою ймовірністю переконають його в вчинити дію, наприклад, покупку).

А / Б тести в Carrot Quest - наш привід для гордості

Будь-яке автосполучення в Carrot Quest може бути А / Б тестом. Ви можете подивитися, як вплинуть на конверсію зміни в поп-апі , листі , повідомленні в чат і навіть при необхідності в скрипті JS.

Створити А / Б тест так само просто, як звичайне автосполучення в Carrot Quest. Просто додайте другий варіант на кроці "Вид і зміст."

Більш того, ви можете порівнювати не тільки лист з листом, спливаюче вікно зі спливаючих вікном, але і різні типи комунікацій: чат з поп-апом, великий поп-ап з маленьким, повідомлення в чат і Javascript і взагалі будь-які інші варіанти поєднань. Перевірте, в якому форматі ваше повідомлення працює найефективніше.

Попап про кинутої кошику конвертує краще, ніж емейл, відправлений в той же самий момент. Швидше за все, це відбувається тому, що користувач бачить його в самий підходящий момент, відразу на сайті, і готовий до дії. З листом складніше, тому що воно може загубитися в його поштовій скриньці або користувач подивиться його в невідповідний момент. Якраз для того, щоб з'ясувати, яка комунікація працює краще, ви можете використовувати А / Б тести Carrot Quest.

Давайте повернемося до А / Б тестів в загальному, щоб зрозуміти, як і навіщо використовувати ці нові можливості.

Що можна тестувати

За ідеєю, ви можете тестувати все, що якось може впливати на поведінку користувачів. Найчастіше А / Б-тести застосовують для вибору кращого елемента на Лендінзі або оптимізації комунікацій (емейлів, попап і повідомлень в чат).

Ось лише частина того, що можна протестувати в повідомленні (майже все з цього підійде для тесту на Лендінзі):

• Тема листа;
• тексти;
• зображення;
• текст на кнопках;
• колір кнопок;
• різні заклики до дії;
• розташування блоків з контентом в листі;
• кнопки у спливаючих вікнах і їх колірні рішення;
• і мн. ін.

Тут вибір обмежується тільки вашою фантазією і здоровим глуздом.

Статистика

Цифри - наше все. Саме по цифрам ви можете визначити, яке повідомлення працює краще і далі використовувати саме його (видаляючи програшний варіант). Для кожного повідомлення можуть бути свої показники успіху. Яке повідомлення перемогло: де більше кліків або відкриттів? Вирішувати тільки вам, адже це залежить від вашої мети. Також ви вирішуєте, коли набереться достатньо даних (досить велика аудиторія користувачів), щоб зробити висновок і зупинити А / Б-тест. Для цього пам'ятайте про таке поняття як розмір вибірки і генеральна сукупність.

Наприклад, якщо в сегмент користувачів, на якому ви проводите А / Б-тест (він не обов'язково збігається з сукупним трафіком сайту!) Щомісяця потрапляє близько 1000 чоловік, то, щоб зробити висновок з імовірністю 95%, в А / Б-тесті повинно взяти участь 278 осіб.

Вам не обов'язково розраховувати аж до кожного користувача і чекати рівно такої кількості учасників тесту, просто уявіть собі приблизне число. Ви повинні розуміти, що, з одного боку, 100 людина буде мало для прийняття рішення, а з іншого боку, немає сенсу затягувати А / Б-тест, чекаючи, коли в тесті візьме участь 500 або 1000 осіб.

Як і завжди, в статистиці ви можете подивитися кількість відправок повідомлення, скільки з них було доставлено, прочитано, скільки читачів відповіли на нього, в скількох перейшли по посиланню, скільки поскаржилися на спам або відписалися.

Дані збираються в зручному вигляді, щоб ви могли оперативно порівняти цифри, а також переглядати динаміку на графіках.

Який варіант вважати виграшним

Повернемося ще раз до думки, що тестувати можна все, що якось впливає на поведінку користувачів. Тобто нам важливо, щоб тестований елемент впливав на цільове дію: реєстрацію, оплату або залишений лід. Правильніше за все оцінювати ефективність А / Б-тесту саме за цими параметрами.

Ось приклад. Яке з листів варто визнати переможцем в А / Б-тесті?

Незважаючи на те, що користувачі краще взаємодіють з першим листом, друге принесло нам більше продажів і, як наслідок, грошей. Відкриття та кліки - це здорово, але дивіться на конверсію в ті дії, які по-справжньому важливі для вас.

Для цієї мети в Carrot Quest ви можете задати мета автосполучення. Детально про важливість цілей ми розповідали в цій статті . Популярність листи не означає, що воно приносить гроші. Але тепер вас не обдурити.

Поширені помилки при проведенні А / Б тестів

1. Відсутність сегментації користувачів

Сегментація - це основа будь-якої якісної кампанії по автоматизації маркетингу . Будь ласка, не надсилайте нерелевантні повідомлення клієнтам. По-перше, це просто може їх відлякати. А по-друге внесе суттєву помилку в результати А / Б-тесту, тому що програло на загальній масі користувачів повідомлення може виявитися виграшним серед цільової аудиторії.

Ми написали багато статей про сегментацію і дуже сподіваємося, що ви користуєтеся хоча б деякими нашими порадами. Ось, наприклад, ці:

2. Занадто маленька аудиторія для А / Б тесту

Вирішуючи провести А / Б тест, вам необхідно мати мінімальне уявлення про статистичні дані, довірчому інтервалі і репрезентативною вибіркою. Очевидно, що чим більше буде аудиторія для А / Б тесту, тим надійніше буде результат. Якщо в тесті взяли участь 4 людини, то голос кожного з них - це цілих 25 відсотків. А якщо учасників було 400 або 4 000, дані, швидше за все, можна вважати репрезентативними. Ви самі вирішуєте, якої аудиторії досить для аналізу і коли припиняти А / Б тест.

3. Занадто багато експериментів в одному

Суть А / Б тесту в тому, щоб з'ясувати, як впливає зміна конкретного елемента на конверсію в цільове дію. Тому важливо міняти не більше одного елемента за раз. Інакше ви не зможете сказати, що вплинуло на успіх листи: котик на зображенні замість собачки або велика червона кнопка CTA замість простої текстової посилання.

У Carrot Quest для одного автосполучення ви можете послідовно налаштовувати необмежену кількість А / Б-тестів. Наприклад, спочатку ви можете протестувати заголовок листа. Як тільки визначте переможця і закінчите тест, можете переходити до тестування CTA, а потім тексту повідомлення.

4. Надія на чужий досвід

Деякі маркетологи хочуть обдурити всіх і не проводити А / Б тест, а відразу подивитися результати якого-небудь кейса і впровадити відразу успішний варіант. Це велика помилка, тому що відрізняється буквально все. Тільки тест покаже, що працює саме у вашому випадку, для вашої аудиторії. Ви з подивом можете виявити, що у вас краще працює зелена кнопка, хоча тільки вчора прочитали кейс, де компанія відмовилася від зеленого на користь червоного і збільшила продажі в 2 рази. Це нормально. Вірте цифрам тесту, а не власному чуттю.

5. Завищені очікування

Цей пункт пов'язаний з усіма попередніми. Багато хто дивиться на кейси успішних компаній і вважають, що А / Б тести неодмінно підвищать конверсію якщо не в два рази, то хоча б відсотків на 30-40. В реальності зовсім не обов'язково це буде так. Варіанти А і Б можуть відрізнятися незначно, наприклад, текстом на кнопці (пам'ятаєте, що один тест - один елемент?). Тому різниця в результатах може бути невелика, але навіть вона заслуговує бути прийнятою до уваги. Це ж результат! Крім того, може знадобитися час, щоб набралася досить велика аудиторія для тесту і показових результатів. Доведеться запастися терпінням і не робити поспішних висновків. Словом, А / Б-тести - це дійсно потужна річ, але варто запастися терпінням і не переоцінювати їх.

крапля натхнення

Ми вже готуємо для вас статтю з цікавими кейсами, в яких показано, яких результатів можна досягти за допомогою А / Б тестів (спойлер: збільшити CTR на 2,5%, кількість кліків на 325% або подвоїти продажі).

Але не забувайте про помилки орієнтації на чужі кейси і завищених очікувань! Навіть якщо ваш А / Б тест показав більш скромні результати, не турбуйтеся: ви все одно стали на крок ближче до мети.

До речі, якщо ви вичитали новий спосіб збільшити конверсію на 100500%, спробуйте протестувати цю раду, порівнюючи його з тим повідомленням, яке у вас вже є (або просто з контрольною групою). Так ви уникнете сліпого наслідування за "кращими".

А поки ось вам пара варіантів того, що можна протестувати:

Експериментуйте з задоволенням! І розповідайте нам про свої результати.

Із задоволенням,
Carrot Quest

5/5 (3)

Будь ласка, оцініть статтю

Автор: Олена Стрункіна

Доношу користь і розповідаю про цінності Carrot quest. З любов'ю, від душі.