Про A/B тести: 10 000 версій Facebook, як генерувати ідеї, як проводити, що не варто робити, корисні фреймворки

A/B-тестування є потужним інструментом для маркетологів і власників веб-сайтів, оскільки дозволяє їм приймати рішення на основі даних про те, як покращити свій веб-сайт. Порівнюючи дві версії веб-сайту, A/B-тестування дозволяє маркетологам визначити, яка версія працює краще з точки зору залучення, конверсії або інших важливих показників. Це дозволяє їм приймати обґрунтовані рішення про те, як покращити свій веб-сайт і, зрештою, збільшити конверсію та дохід. Це про пошук точок росту, це одна з основ росту бізнесу.

Великі компанії, такі як Facebook, Google і Amazon, підходять до A/B-тестування дуже методично і на основі даних. Зазвичай вони мають великі команди аналітиків даних та інженерів, які відповідають за проведення A/B-тестів та аналіз результатів. Вони також мають доступ до великих обсягів даних і передових інструментів, які дозволяють їм проводити широкомасштабні A/B тести з високим ступенем точності.

Наприклад, Facebook відомий своїми широкими практиками A/B-тестування. Вони проводять тисячі тестів щороку, щоб покращити свої продукти, і мають спеціальну команду інженерів, які відповідають за проведення та аналіз результатів цих тестів. Це дозволяє їм приймати рішення на основі даних про те, як покращити свої продукти і, зрештою, підвищити залученість користувачів і дохід.

Марк Цукерберг в одному з інтерв’ю зізнався, що успіх FB криється в їхній унікальній системі тестування, чим підприємець дуже пишається: “У будь-яку секунду у світі працює не одна версія FB, а близько 10,000”.

У Google також є велика команда аналітиків та інженерів, які проводять A/B-тести на різних аспектах своїх продуктів, таких як результати пошуку, розміщення реклами та цільові сторінки. Це дозволяє їм постійно вдосконалювати свої продукти і зберігати позицію однієї з найпопулярніших пошукових систем у світі.

Amazon – ще одна компанія, яка проводить масштабне A/B-тестування. Вони тестують все – від цін на продукти до цільових сторінок, щоб переконатися, що надають своїм клієнтам найкращий можливий досвід.

Джефф Безос одного разу сказав: “Успіх Amazon залежить від того, скільки експериментів ми зможемо провести на рік, на місяць, на тиждень, на день”.

Отже, A/B-тестування – це крутий спосіб, який дозволяє компаніям приймати рішення на основі даних про те, як покращити свій веб-сайт і продукти. Великі компанії, такі як Facebook, Google та Amazon, підходять до A/B-тестування методично та на основі даних, використовуючи великі команди аналітиків та інженерів, а також великі обсяги даних та сучасні інструменти для проведення масштабних A/B-тестів з високим ступенем точності.

Як генерувати ідеї для A/B-тестування на сайті

1. Проаналізуйте свої дані: Подивіться на аналітику вашого веб-сайту, щоб визначити області, де користувачі відмовляються або стикаються з проблемами. Ці області можуть дати уявлення про те, що потрібно протестувати.
2. Подивіться на конкурентів: Проаналізуйте веб-сайти ваших конкурентів, щоб побачити, що вони роблять добре, а що погано. Ви можете використовувати цю інформацію, щоб придумати ідеї для тестів на власному сайті.
3. Подивіться сайти з суміжних та зовсім чужих ніш: деколи око замилюється, тому що в ніші зазвичай є певні стандарти, устої, які не міняються роками. Саме тому, важливо дивитись, а що там в інших нішах. Повірте, інколи вдається знайти дуже круті речі.
4. Отримуйте відгуки від користувачів: Попросіть користувачів залишити відгук про ваш сайт. Це можна зробити за допомогою опитувань, користувацького тестування або фокус-груп. Використовуйте цей зворотній зв’язок, щоб визначити області вашого веб-сайту, які потребують поліпшення, і придумати ідеї для тестів.
5. Використовуйте теплові карти: Використовуйте інструменти теплових карт, щоб зрозуміти, як користувачі взаємодіють з вашим сайтом. Це може допомогти вам визначити області вашого веб-сайту, які потребують поліпшення, і придумати ідеї для тестів.
   Ось декілька інструментів для цього: Hotjar, Lucky Orange, Mouseflow.
6. Мозковий штурм: Зберіть групу людей, включаючи дизайнерів, розробників та інших маркетологів, і проведіть мозковий штурм ідей для тестів.
7. Використовуйте найкращі практики: Ознайомтеся з кращими галузевими практиками і подивіться, як ви можете застосувати їх на своєму веб-сайті.
8. Тестуйте різні елементи: Тестуйте різні елементи вашого сайту, такі як заголовки, зображення, заклики до дії, макети та кольорові схеми. Розберіть свою сторінку на дрібні частиини і спробуйте подумати над зміною того чи іншого елементу. Ви можете бути здивовані, але навіть дрібний елемент може повпливати на конверсію.
9. Тестуйте різні цілі: Тестуйте різні цілі, такі як збільшення конверсії, підвищення залученості або зниження показника відмов.

Важливо пам’ятати, що A/B-тестування – це циклічний процес, тому важливо постійно тестувати і вдосконалювати свій сайт, щоб покращити його ефективність.

Як проводити A/B тести

A/B-тестування крута річ, але важливо проводити їх правильно, щоб уникнути спотворення результатів і прийняття рішень на основі неточних даних. Дотримуючись навіть цих простих кроків, що описані нижче, ви зможете бути більш впевнені, що ваше A/B-тестування проводиться правильно, а його результати будуть точними і корисними для прийняття рішень.

1. Визначте мету тесту: Перед початком тестування ви повинні мати чітке уявлення про те, чого ви сподіваєтеся досягти за допомогою тесту. Це може бути збільшення конверсії, покращення залученості або зменшення показника відмов.
2. Виберіть елементи для тестування: Вирішіть, які елементи вашого веб-сайту ви хочете протестувати. Це можуть бути заголовки, зображення, заклики до дії, макети і колірні схеми. Найкраще тестувати по одній змінній за раз, щоб забезпечити точні результати.
3. Створіть гіпотезу: Після того, як ви визначили мету тесту і елементи, які хочете протестувати, створіть гіпотезу про те, яких результатів ви очікуєте.
4. Визначте розмір вибірки: Визначте, скільки відвідувачів буде включено в тест. A/B-тести потребують великого розміру вибірки, щоб забезпечити точні результати. З цим допоможуть калькулятори, їх доволі багато: https://www.abtasty.com/sample-size-calculator/, https://www.evanmiller.org/ab-testing/sample-size.html.
5. Виберіть тривалість тесту: Вирішіть, як довго триватиме тест. A/B-тести повинні тривати тиждень-два, а краще довше. Правильніше сказати, що має пройти декілька бізнес циклів. Враховуйте святкові дні, вихідні, різні події які можуть повпливати.
6. Налаштуйте тест: Після того, як ви склали план, налаштуйте тест за допомогою таких інструментів, як Google Optimize або Optimizely.
7. Моніторинг тесту: Протягом усього часу проведення тесту слідкуйте за ним, щоб переконатися, що все працює без збоїв і немає жодних технічних проблем.
   Проаналізуйте результати: Після завершення тесту проаналізуйте результати і прийміть рішення на основі отриманих даних.
8. Вживайте заходів: На основі результатів тесту прийміть рішення про те, яку версію сайту або сторінки впроваджувати далі.
9. Проводіть A/A тестування: Проводиться для того, щоб переконатися, що процес A/B-тестування працює правильно. Під час А/А-тесту одну і ту ж версію сторінки показують двом різним групам користувачів. Якщо результати не є статистично значущими, це означає, що процес тестування працює правильно.
10. Постійно тестуйте: A/B-тестування – це циклічний процес, тому важливо постійно тестувати і допрацьовувати свій сайт для покращення його продуктивності.

Найпоширеніші помилки при проведенні A/B тестів

A/B тестування інструмент то потужний, але важливо правильно використовувати його, щоб уникнути викривлення результатів і прийняття рішень на основі неточних даних і як наслідок втрат для бізнесу.

8 анти-порад при проведенні A/B-тестів, або чого не варто робити:

Тестування занадто великої кількості змінних одночасно: При тестуванні декількох елементів вашого сайту може бути складно визначити, яка саме зміна призвела до конкретного результату. Найкраще тестувати по одній змінній за раз, щоб забезпечити точні результати. На цей момент і дійсно можна забити, коли є потреба зробити результат швидко, розібратись можна пізніше, але це буде складно.

Недостатньо великий розмір вибірки: A/B-тести потребують великого розміру вибірки, щоб забезпечити точні результати. Якщо розмір вашої вибірки занадто малий, ви не зможете зробити точні висновки на основі даних. Часто це і є основною проблемою кривих тестів.

Недостатньо тривалий період тестування: Важливо проводити тести протягом досить тривалого періоду часу, щоб гарантувати точність результатів. A/B-тести повинні тривати щонайменше тиждень, а краще довше.

Не використовувати калькулятор статистичної значущості: Важливо використовувати калькулятор статистичної значущості, щоб переконатися, що результати вашого тесту є статистично значущими, а не просто випадковими.

Відсутність чіткої гіпотези: Перед початком тестування ви повинні мати чітку гіпотезу про те, яких результатів ви очікуєте і чого сподіваєтеся досягти за допомогою тесту. Це допоможе вам правильно інтерпретувати результати. От тут багато хто пливе.

Не враховувати зовнішні фактори: A/B-тестування повинно проводитися в контрольованому середовищі, вільному від зовнішніх факторів, які можуть вплинути на результати, таких як свята або спеціальні події.

Не діяти на основі результатів: Після тестування важливо проаналізувати результати і прийняти рішення на основі отриманих даних. Бездіяльність на основі результатів – це марна трата часу і ресурсів.

Відсутність моніторингу тесту: Важливо стежити за ходом тесту протягом усього часу його проведення, щоб переконатися, що все йде гладко і не виникає технічних проблем.

Виглядає все просто, але в реальності завжди багато нюансів, пов`язаних насамперед з технічними навичками команди, сайтів та CMS, аналітики та правильності налаштування.

Фреймворки для A/B тестувань

Існує багато фреймворків, які можна використовувати для A/B тестування, кожен з яких має свої сильні та слабкі сторони. Фреймворки допомогають пріоритезувати,  систематизувати та оптимізувати процес A/B тестування. Рано чи пізно, але всі приходять до них.

Запам`ятайте як золоте правило, кожен фреймворк має передбачати базові дії: створення гіпотези, розробку експерименту для перевірки гіпотези, збір даних та аналіз результатів. Такий підхід забезпечує структурований підхід до тестування та прийняття рішень на основі даних.

А тепер про фреймворки:

Напишу про 2 основних + 1 гібридний

PIE Framework: Цей фреймворк використовується для визначення пріоритетності елементів веб-сайту для тестування. Фреймворк PIE розшифровується як “потенціал, важливість і простота”. Потенціал означає потенційний вплив змін, важливість – наскільки важливими є зміни, а простота – наскільки легко впровадити зміни.

Якщо тільки починаєте, PIE вам підійде.

Система VICE або ICE: Ця система використовується для оцінки потенційного впливу змін. Структура VICE розшифровується як “швидкість, вплив, впевненість, легкість”. Швидкість означає це швидкість, з якою може виконуватися тест, вплив означає потенційний вплив змін, впевненість – наскільки ви впевнені у змінах, а легкість – наскільки легко впровадити зміни. Створив для вас базовий шаблон, можете скачати собі GoogleSheets.

VICE система дуже поширена, але часто її кастомізують під себе, видозмінюють, лишають базові речі, але додають під себе ще щось.

PXL фраємворк: раджу прочитати оригінал https://speero.com/post/how-to-prioritize-your-a-b-tests-ideas

Якщо не хочете користуватись фреймворками, вважаєте що це занадто, можливо ви праві. Але перед початком тестування ви маєте відповісти на 5 простих питань.

1. Яка мета вашого тесту і чому він важливий? На який показник ви хочете вплинути або яку мету переслідуєте?
2. Що ви очікуєте і чому? Чому це повпливає, опишіть гіпотезу.
3. Чим буде відрізнятися версія А від версії Б? Опишіть зміни.
4. Що ви будете вимірювати і як ви будете це вимірювати? На які метрики будете дивитись, якими інструментами?
5. Що треба зробити аби імплементувати зміни? Опишіть весь план робіт.
6. Скільки трафіку потрібно? Розрахуйте за допомогою калькулятору, наприклад: https://www.evanmiller.org/ab-testing/sample-size.html 

Висновок

A/B тести мають бути не чимось визначним, а стандартною задачою, так вона важка, так її важливо правильно підготувати та провести, але це має бути рутина. Інвестуйте в знання та навички, які допомогають правильно проводити тестування.

Якщо ви крутий CRO і в пошуках гідного місця роботи з цікавими проєктами, пишіть нам на пошту recruiting@develux.com або мені особисті в телеграм: @georgeseo

Не забудьте підписатись на мій телеграм канал!

Корисні ресурси: 

1. https://www.dynamicyield.com/learning-paths/
2. https://unbounce.com/resources/#!landing-page-basics
3. https://cxl.com/blog/category/cro-testing/
4. https://conversion-rate-experts.com/articles/
5. https://www.abtasty.com/blog/