Оценить результаты тестирования и отключить неэффективные версии можно во вкладке Detail Report. При оценке необходимо учитывать валидность (достоверность) результата. Как это делается в Visual Web Optimizer — покажу mvt тестирование в следующий раз. Многовариантное тестирование (или MVT) — это оценка эффективности взаимодействия N-ного количества элементов в рамках одного теста, целью которого является выявление наилучшей комбинации.
Самыми распространёнными методами MVT-тестирования считаются полнофакторный и дробный факторный. Чем больше вариантов, тем выше риск случайных кликов. Тест быстрее покажет, какие варианты рабочие, чем споры и проверка по одной версии контента последовательно.
Обычный сплит-тест (другое название A/B теста) проверяет только 2 варианта, а трафик делится 50/50% для каждой версии. А/В тесты – самый популярный инструмент для оптимизации конверсии. Есть ситуации, когда гораздо эффективнее мультивариантное тестирование (MVT). Из этой статьи вы узнаете, в чем их различия, и когда целесообразнее применять MVT, а когда – простые сплит-тесты.
- Начните тесты с полным набором вариантов, которые вы хотите проверить, но запустите их на небольшой промежуток времени – ровно настолько, чтобы увидеть явные тенденции.
- «Это совокупность эвристических методов, а не теоретически обоснованный подход.
- К несчастью, бесплатных завтраков не бывает.
- Из-за множества дополнительных вариаций MVT-тесты требуют большого объема трафика.
- В этой статье я расскажу о мультивариантном тестировании и о том, как его запустить и в каких ситуациях использовать.
Всегда есть вероятность, что высокий прирост конверсии на одном из тестируемых вариантов – случайность. Это особенно актуально, если учесть, что при MVT трафик дробится между разными версиями страницы, и на каждый конкретный вариант приходится относительно небольшая его часть. Если вам не хватает трафика для полномасштабных тестов, попробуйте воспользоваться советом Леонида Пекелиса из Optimizely.
Как Настроить Мультивариантный Тест В Visible Web Optimizer За 17 Минут
С точки зрения машинного обучения, нейронная сеть представляет собой частный случай методов распознавания образов, дискриминантного анализа, методов кластеризации и т. Ответы на эти вопросы позволят в будущем быстрее и легче разрабатывать тесты и гипотезы. Знай мы точно, что добавление символов безопасности было самым значимым для пользователей, то смогли бы улучшить показатели конверсии, разместив их и на других страницах. Как вы уже убедились, даже три переменных с двумя вариантами привели к восьми вариациям, и добавив символы безопасности, мы получим до шестнадцати комбинаций. То есть трафик для каждого варианта будет снижен до 6.25%.
Второй вариант потребует больше ресурсов и ограничит творческие идеи, но и в этом случае вам стоит помнить о том, что нужно больше трафика, чтобы проверить даже оставшиеся. Казалось бы, все эти запросы и ходы весьма обоснованы для интернет-магазинов, однако иногда они могут работать против вас. Единственный способ узнать, что же именно уводит посетителей со страницы — провести тест. Далее предположим, что к нам пришла идея улучшить целевую страницу через изменение главной картинки (hero image). То есть, мы решили проверить исходную версию страницы, изменяя уже две переменные — заголовок и картинку. Сплит-тесты обычно содержат меньше вариаций, чем MVT, но с более радикальными изменениями.
Когда Нужно Делать Мультивариантные Тесты Вместо A/b Тестирования
Да-да, про тестирование ПО тут уже куча статей. Предположим, вы решили протестировать заголовок и придумали еще несколько вариантов, чтобы точно убедиться, что существующий на данный момент — лучший. Трудно сказать — мнения профессиональных и широко известных маркетологов разделились.
Разработка новых гипотез, основанная на полученной информации. Ресурс MXToolbox получает миллионы посетителей каждый месяц, и многие из них впоследствии останавливаются на платных услугах. Но даже с миллионами посещений количество сделок все же недостаточно велико, чтобы оправдать многовариантное тестирование.
Что изменить, чтобы повысить эффективность? Даже самый опытный маркетолог не ответит на one hundred pc точно. Угадывание — риск потерять время, деньги и потенциальных клиентов. 88% пользователей, скорее всего, не вернутся на сайт компании после неудачного опыта. Также ошибки стоят дорого — $1,420,300,000,000 теряют компании со всего мира из-за плохого UX дизайна.
Этот подход способствует получению результатов с меньшим трафиком. Теперь представьте многовариантный тест с десятками вариаций. Многовариантный тест — это проверка нескольких вариантов и нескольких переменных на лендинге или сайте.
Каждый тест способен дать вам ценную информацию для понимания ваших посетителей. Но в случае с мультивариантным тестированием этот вопрос остается открытым. Трафик на каждый тест — это, казалось бы, небольшой процент от общего числа посетителей. Но сколько тестов в результате вам придется провести? Например, вы можете обнаружить, что определенное изображение никак не повлияло на конверсию, а заголовок, напротив, оказался самым влиятельным элементом. Поскольку полнофакторный метод не делает допущений относительно статистики или математики тестирования, я рекомендую его для мультивариантных тестов».