Каким образом при A/B тестировании дизайна сайтов обеспечивается показ одним и тем же людям одного и того же варианта в обозримое время?
Например, если я открою сайт утром, а затем — вечером, и он будет выглядеть иначе, а назавтра — снова, как вчерашним утром, то я первым делом заподозрю перехват трафика и/или управления. Многие даже проверять не будут, просто насторожатся, и могут больше туда не прийти, если сайт не относится к числу хорошо известных и надежных.
Cookies решают вопрос только в пределах одного браузера. Сейчас у многих по два-три браузера (один быстрый, второй совместимый, третий меньше жрет и т.п.). Ну и всякие законы вроде GDPR вынуждают предупреждать об использовании cookies, это тоже не всем нравится.
А без такого разделения статистика получится искаженной. Разве что делить по географическому признаку — ходящих поочередно напрямую и через proxy/VPN относительно мало.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Каким образом при A/B тестировании дизайна сайтов обеспечивается показ одним и тем же людям одного и того же варианта в обозримое время?
Существуюшие инструменты в основном сосредоточены на тестировании т.н. "лендингов" — то есть страниц сайта, на которые заходят а) однократно и б) анонимные посетители.
Поэтому не надо заботиться о том, кому показано что.
ЕМ>А без такого разделения статистика получится искаженной. Разве что делить по географическому признаку — ходящих поочередно напрямую и через proxy/VPN относительно мало.
Ну, поскольку готовых инструментов нету, вам придётся велосипедить самостоятельно:
1. Учиться показывать разные варианты одного и того же "куска" веб-приложения одновременно.
2. Записывать, какие получились результаты (у лендингов результатом считается конверсия — а у вас что?)
3. Записывать, какой был показан вариант.
Когда вы это навелосипедите, потребуется п.4 — "выбирать, какой вариант показать". Гугл-оптимайзеры генерируют вариант псевдослучайно.
А вам надо будет сделать детерминистическую функцию, которая по user id покажет ему какой-то из вариантов.
Например, всем с чётными номерами показываем вариант A, всем с нечётными — вариант Б.
Или каждому сотому показываем вариант Б — это если мы не уверены, что он не хуже А.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Sinclair, Вы писали:
S>Существуюшие инструменты в основном сосредоточены на тестировании т.н. "лендингов" — то есть страниц сайта, на которые заходят а) однократно и б) анонимные посетители.
В моем представлении, такие страницы вполне естественны для товаров/услуг, где можно показать "товар лицом" (одежда, предметы гигиены, произведения искусства и т.п.). А есть примеры для сайтов, предлагающих исключительно ПО, причем без заманух в виде "сами приедем, все поставим и всех научим", а просто лицензии на использование полезного ПО и разумную поддежку? Каким образом тогда тестируются варианты дизайна основных сайтов компании/продукта?
S>2. Записывать, какие получились результаты (у лендингов результатом считается конверсия — а у вас что?)
А вот хрен знает, что считать результатом — то ли количество скачиваний, то ли количество покупок, то ли количество внешних ссылок. Меня несколько человек убеждают, что дизайн сайта жизненно важен для привлечения пользователей даже неразвлекательного софта. Я в это не верю, но по возможности хочу попробовать разные варианты, если это не окажется слишком затратным.
S>Гугл-оптимайзеры генерируют вариант псевдослучайно.
Эти оптимайзеры вставляются в код страниц, или имеется в виде переход по ссылкам из гуглопоиска? Идентификаторы генерятся по базам данных, собранных гуглом глобально, или только через аналитику конкретного сайта?
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Каким образом при A/B тестировании дизайна сайтов обеспечивается показ одним и тем же людям одного и того же варианта в обозримое время?
ЕМ>Например, если я открою сайт утром, а затем — вечером, и он будет выглядеть иначе, а назавтра — снова, как вчерашним утром, то я первым делом заподозрю перехват трафика и/или управления. Многие даже проверять не будут, просто насторожатся, и могут больше туда не прийти, если сайт не относится к числу хорошо известных и надежных.
ЕМ>Cookies решают вопрос только в пределах одного браузера. Сейчас у многих по два-три браузера (один быстрый, второй совместимый, третий меньше жрет и т.п.). Ну и всякие законы вроде GDPR вынуждают предупреждать об использовании cookies, это тоже не всем нравится.
ЕМ>А без такого разделения статистика получится искаженной. Разве что делить по географическому признаку — ходящих поочередно напрямую и через proxy/VPN относительно мало.
Это магия.
В Azure называется Slots. В гугле облаке никак не называется. Просто работает так же. Выибраеш напротив версии 1.0.1234 — 5% пользователям отдавать эту версию, остальным 95% — отдавать старую версию N-1
Ты это хотел узнать это или как оно реализовано?
Впервые появилось в Windows 2000 NLB. Как работает сейчас — хз По IP и прокси-заголовкам привязывает версию очевидно же.
мне самому интересно кроме этих двух параметров что-то используется или нет?
Ажур привязку к слоту берет из куки. Как именно в остальных облаках хз
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, VladCore, Вы писали:
VC>>Ты это хотел узнать это или как оно реализовано?
ЕМ>Разумеется, интересна реализация.
Здравствуйте, Евгений Музыченко, Вы писали:
VC>>мне гугл советует эту ссылку как похожий запрос когда ввожу "как работают azure slots"
ЕМ>И любой, кто не знал о существовании Azure Slots, по теме заданного мной вопроса должен об этом догадаться?
В смысле знал-не-знал про Azure Slots?
Думается тут, в разделе про программирование, многие знают про A/B тестирование?
ЕМ>А без такого разделения статистика получится искаженной. Разве что делить по географическому признаку — ходящих поочередно напрямую и через proxy/VPN относительно мало.
Знаю только что A/B тесты порой проводят не на конкретных людях а на группах, а группы часто делят по географическому признаку если не возможно идентифицировать.
Например выкладывают приложение в Google Store для разных стран с немного разным функционалом.
”Жить стало лучше... но противнее. Люди которые ставят точку после слова лучше становятся сторонниками Путина, наши же сторонники делают акцент на слове противнее ( ложь, воровство, лицемерие, вражда )." (с) Борис Немцов
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Каким образом при A/B тестировании дизайна сайтов обеспечивается показ одним и тем же людям одного и того же варианта в обозримое время?
ЕМ>Например, если я открою сайт утром, а затем — вечером, и он будет выглядеть иначе, а назавтра — снова, как вчерашним утром, то я первым делом заподозрю перехват трафика и/или управления. Многие даже проверять не будут, просто насторожатся, и могут больше туда не прийти, если сайт не относится к числу хорошо известных и надежных.
ЕМ>Cookies решают вопрос только в пределах одного браузера. Сейчас у многих по два-три браузера (один быстрый, второй совместимый, третий меньше жрет и т.п.). Ну и всякие законы вроде GDPR вынуждают предупреждать об использовании cookies, это тоже не всем нравится.
ЕМ>А без такого разделения статистика получится искаженной. Разве что делить по географическому признаку — ходящих поочередно напрямую и через proxy/VPN относительно мало.
если нет логинов, то куки самый надёжный вариант. если кто и пользуется разными браузерами, то обычно их разделяют по специализации: например, хром для банков, файрфокс для развлекаловки и т д. Поэтому должно быть достаточно.
2. можно добавить кнопку "откатиться к старому режиму", чтоб.пользователи понимали что это просто обновленный UI а не нлючнвй сайт
По IP и прокси-заголовкам привязывает версию очевидно же.
