Forwarded from Datalytics
Неплохой бесплатный курс по по A/B-тестированиям. Без сильного технического фарша и примеров кода, но раскрывающий основные важные моменты:
— Чем классические частотные подходы к расчёту вероятности отличаются от байесовских
— Как рассчитывается статистическая значимость и почему её расчёт важен в ходе оценки результатов A/B-тестирования
— Чем отличается статистическая мощность от статистической значимости
— Как правильно сделать сплит трафика
— Почему важно правильно аттрибуцировать конверсию при маркетинговых экспериментах
— Сравнение подходов тестирования на клиенте (client-side) и на сервере (server-side)
— Как анализировать и интерпретировать A/B-тесты
https://www.dynamicyield.com/course/testing-and-optimization/
— Чем классические частотные подходы к расчёту вероятности отличаются от байесовских
— Как рассчитывается статистическая значимость и почему её расчёт важен в ходе оценки результатов A/B-тестирования
— Чем отличается статистическая мощность от статистической значимости
— Как правильно сделать сплит трафика
— Почему важно правильно аттрибуцировать конверсию при маркетинговых экспериментах
— Сравнение подходов тестирования на клиенте (client-side) и на сервере (server-side)
— Как анализировать и интерпретировать A/B-тесты
https://www.dynamicyield.com/course/testing-and-optimization/
Dynamic Yield
A/B Testing & Optimization Course — XP² Learning Center
Join this free online course to learn the fundumentals of A/B testing and conversion optimization, to help you grow your business KPIs.
О расстановке приоритетов в экспериментах:
https://davidleemannheim.medium.com/how-do-you-prioritize-experiments-b97bd9d1c8ae
via @ABtesting
https://davidleemannheim.medium.com/how-do-you-prioritize-experiments-b97bd9d1c8ae
via @ABtesting
Python’s Fitter library - библиотека позволяет выбрать параметры распределения, которые наилучшим образом отражают предэкспериментальные данные.
via @ABtesting
via @ABtesting
Еще одна хорошая статья о байесовских A/B-тестах. В этот раз о способах реализации и масштабировании от специалистов Wix.com.
via @ABtesting
via @ABtesting
Как ускорить A/B-тестирование с помощью прокси-метрик. Метод разработан LinkedIn для приблизительного определения долгосрочных показателей.
via @ABtesting
via @ABtesting
A/B-тесты с метриками-отношениями и при чём здесь внутрипользовательские корреляции:
https://www.youtube.com/watch?v=ObzlKVCiBqI
via @ABtesting
https://www.youtube.com/watch?v=ObzlKVCiBqI
via @ABtesting
YouTube
A/B-тесты с метриками-отношениями и при чём здесь внутрипользовательские корреляции | karpov.courses
Симулятор аналитика: https://bit.ly/3TzWxHRВ A/B-тестах специалисты часто имеют дело с метриками-отношениями, такими как CTR.Как нужно сравнивать такие метри...
Гибкая open-source платформа для А/B-тестирования:
https://github.com/growthbook/growthbook
via @ABtesting
https://github.com/growthbook/growthbook
via @ABtesting
“История одного обмана” или “Требования к распределению в t-тесте”. О том, как работает t-критерий (критерий Стьюдента).
via @ABtesting
via @ABtesting
Forwarded from BigQuery Insights
Как сделать причинно-следственный вывод по методу Массачусетского технологического института.
via @ABtesting
via @ABtesting
Книга по байесовской оптимизации от Roman Garnett. Это драфт от автора, официально книга выйдет в 2022 году.
via @ABtesting
via @ABtesting
10 ошибок в A/B-тестировании мобильных приложений
Подробный разбор самых частых ошибок при проведении экспериментов — с примерами и рекомендациями по устранению. Полезно изучить перед запуском A/B-тестов в продукте.
Бонусом в статье делятся новым сервисом для проведения A/B-тестов именно в мобильных приложениях: proba.ai.
via @ABtesting
Подробный разбор самых частых ошибок при проведении экспериментов — с примерами и рекомендациями по устранению. Полезно изучить перед запуском A/B-тестов в продукте.
Бонусом в статье делятся новым сервисом для проведения A/B-тестов именно в мобильных приложениях: proba.ai.
via @ABtesting
vc.ru
10 ошибок в A/B-тестировании мобильных приложений — Маркетинг на vc.ru
Что влияет на монетизацию продукта? Дизайн продукта, спецпредложения, игровые механики, тарифные планы и прочее. Но для всего этого не существует универсальной формулы, которая бы позволила бесконечно извлекать прибыль, а принимать решения необходимо. В этом…
Приглашаем на митап по аналитике от EXPF x Delivery Club
Программа:
— «Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito
— «Платформа switchback-экспериментов в Ситимобил», Артём Солоухин, Cитимобил
— «Как мы ищем точки роста в продукте: пошаговая инструкция», Владимир Абазов, Delivery Club
— «Скрытая угроза ранговых критериев», Егор Семин, EXPF
Когда: 25 ноября 2021, 18:00—20:00
Где: online
Регистрация и детали: https://u.to/57bCGw
Программа:
— «Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito
— «Платформа switchback-экспериментов в Ситимобил», Артём Солоухин, Cитимобил
— «Как мы ищем точки роста в продукте: пошаговая инструкция», Владимир Абазов, Delivery Club
— «Скрытая угроза ранговых критериев», Егор Семин, EXPF
Когда: 25 ноября 2021, 18:00—20:00
Где: online
Регистрация и детали: https://u.to/57bCGw
Как в Airbnb проводят эксперименты и как фреймворк Experiment Guardrails помогает им предотвратить негативное влияние на ключевые метрики при масштабных экспериментах.
via @ABtesting
via @ABtesting
🆎 Proba — новый сервис для проверки продуктовых гипотез в мобильных приложениях.
Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработчику, аналитику, маркетологу хочется ускорить этот процесс. На проверку каждой гипотезы уходит несколько дней (часто и недель), плюс нужно позаботиться о статзначимости результата.
Мы запускаем сервис, который помогает мобильным продуктам автоматизировать этот процесс и проводить A/B-тесты быстрее и дешевле. Для этого мы реализовали алгоритмы автоматического распределения пользователей и оптимизации под выбранную целевую метрику. Помимо простой конверсии алгоритм может оптимизироваться на ARPU и количество совершённых событий. Уже в ходе эксперимента побеждающий вариант будет получать больше пользователей. Автоматическое распределение трафика работает на основе байесовской статистики.
🚀 Мы приглашаем вас попробовать наш сервис бесплатно и будем рады любой обратной связи — регистрируйтесь на proba.ai
📆 Также приглашаем на бесплатный вебинар «А/B-тесты в мобайле: как проверять гипотезы быстро и дёшево», который пройдёт 1 декабря в 16:00 МСК. Регистрация доступна здесь.
По всем вопросам: @annatch66
Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработчику, аналитику, маркетологу хочется ускорить этот процесс. На проверку каждой гипотезы уходит несколько дней (часто и недель), плюс нужно позаботиться о статзначимости результата.
Мы запускаем сервис, который помогает мобильным продуктам автоматизировать этот процесс и проводить A/B-тесты быстрее и дешевле. Для этого мы реализовали алгоритмы автоматического распределения пользователей и оптимизации под выбранную целевую метрику. Помимо простой конверсии алгоритм может оптимизироваться на ARPU и количество совершённых событий. Уже в ходе эксперимента побеждающий вариант будет получать больше пользователей. Автоматическое распределение трафика работает на основе байесовской статистики.
🚀 Мы приглашаем вас попробовать наш сервис бесплатно и будем рады любой обратной связи — регистрируйтесь на proba.ai
📆 Также приглашаем на бесплатный вебинар «А/B-тесты в мобайле: как проверять гипотезы быстро и дёшево», который пройдёт 1 декабря в 16:00 МСК. Регистрация доступна здесь.
По всем вопросам: @annatch66