В 30-х годах XX века психолог Курт Левин предложил следующую формулу:
Поведение - это функция от человека и его окружения
B = f(P, E)
Исходя из формулы, один и тот же человек будет вести себя по-разному в разной окружающей среде.
Давайте переложим это знание на цифровые продукты. Например, в аналитике Яндекс.Маркета будет виден рост продаж сувениров к праздникам. В этом случае внешний контекст (праздник) влияет на поведение клиентов.
Когда мы создаем новый продукт или катим обновленную фичу, то в большинстве случаев мы хотим решить проблему пользователей. Сделать их жизнь лучше. В наших интересах “доставить” продукт в контекст человека, чтобы затем изменить его поведение. Продуктовая команда должна не только создавать вещи, но и отвечать за их внедрение в контекст.
Запомнить: сделал фичу - расскажи пользователю.
Поведение - это функция от человека и его окружения
B = f(P, E)
Исходя из формулы, один и тот же человек будет вести себя по-разному в разной окружающей среде.
Давайте переложим это знание на цифровые продукты. Например, в аналитике Яндекс.Маркета будет виден рост продаж сувениров к праздникам. В этом случае внешний контекст (праздник) влияет на поведение клиентов.
Когда мы создаем новый продукт или катим обновленную фичу, то в большинстве случаев мы хотим решить проблему пользователей. Сделать их жизнь лучше. В наших интересах “доставить” продукт в контекст человека, чтобы затем изменить его поведение. Продуктовая команда должна не только создавать вещи, но и отвечать за их внедрение в контекст.
Запомнить: сделал фичу - расскажи пользователю.
Что такое обратная связь?
Термин изначально появился в механике и инженерии. Постепенно он стал использоваться в менеджменте, клиентском сервисе и разработке продуктов.
Вот как описывают фидбек на "общем уровне":
"Feedback is as a generic method of controlling a system by using past results to affect future performance.
Approaches which keep a system operating within tight parameters, demonstrate negative feedback. That’s not pessimistic or bad feedback, but feedback that prompts the system to maintain control. Negative feedback is actually good feedback because it yields greater efficiency and performance.
Positive feedback, by contrast, causes the system to keep going, unchecked. Like a thermostat that registers the room as too warm and cranks up the furnace, it’s generally meant to be avoided."
Термин изначально появился в механике и инженерии. Постепенно он стал использоваться в менеджменте, клиентском сервисе и разработке продуктов.
Вот как описывают фидбек на "общем уровне":
"Feedback is as a generic method of controlling a system by using past results to affect future performance.
Approaches which keep a system operating within tight parameters, demonstrate negative feedback. That’s not pessimistic or bad feedback, but feedback that prompts the system to maintain control. Negative feedback is actually good feedback because it yields greater efficiency and performance.
Positive feedback, by contrast, causes the system to keep going, unchecked. Like a thermostat that registers the room as too warm and cranks up the furnace, it’s generally meant to be avoided."
Под конец года успеваю только читать различные «итоги года».
Вот несколько новостей с прошлой недели.
1. Joom запустил конкурс для продуктовых аналитиков с призовым фондом $3k. Задача — понять как социальные фичи работают в e-commerce и дать рекомендации по их развитию.
2. Опубликовали статью по мотивам доклада с ProductSense: Три подхода к сегментации 30-миллионной аудитории в Avito: почему они провалились и чем их заменили. Сегментация — это один из самых мощных инструментов аналитики. В этой статье можно познакомиться с популярными подходами, их плюсами и минусами в контексте задач Avito.
3. Один из интересных трендов на 2019 год — CalmTech, уважение времени пользователей. Apple, Google и Facebook уже представили фичи по анализу и контролю за проведённым временем в приложениях. Этот тренд повлияет на продуктовые метрики. Мы должны постепенно перестать завязываться на количество сессий и времени в приложении (и прочие engagement-метрики), а научиться замерять достижение пользователем его персональных KPI.
@product_science
Вот несколько новостей с прошлой недели.
1. Joom запустил конкурс для продуктовых аналитиков с призовым фондом $3k. Задача — понять как социальные фичи работают в e-commerce и дать рекомендации по их развитию.
2. Опубликовали статью по мотивам доклада с ProductSense: Три подхода к сегментации 30-миллионной аудитории в Avito: почему они провалились и чем их заменили. Сегментация — это один из самых мощных инструментов аналитики. В этой статье можно познакомиться с популярными подходами, их плюсами и минусами в контексте задач Avito.
3. Один из интересных трендов на 2019 год — CalmTech, уважение времени пользователей. Apple, Google и Facebook уже представили фичи по анализу и контролю за проведённым временем в приложениях. Этот тренд повлияет на продуктовые метрики. Мы должны постепенно перестать завязываться на количество сессий и времени в приложении (и прочие engagement-метрики), а научиться замерять достижение пользователем его персональных KPI.
@product_science
Каждую неделю в мой беклог для постов в канал добавляется по ~3-4 идеи. По факту, я за неделю пишу 1-2 поста. Идеи я не выкладываю из-за 1) нехватки времени на «сжатие» большого материала или наоборот - 2) малого количества полезной информации для полноценного поста.
Так или иначе, сейчас у меня около 150 идей стоят в очереди. Думаю, выкладывать их в формате «новости недели» как в предыдущем посте. Запускаем?
Anonymous Poll
94%
Да
6%
Нет
Интервью про UX-research в mail.ru (via @alexcouncil)
Forwarded from Alexcouncil⚡ (alexbot)
Довольно часто в канале появляются такие слова как: гипотезы, проверка, mvp и прочее. Все они про исследования, тему, которую давно хотел раскрыть подробнее.
Продакты тесно связаны с ресерчем. Можно сказать, это "источник знаний и силы" твоего продукта. Формула: родилась идея, проверь, получи и примени знания.
Искал с кем поговорить на тему исследований и нашел Ксению Стернину (UX Research Lead, Mail.ru). Профи с ее опытом явно мог подробно рассказать о ресерче и дать рекомендации для нас продактов. Получилось интервью.
Основные мысли:
– какие вопросы нужно себе задать, если собираешься проводить исследование
– как подобрать себе хорошего UX/UI ресерчера в команду
– какие сложности ждут продакта, который самостоятельно собрался проводить исследование
– какая самая распространенная ошибка встречается в продуктах
– и что бесит Ксению большего всего как пользователя
Читайте подробнее в блоге.
Продакты тесно связаны с ресерчем. Можно сказать, это "источник знаний и силы" твоего продукта. Формула: родилась идея, проверь, получи и примени знания.
Искал с кем поговорить на тему исследований и нашел Ксению Стернину (UX Research Lead, Mail.ru). Профи с ее опытом явно мог подробно рассказать о ресерче и дать рекомендации для нас продактов. Получилось интервью.
Основные мысли:
– какие вопросы нужно себе задать, если собираешься проводить исследование
– как подобрать себе хорошего UX/UI ресерчера в команду
– какие сложности ждут продакта, который самостоятельно собрался проводить исследование
– какая самая распространенная ошибка встречается в продуктах
– и что бесит Ксению большего всего как пользователя
Читайте подробнее в блоге.
Facebook
Log in or sign up to view
See posts, photos and more on Facebook.
Анализ сетей (network analysis) - метод, который использует теорию графов, чтобы смоделировать и понять наблюдаемые явления.
В своем последнем проекте при помощи этого метода я изучал как паттерны в общении людей влияют на освоение Wrike. Результатом я доволен, буду развивать.
С “теорией” у теории графов проблем нет. Эту науку давно изучают, есть много учебных материалов. А вот с примерами прикладного характера встречаешься не часто. Не всегда очевидно, как интерпретировать какую-нибудь “метрику центральности” графа на реальную жизнь.
Вот материалы, которые помогли с “практикой”:
1. All about Network Effects — презентация на SlideShare (он заболочен в РФ, но я верю, что вы сможете туда зайти), где c теорией и продуктовыми примерами рассказывают про полезность сетей. Тут расскажут, что такое “сетевой эффект” и чем это отличается от “виральности”. Обязательно к просмотру.
2. The Dynamics of Network Effects - эта статья “шлифует” теорию (закон Меткалфа) из предыдущей ссылки и указывает на ее ограничения.
3. Two Powerful Mental Models: Network Effects and Critical Mass - для тех, кто хочет глубже проникнуться основными понятиями.
4. 16 Ways to Measure Network Effects - хватит теории! Вот как замерять сетевые эффекты в реальных продуктах.
5. Better People Analytics: Measure Who They Know, Not Just Who They Are — поведенческие экономисты описали подход к анализу отношений внутри компании.
Ну и для тех, кто хочет углубиться в техническую составляющую, рекомендую курс Stanford CS224W: Analysis of Networks (Autumn 2018). Его ведет Chief Data Scientist из Pinterest. Видео и презентации в свободном доступе.
#ссылки_недели @product_science
В своем последнем проекте при помощи этого метода я изучал как паттерны в общении людей влияют на освоение Wrike. Результатом я доволен, буду развивать.
С “теорией” у теории графов проблем нет. Эту науку давно изучают, есть много учебных материалов. А вот с примерами прикладного характера встречаешься не часто. Не всегда очевидно, как интерпретировать какую-нибудь “метрику центральности” графа на реальную жизнь.
Вот материалы, которые помогли с “практикой”:
1. All about Network Effects — презентация на SlideShare (он заболочен в РФ, но я верю, что вы сможете туда зайти), где c теорией и продуктовыми примерами рассказывают про полезность сетей. Тут расскажут, что такое “сетевой эффект” и чем это отличается от “виральности”. Обязательно к просмотру.
2. The Dynamics of Network Effects - эта статья “шлифует” теорию (закон Меткалфа) из предыдущей ссылки и указывает на ее ограничения.
3. Two Powerful Mental Models: Network Effects and Critical Mass - для тех, кто хочет глубже проникнуться основными понятиями.
4. 16 Ways to Measure Network Effects - хватит теории! Вот как замерять сетевые эффекты в реальных продуктах.
5. Better People Analytics: Measure Who They Know, Not Just Who They Are — поведенческие экономисты описали подход к анализу отношений внутри компании.
Ну и для тех, кто хочет углубиться в техническую составляющую, рекомендую курс Stanford CS224W: Analysis of Networks (Autumn 2018). Его ведет Chief Data Scientist из Pinterest. Видео и презентации в свободном доступе.
#ссылки_недели @product_science
SlideShare
Network Effects Explained: Properties, Strategies and Case Studies
Network Effects Explained: Properties, Strategies and Case Studies - Download as a PDF or view online for free
Интересно как IT-гиганты делают большие продуктовые изменения? Почитайте про редизайн Jira. Написал максимально "обезвоженный" материал про исследования и метрики.
Как исследуют пользователей, приоритезируют и ставят метрики в Atlassian.
@product_science
Как исследуют пользователей, приоритезируют и ставят метрики в Atlassian.
@product_science
Medium
Как исследуют пользователей, приоритезируют и ставят метрики в Atlassian
Проводим реверс-инжиниринг продуктовых процессов по статьям, блогам и записей с конференций.
Терминология
Customer Experience простыми словами – Бюро сервисного дизайна. Три года назад считалось, что продакт-менеджер делает все. Но так не работает.
Data Driven Product Management – Towards Data Science. Лонгрид с примерами.
Data Science vs Decision Science – Towards Data Science. Аналитик, а чем занимаешься ты?
Метрики
DAU/MAU is an important metric to measure engagement, but here's where it fails. Еще эту метрику называют Stickiness. Эссе про плюсы и минусы.
MeasuringU: Are Top Box Scores a Better Predictor of Behavior?. Задумывались ли вы, почему в NPS принято считать 9-10 хорошей оценкой? Разбор понятий и методов подсчета.
Исследования
Research That Counts – Facebook Research. Рассказ о силе количественных подходов.
#ссылки_недели @product_science
Customer Experience простыми словами – Бюро сервисного дизайна. Три года назад считалось, что продакт-менеджер делает все. Но так не работает.
Data Driven Product Management – Towards Data Science. Лонгрид с примерами.
Data Science vs Decision Science – Towards Data Science. Аналитик, а чем занимаешься ты?
Метрики
DAU/MAU is an important metric to measure engagement, but here's where it fails. Еще эту метрику называют Stickiness. Эссе про плюсы и минусы.
MeasuringU: Are Top Box Scores a Better Predictor of Behavior?. Задумывались ли вы, почему в NPS принято считать 9-10 хорошей оценкой? Разбор понятий и методов подсчета.
Исследования
Research That Counts – Facebook Research. Рассказ о силе количественных подходов.
#ссылки_недели @product_science
Я захотел понять как сделать идеальное продуктовое исследование. Все популярные книжечки и статьи прочитаны, а шишки набиты. Но чисто ремесленным методом развиваться долго.
Настало время воспользоваться методом “сломанной пирамиды” по Вастрику и копнуть теорию.
Как делают исследования крутые ученые? Давайте раскопаем эту область, а лучшее заберем себе в мир продуктовой разработки.
Продуктовое исследование, ч.1: основные термины – Anton Martsen – Medium
@product_science
Продуктовое исследование, ч.1: основные термины – Anton Martsen – Medium
@product_science
Medium
Продуктовое исследование, ч.1: основные термины
Я не нашел специальной литературы по продуктовым исследованиям “от А до Я”. Есть практические книжки и статьи с “лайфхаками” и “самым…
North Star metric & Aha Moment
What is North Star metric for startups? - Quora. Действительно?
How to find insights like Facebook’s ‘7 friends in 10 days’ to grow your product faster - Quora. Хорошая ветка, где поучаствовал Andrew Chen.
This Is How You Find Your App's Aha! Moment - Apptimize. Инструкция как ручками найти момент активации.
021. ML и Едадил – Марат Жанабеков - YouTube. А вот тут немного про автоматическое нахождение.
UX Метрики
UX Metric: Lostness – UX Collective. Мы проектируем интерфейс так, чтобы люди могли сделать целевое действие в 3 клика, а они все равно путаются! Вот как это замерить.
MeasuringU: 15 Metrics for UX Benchmarking. Список метрик, которые можно трекать на юзабилити-тестах и релизах.
Процессы и подходы
Why Data Science and UX Research Teams are Better Together - Mind the Product. Объединяем спецов из двух областей и получаем бомбу.
How Uber Leverages Applied Behavioral Science at Scale | Uber Engineering Blog. А в Убере есть команда бихевиористов, которые консультируют продуктовые команды по исследованиям и аналитике. Я бы с ними поработал.
Карьера и развитие
The researcher’s journey: leveling up as a user researcher. Круче спец — больше влияние.
Senior user researcher: skills they need - GOV.UK. А тут пишут, какими скилами должен обладать крутой спец. Рекомендую позалипать подольше на этом сайте и посмотреть набор скилов для аналитиков, дата саентистов и других спецов.
#ссылки_недели @product_science
What is North Star metric for startups? - Quora. Действительно?
How to find insights like Facebook’s ‘7 friends in 10 days’ to grow your product faster - Quora. Хорошая ветка, где поучаствовал Andrew Chen.
This Is How You Find Your App's Aha! Moment - Apptimize. Инструкция как ручками найти момент активации.
021. ML и Едадил – Марат Жанабеков - YouTube. А вот тут немного про автоматическое нахождение.
UX Метрики
UX Metric: Lostness – UX Collective. Мы проектируем интерфейс так, чтобы люди могли сделать целевое действие в 3 клика, а они все равно путаются! Вот как это замерить.
MeasuringU: 15 Metrics for UX Benchmarking. Список метрик, которые можно трекать на юзабилити-тестах и релизах.
Процессы и подходы
Why Data Science and UX Research Teams are Better Together - Mind the Product. Объединяем спецов из двух областей и получаем бомбу.
How Uber Leverages Applied Behavioral Science at Scale | Uber Engineering Blog. А в Убере есть команда бихевиористов, которые консультируют продуктовые команды по исследованиям и аналитике. Я бы с ними поработал.
Карьера и развитие
The researcher’s journey: leveling up as a user researcher. Круче спец — больше влияние.
Senior user researcher: skills they need - GOV.UK. А тут пишут, какими скилами должен обладать крутой спец. Рекомендую позалипать подольше на этом сайте и посмотреть набор скилов для аналитиков, дата саентистов и других спецов.
#ссылки_недели @product_science
Продукт
Why This Opportunity Solution Tree is Changing the Way Product Teams Work - Product Talk. Лонгрид-методичка по созданию Product Discovery процесса.
Change aversion: why users hate what you launched (and what to do about it). “ДУРОВ ВЕРНИ СТЕНУ!!!1” — сильные изменения всегда вызовут чей-то негатив. В статье расскажут, как различать “жалобы” и “настоящие проблемы”.
User Research
Research Questions Are Not Interview Questions – Mule Design Studio – Medium. Вброс-статья о том, что заказчики и стейкхолдеры не понимают чего хотят, а бедные исследователи должны страдать. Судя по количеству лайков и комментариев — это задело сердца людей. Я тоже про это думал и поэтому начал цикл статей про “хорошее продуктовое исследование”. Статья про “правильный вопрос” уже в черновиках ;)
Diversity in User Research: How Nontraditional Backgrounds Enhance Impact. Из инженера в исследователя пользователей — это норма.
Notes on Quantitative UX Research at Google. Что делает Quant UXR в течении месяца в Google? Какой его вклад в компанию? Какими он должен обладать навыками? Что спрашивают на собеседовании? Ответы вы найдёте в этой статье.
Методы
Don’t Listen to Users, Sample Their Experience!. Автор канала @uxresearch как-то раз помогла мне подобрать метод под мою проблему — Daily Information Needs. Делюсь с вами вводным видео про этот него от бывшего ресерчера из Google.
Improve your startup’s surveys and get even better data. Не все есть в логах. Полезные данные можно брать из опросов. Списочек лучших практик от Google Ventures.
Интересное
Итоги конкурса продуктовых аналитиков от Joom . В посте лежат ссылки на ответы победителей. Читаем и забираем интересные мысли себе.
Lessons from corporate behavioral-science units | McKinsey. Поведенческая экономика — нарастающий тренд в компаниях и продуктовой разработке. Консалтеры говорят, что нельзя просто нанять экспертов и ждать чуда: 1) инициатива должна идти “сверху”, 2) команде надо дать полномочия делать изменения и 3) они должны управлять ожиданиями стейкхолдеров. У меня какое-то дежавю на фоне хайпа по Data Science, но “повторение - мать учения”.
#ссылки_недели @product_science
Why This Opportunity Solution Tree is Changing the Way Product Teams Work - Product Talk. Лонгрид-методичка по созданию Product Discovery процесса.
Change aversion: why users hate what you launched (and what to do about it). “ДУРОВ ВЕРНИ СТЕНУ!!!1” — сильные изменения всегда вызовут чей-то негатив. В статье расскажут, как различать “жалобы” и “настоящие проблемы”.
User Research
Research Questions Are Not Interview Questions – Mule Design Studio – Medium. Вброс-статья о том, что заказчики и стейкхолдеры не понимают чего хотят, а бедные исследователи должны страдать. Судя по количеству лайков и комментариев — это задело сердца людей. Я тоже про это думал и поэтому начал цикл статей про “хорошее продуктовое исследование”. Статья про “правильный вопрос” уже в черновиках ;)
Diversity in User Research: How Nontraditional Backgrounds Enhance Impact. Из инженера в исследователя пользователей — это норма.
Notes on Quantitative UX Research at Google. Что делает Quant UXR в течении месяца в Google? Какой его вклад в компанию? Какими он должен обладать навыками? Что спрашивают на собеседовании? Ответы вы найдёте в этой статье.
Методы
Don’t Listen to Users, Sample Their Experience!. Автор канала @uxresearch как-то раз помогла мне подобрать метод под мою проблему — Daily Information Needs. Делюсь с вами вводным видео про этот него от бывшего ресерчера из Google.
Improve your startup’s surveys and get even better data. Не все есть в логах. Полезные данные можно брать из опросов. Списочек лучших практик от Google Ventures.
Интересное
Итоги конкурса продуктовых аналитиков от Joom . В посте лежат ссылки на ответы победителей. Читаем и забираем интересные мысли себе.
Lessons from corporate behavioral-science units | McKinsey. Поведенческая экономика — нарастающий тренд в компаниях и продуктовой разработке. Консалтеры говорят, что нельзя просто нанять экспертов и ждать чуда: 1) инициатива должна идти “сверху”, 2) команде надо дать полномочия делать изменения и 3) они должны управлять ожиданиями стейкхолдеров. У меня какое-то дежавю на фоне хайпа по Data Science, но “повторение - мать учения”.
#ссылки_недели @product_science
Forwarded from Ponchik News | про аутентичность в мире AI (Alexey Ivanov)
Ребята из Pendo (SaaS по продуктовым исследованиям) выпустили ежегодный отчет The State of Product Leadership 2019. Это про то, что происходит в мире продактов, чем они занимаются и где их основные затыки.
Выборка: n=300, продакт-менеджеры и продакт-лидеры. Типы компаний: SaaS, локальный софт, гибридный софт, энтерпрайз. В основном, B2B и B2B2C. ARR: от $25 млн до $1 млрд. География: США.
Топ-7 инсайтов:
1. Зоны ответственности PM для большинства стали понятны и ограничены. (Прошлогодний репорт показывал, что PMы все еще расширяют/определяют скоуп своей роли.)
2. Как PMы измеряют свои KPI часто не соответствует новым реалиям рынка SaaS и бизнес-моделям на основе подписок.
3. В 2019 продуктовики стараются найти общий язык с дизайнерами, маркетерами, и клиентским обслуживанием. Гораздо меньше с разработчиками.
4. Клиентское обслуживание и его главный KPI - ретеншен - это главный головняк для PMов.
5. Визионеры нужны гораздо меньше, чем исполнители. Тем не менее, от продактов ждут и того, и другого, в пропорции 1 к 3-4, в зависмости от типа компании.
6. North Star метрика, отражающая потребности пользователей, — это must. (Original gangstas on the topic: https://medium.com/@joshelman/the-only-metric-that-matters-ab24a585b5ea and http://startupclass.samaltman.com/courses/lec06/)
7. Использование данных при принятии решений — это новый черный. Интуиция, опыт и экспертиза не котируются.
Выборка: n=300, продакт-менеджеры и продакт-лидеры. Типы компаний: SaaS, локальный софт, гибридный софт, энтерпрайз. В основном, B2B и B2B2C. ARR: от $25 млн до $1 млрд. География: США.
Топ-7 инсайтов:
1. Зоны ответственности PM для большинства стали понятны и ограничены. (Прошлогодний репорт показывал, что PMы все еще расширяют/определяют скоуп своей роли.)
2. Как PMы измеряют свои KPI часто не соответствует новым реалиям рынка SaaS и бизнес-моделям на основе подписок.
3. В 2019 продуктовики стараются найти общий язык с дизайнерами, маркетерами, и клиентским обслуживанием. Гораздо меньше с разработчиками.
4. Клиентское обслуживание и его главный KPI - ретеншен - это главный головняк для PMов.
5. Визионеры нужны гораздо меньше, чем исполнители. Тем не менее, от продактов ждут и того, и другого, в пропорции 1 к 3-4, в зависмости от типа компании.
6. North Star метрика, отражающая потребности пользователей, — это must. (Original gangstas on the topic: https://medium.com/@joshelman/the-only-metric-that-matters-ab24a585b5ea and http://startupclass.samaltman.com/courses/lec06/)
7. Использование данных при принятии решений — это новый черный. Интуиция, опыт и экспертиза не котируются.
Medium
The only metric that matters
I've been lucky to be part of the early growth of several really interesting and now important networks including LinkedIn, Facebook, and Twitter. One of the things that I felt working on each of…
Forwarded from Ponchik News | про аутентичность в мире AI (Alexey Ivanov)
The_State_Of_Product_Leadership_2019.pdf
17.3 MB
Отчет в одной PDF, чтобы не заполнять кучу форм и не скачивать с сайта. You are welcome.
Amplitude выпустила вторую книжку из серии Product Analytics Playbook. На этот раз они структурировано пишут про engagement.
Помню, полтора года назад читал первую книжку Mastering Retention и для меня это был кладезь информации. Всем рекомендую.
Пробежался глазами по Mastering Engagement и вот что могу сказать:
1. Делают много ссылок на первую книжку и дают ее краткий пересказ. Это понятно, т.к. они расширяют изложенную в ней мысль - чем раньше вы "активируете и вовлечете" пользователя, тем лучше это скажется на retention.
2. Подчеркивают, что engagement бывает трех типов и нужно подбирать метрику исходя из вашего продукта.
Помню, полтора года назад читал первую книжку Mastering Retention и для меня это был кладезь информации. Всем рекомендую.
Пробежался глазами по Mastering Engagement и вот что могу сказать:
1. Делают много ссылок на первую книжку и дают ее краткий пересказ. Это понятно, т.к. они расширяют изложенную в ней мысль - чем раньше вы "активируете и вовлечете" пользователя, тем лучше это скажется на retention.
2. Подчеркивают, что engagement бывает трех типов и нужно подбирать метрику исходя из вашего продукта.