ABCDEFGLMNOPQAI
1
2
3
4
5
6
7
8
9
10
Aha!'24: Product Science – конференция для CPO, product-аналитиков и ML-разработчиков
11
12
Product Analytics
Product Management
13
Geo-Analytics
Product Ops & Org DesignПОДБОРКА ДОКЛАДОВ ПРОШЛЫХ ЛЕТКУПИТЬ БИЛЕТ
14
RecSysInternal Products & Platforms
15
Experiments & Network EffectsUnit Economics, CVM & Monetization
16
Language Models
AI/LLM-Driven Transformation
17
Cost Effectiveness
Economics of Ecosystems
18
19
6 ИЮНЯ (ЧТ) - МОСКВА, КЛАСТЕР ЛОМОНОСОВ
20
09:30 11:00Встреча участников конференции на площадке, знакомство, общение и нетворкинг, участие в стендовых активностях, welcome-кофе и другие активности09:30 11:00
21
10:45 11:00WELCOME!: ОТКРЫТИЕ КОНФЕРЕНЦИИ В ГЛАВНОМ ЗАЛЕ10:45 11:00
22
23
24
25
11:00 11:30РОМАН ХАЛКЕЧЕВ, CDO ЯНДЕКС ПОИСК И РЕКЛАМНЫЕ ТЕХНОЛОГИИ

ML-ПРОДУКТЫ: ОСОБЕННОСТИ, ОШИБКИ, ЛАЙФХАКИ

Доклад про особенности управления ML-продуктами: разберем этапы проектов с использованием ML — будь то создание простой модели или целого продукта, для каждого этапа подсветим основные риски, способы их минимизировать и работающие лайфхаки. Слушатели получат новые знания, которые позволят структурировать весь спектр рисков специфичных ML продуктов и организовать работу с учётом этих рисков: точно оценить сроки и быстрее получить первый результат, эффективнее построить roadmap проекта и обезопасить себя и команду в случае форс-мажоров, а также заложить нужное количество ресурсов на внедрение и поддержку ML в своем сервисе.		КИРИЛЛ НИКОЛАЕВ, CDO ТИНЬКОФФ

КАК И КОГДА ПАКОВАТЬ МОЛОКО ПО 0,9 Л? СЛОЖНЫЕ ПРОДУКТОВЫЕ РЕШЕНИЯ НА ОСНОВЕ РАЗМЕНА МЕТРИК КОМПАНИИ В А/В-ТЕСТАХ

Многие современные бизнесы тестируют изменения в A/B-экспериментах. Когда тест показывает противоположные результаты в метриках, департаменту аналитики важно уметь принимать взвешенное решение. В такой ситуации часто наступает «паралич», и решения или не принимаются, или принимаются наугад на основе «интуиции».

О чем узнаете:
- что такое размен метрик
- на чем основана методология определения выгодного размена
- что делать, когда наступает «паралич» в принятии решений
- как действовать в описанных выше ситуациях и на основе аналитики принимать верные эффективные решения
- обсудим, как не завести бизнес в тупик через неправильные решения в A/B
- поделюсь примером эффективного размена метрик в Тинькофф		СЕРГЕЙ ТИХОМИРОВ, АВТОР PRODUCT ARCHITECTURE FRAMEWORK, EX-HEAD OF PRODUCT «ЯНДЕКС ПРАКТИКУМ», АВТОР КАНАЛА @PRODUCTCLUB


СВЯЗКА PRODUCT OPS И МЕТРИК: ОЦЕНКА ЭФФЕКТИВНОСТИ РАБОТЫ МЕНЕДЖЕРА ПРОДУКТА

Определение эффективности работы менеджеров продукта - одна из самых проблемных тем отрасли. С одной стороны, все говорят, что для продактов важнее soft skills, что он в первую очередь должен быть коммуникатором. С другой стороны, бытует мнение про mini-CEO. С третьей стороны, менеджеры продукта могут вообще отвечать только за процессы разработки продукта. Возникает вопрос - а в чем же смысл управления продуктами и как понять, что конкретный менеджер действительно выполняет свои обязанности качественно и эффективно? Доклад посвящен анализу деятельности менеджеров продуктов в контексте нескольких слоев их процессов работы. Связывая метрики результативности и эффективности с этими процессами можно сформировать набор критериев для оценки менеджеров по продукту вне зависимости от конкретного продукта или компании.		ТАТЬЯНА НИКОЛАЕВА, МАРКЕТИНГОВЫЙ АНАЛИТИК РИТЕЙЛА, СБЕРМАРКЕТ

ПОСТРОЕНИЕ ГЕОАНАЛИТИКИ С ПОМОЩЬЮ KEPLER: НАШ ПУТЬ К ГИПЕРЛОКАЛЬНОМУ МАРКЕТИНГУ

Расскажем о том, как мы хотели идти в гиперлокальный маркетинг и как для решения этой задачи попробовали новый для нас подход к работе с геоаналитикой.
Мы столкнулись с рядом проблем, связанных с хранением геоданных, и поняли необходимость создания собственных инструментов для их сбора и анализа. Обо всем этом мы расскажем в рамках мастер класса. Подробно остановимся на таких процессах, как:
- Сбор и подготовка геоданных: проблематика процедуры хранения геоданных и поиск решений, источники общедоступных геоданных и методы их сбора, объединение данных из различных источников
- Визуализация геоданных: выбор инструмента визуализации (Kepler) и его преимущества, настройка визуализации для удобного отображения метрик аналитиками и менеджерами
- Применение геоаналитики в маркетинге: результаты геоаналитики по Москве с точки зрения маркетинга, воздействие на стратегии таргетинга, размещения и оценки эффективности кампаний, планы по дальнейшим исследованиям и расширению использования геоаналитики		11:00 11:30
26
27
11:35 12:05АРТЕМ СОЛОУХИН, РУК-ЛЬ АНАЛИТИКИ И ИНФРАСТРУКТУРЫ ДАННЫХ WILDBERRIES
АННА ШИЛИНА, ПРОДУКТОВЫЙ АНАЛИТИК WILDBERRIES

РАЗРАБОТКА И ИСПОЛЬЗОВАНИЕ SESSION VIEWER В E-COMMERCE

Session viewer - инструмент, который позволяет изучать последовательности действий каждого отдельного пользователя в рамках его сеанса, с целью выявления закономерностей (аномалий) поведения пользователя (групп пользователей) с помощью ассоциативных правил, прикладной теории графов и других методов. Идеальный session viewer - это собственный session viewer, разработанный с учетом специфики вашей бизнес-модели. Слушатели лекции смогут узнать технические особенности шагов Wildberris в разработке session viewer, переиспользовать какие-то решения, учесть проблемы в своих начинаниях. Слушателям удастся гораздо быстрее реализовать такой же инструмент в своей компании. В рамках доклада подробно разберем какие именно потребности закрывает session viewer; какие могут быть проблемы при его реализации (eventBinding и далее) и уделим время разбору существующих решений и архитектуре, которая может закрыть потребности пользователей		ДМИТРИЙ КАЗАКОВ, ДИРЕКТОР ПО АНАЛИТИКЕ KOLESA GROUP

CAUSAL IMPACT. КАК ДЕЛАТЬ ЭКСПЕРИМЕНТЫ ТАМ, ГДЕ НЕТ КЛАССИЧЕСКИХ АБ-ТЕСТОВ. ТЕОРИЯ, ПРАКТИКА И "ПОДВОДНЫЕ КАМНИ" МЕТОДА

1. Одной из проблем использования других методик causal inference в том, что они могут обманывать вас и повышать ошибки 1 и 2 рода в ваших экспериментах. К сожалению, causal impact не исключение. Но как корректно оценить эти ошибки при такой методике эксперимента? Расскажу и покажу, как это делаем мы. И как после таких оценок мы стали намного более осознано использовать эту методику.
2. Покажу, в каких кейсах оправдано использовать causal impact, а где лучше не надо. Рассмотрим несколько реальных кейсов применения методики: успешные и не очень. Подсвечу, как не наступать на те же грабли, на которые наступали мы.
3. Самый важный аспект работы метода - подбор правильных ковариат / предикторов. Покажу корректный алгоритм перебора ковариат, который минимизирует ошибки 1 и 2 рода при использовании методики. Рассмотрим, как еще можно искать правильные ковариаты.
4. По умолчанию в алгоритме causalimpact используются встроенные модели временного ряда, но иногда использовать нужно другие модели. Посмотрим, как их использовать и что это может дать вашим экспериментам.

АЛЕКСАНДР ИГНАТЕНКО, АВТОР КАНАЛА "МОДЕЛЬ АТРИБУЦИИ"

УРОВНИ РАБОТЫ С КОНВЕРСИЕЙ – ШПАРГАЛКА ДЛЯ ПРОДАКТОВ И ПРОДАКТ-МАРКЕТОЛОГОВ

Конверсия - почему с ней не все так однозначно? Как продакту и продакт-маркетологу работать с конверсией. Какие уровни работы с конверсией бывают и в чем между ними разница? Я хочу повысить конверсию - с чего начать? Гигиена в работе с конверсией. Слушатели узнают как зарабатывать для бизнеса "до" или "вместо" изменений в продукте		11:35 12:05
28
29
12:10 12:40ВИОЛЕТТА МОРОЗОВА, РУК-ЛЬ КОМАНДЫ АЛГОРИТМОВ ЭКСПЕРИМЕНТАЛЬНЫХ ТЕХНОЛОГИЙ ЯНДЕКС.ТАКСИ

ПОПУТНЫЕ ЗАКАЗЫ В РЕЖИМАХ "ДОМОЙ" И "ПО ДЕЛАМ"

Ситуация: водитель такси хочет уйти с линии и поехать домой. Идеальный вариант для него — попутный заказ в направлении дома. Алгоритмы Яндекс.Такси подбирают ему такой попутный заказ. Так водитель может заработать больше, а мы получим +1 машину, что очень нужно в час пик.

Я расскажу вам, как алгоритмы Яндекс.Такси подбирают попутные заказы. Вместе мы узнаем:
- что делает алгоритм матчинга для поиска попутных заказов
- как правильно поставить эксперимент для сравнения разных версий алгоритма
- почему важно бороться с сетевыми эффектами при тестировании изменений
- как оценить долгосрочное влияние на продукт		КИРИЛЛ КОЧНЕВ, РУК-ЛЬ ПРОДУКТОВОЙ АНАЛИТИКИ HEADHUNTER

КАК КАУЗАЛЬНЫЕ ГРАФЫ И ЛИНЕЙНЫЕ МОДЕЛИ ОТВЕТЯТ НА ВСЕ ВАШИ ВОПРОСЫ В А/В-ТЕСТАХ

Часто аналитики усложняют расчёт А/В-тестов, внедряя множественное тестирование, учитывая гетерогенный эффект и разницу между группами до теста. Я расскажу, как наиболее правильно учитывать различные факторы при анализе А/В-тестов и дам фреймворки для расширения/усложнения расчета без ошибок.

В рамках доклада поговорим о:
1. DAG’ах, что такое каузальный модель и при чем здесь графы
2. Как проводить множественное тестирование при анализе подгрупп
3. Почему не всегда нужно учитывать предварительную разницу между группами		НОВИКОВА МАРИЯ, SENIOR ANALYST И КОРОЛЕВА МАРИЯ, TL UX RESEARCHERS AVITO

КАК ГРАМОТНО ОЦИФРОВЫВАТЬ ПОЛЬЗОВАТЕЛЬСКИЙ ОПЫТ И СТАВИТЬ НА НЕГО ЦЕЛИ?

В рамках лекции слушатели получат ответы на следующие вопросы: зачем замерять удовлетворенность пользователей и с помощью какой метрики это делать? Как аналитически проверить выбранную метрику и убедить бизнес, что она подходит для оценки продуктовых изменений и постановки целей? Как взаимодействовать со стейкхолдерами, чтобы не потонуть в коммуникациях и постоянных доработках? Будет раскрыта техническая сторона вопроса: как построить регулярный процесс сбора обратной связи от пользователей и продуктовый дашборд, полезный всем стейк-холдерам. Расскажем, какие сценарии применения CES мы уже выделили, исходя из своего опыта. После доклада слушатели научатся выбору и способам замера метрики пользовательского опыта. Смогут перенять действующие алгоритмы по составлению опроса для пользователей и узнать, с какими проблемами им придется столкнуться при внедрении такой метрики на всю компанию. Смогут применять фреймворк для аналитического исследования такой метрики в связи с бизнес-метриками. Получат алгоритм для сбора данных и постановки целей на эту метрику и узнают где и как стоит замерять такую метрику в продукте		АНДРЕЙ КУЛАГИН, HEAD OF ML & PRODUCT ANALYTICS UZUM MARKET

A/B-ПЛАТФОРМА GROWTHBOOK 101: ЗАПУСКАЕМ ЭКСПЕРИМЕНТ ВМЕСТЕ — ОТ НАЧАЛА ДО КОНЦА

Разберем азы работы с экспериментами на A/B-платформе GrowthBook.
Примерив на себя роль продуктового аналитика в онлайн-маркетплейсе, вместе запустим эксперимент и проанализируем его результаты. Посмотрим, как работает добавление метрик, как влияют различные параметры анализа эксперимента и какие встроенные фишки есть у платформы. Увидим, чем отчеты байесовского движка отличаются от фреквентистского и какие выводы можно по ним делать.
Для воркшопа понадобится ноутбук с доступом в интернет.		12:10 12:40
30
31
12:45 13:15АЛЕКСАНДР ДАВЫДОВ, РУК-ЛЬ ПРОДУКТОВОЙ АНАЛИТИКИ КОММЕРЧЕСКИХ ПРОДУКТОВ SAMOKAT.TECH

КОМПЛЕМЕНТАРНЫЕ ТОВАРЫ, ИЛИ ЧЕМ НАШИ КЛИЕНТЫ ЗАПИВАЮТ ДЕТСКОЕ ПИТАНИЕ

Комплементарные товары — те, что приносят большую пользу вместе, чем каждый по отдельности: огурцы и помидоры, кофе и круассан, стол и стул. С учетом ограниченного пространства ЦФЗ нужно сделать так, чтобы в минимально возможную площадь хранения и минимально возможный выбор на витрине уместилось то, что создаст много продаж, а это значит, что товары должны быть максимально полезными и востребованными. Товары-комплементы хорошо подходят под эти требования: мы знаем, какие товары тригерят продажи других, и наоборот — что почти не покупают без пары. При этом, бизнес понимал комплементарные товары по своему — для него это были скорее товары из разных категорий ( гель для мытья посуды + губка). На практике же оказалось, что комплементов больше внутри одной категории. Мы провели исследование и нашли устойчивые комплементарные связки (а также ошибки и неочевичные связи), чтобы дать дополнительную опору категорийным менеджерам при вводе-выводе товаров и поделимся со слушателями этой методологией		АЛЕКСЕЙ ГОРБАТОВ, HEAD OF B2C ANALYTICS OZON FINTECH

КАК МИКРО-КОМАНДОЙ АНАЛИТИКОВ СОПРОВОЖДАТЬ СОТНИ ЗАПУСКОВ ФИЧЕЙ И НЕ ТЕРЯТЬ ФОКУС И СКОРОСТЬ

Расскажу о том, как процессно аналитика и моделирование встроены в цикл релиза фичей и быструю валидацию результата и том, насколько это ускоряет запуски и минимизирует потери.
Начнем с "helicopter view" на схему процесса сопровождения запуска фичи, выраженный через цели, фокус и задачи. Далее поговорим о том, каковы этапы запуска фичи: контракт с банковским back-end'ом, front-end, web-view, cвоя трекинговая система, разметка, тестирование. После этого обсудим процесс дизайна теста, расскажем о ключевых метриках эффективности и собственных коробочных решениях для экспериментов. Подробно остановимся на моментах как разрешаются ситуации, когда по тем или иным причинам фичу протестировать нельзя, но эффект для бизнеса необходимо найти и разберем process-mining для нахождения путей пользователя и PSM для поиска "похожих"		ЮЛИЯ РАНН, СРО СЕТКА (HEADHUNTER)

DATA-DRIVEN ТОП-МЕНЕДЖМЕНТ

Если у вас в компании продукт не общается с маркетингом, разработчики ни за что не отвечают, а продакты крутят бесконечные АБ-тесты в то время как PNL катится в тартарары - этот доклад для вас. Когда строишь продукт и компанию с нуля есть возможность выстроить управление так, чтобы между командами и департаментами не было конфликтов интересов, все были синхронизированы на общую цель, и при этом фокусировались на своих метриках, не мешая друг другу. Тут нам на помощь приходит аналитика: деревья метрик, скоринговые модели и BI-система. Поговорим о том, как выстроить оргструктуру, которая будет работать на результат и как принимать управленческие решения, которые влияют на успех всего проекта. Расскажу свои кейсы из Сетки и Level.Travel - компаний, в которых дата-дривен внедряется не снизу вверх, а сверху вниз. Слушатели научатся разделять зоны ответственности и принимать решения о развитии в юните/бизнесе/стартапе/продукте так, чтобы всем было удобно		12:45 13:15
32
33
13:20 13:50БЕЛЯКОВ ЮРИЙ, СТАРШИЙ СПЕЦИАЛИСТ ПО АНАЛИЗУ ДАННЫХ СБЕРМАРКЕТ

SURGE PRICING: ИСКУССТВО УПРАВЛЕНИЯ ПЛАНОВОЙ ДОСТАВКОЙ

Автоматизация управления слотами и наценками – это сложный, но чрезвычайно увлекательный процесс. Расскажем о том, как мы разрабатывали и внедряли этот алгоритм: от большой команды логистов и ручного режима к автоматике. Честно поделимся граблями, на которые наступили в процессе, какие решения нашли и как по итогу наш подход помогает СберМаркету находить баланс между спросом и предложением. Выступление даст возможность понять, какие уникальные и неожиданные сложности возникают при работе с плановой доставкой. Какая идея лежала в основе суржа в плановой доставке и как мы ее совершенствовали. Проблема в том, что качество суржа нельзя посчитать и прикинуть заранее. Более того, даже постфактум тяжело сказать, правильные ли решения принимал алгоритм. Аудитория получит понимание о том, на какие метрики смотреть, как фильтровать и использовать фидбек с ""полей"" для улучшения продукта, который не имеет похожих аналогов. Каждый гипермаркет имеет свои особенности работы. Мы расскажем как учитываем все особенности магазинов, которые нельзя учесть явно. Доклад позволит перенять опыт о том, как масштабироваться от одного магазина до масштабов всей страны и не повторять наших ошибок. Как бороться со сложностями внедрения автоматизации, там где все делалось руками		ДЕНИС ПЛАТОНОВ, CEO EXCITE KIT

СНИЖЕНИЕ СТОИМОСТИ HADI-ЦИКЛА С ИНСТРУМЕНТАМИ ПРОДУКТОВОЙ АНАЛИТИКИ И A/B-ТЕСТИРОВАНИЯ ОТ UX ROCKET

- Почему важна стоимость HADI-цикла
- Как ускорить HADI-цикл и показать результат
- Новое поколение аналитиков без SQL, но с AI
- Куда развиваются инструменты продуктовой аналитики
- Почему A/B-тесты набирают популярность в МСБ
- Почему не стоит «изобретать велосипед»
- Есть ли жизнь после отключения Cookies и почему Google отключил Optimize
- Как UX Rocket планирует завоевать любовь аналитиков и продактов в РФ
АЛЕКСАНДР МАХОНИН, РУК-ЛЬ ПРОДУКТА ГАЗПРОМ IDЕВГЕНИЯ МУРЗАЕВА, SENIOR ANALYST АВИТО
ЮЛИЯ ГОЛУБЕВА, SENIOR ANALYST АВИТО

ВОРКШОП ПО TRACTION: УЧИМСЯ ПРОГНОЗИРОВАТЬ ЭФФЕКТ НА ВЫРУЧКУ И КЛЮЧЕВЫЕ МЕТРИКИ ОТ НОВОЙ ФИЧИ ИЛИ ПРОДУКТА

Traction - это прогнозная модель эффекта новой фичи/продукта на финансовые метрики компании. Трекшен строится через разложение основных метрик продукта на драйверы (причины, почему выручка будет меняться) и сегменты. Качественный трекшн помогает и аналитику, и продукту, и стейкхолдерам: команда понимает, какую ценность несет их новый продукт, а стейкхолдерам становится просто оценить потенциал идеи и ее проработанность. Мы адаптировали подход к построению трекшена внутри компании так, что на воркшопе аналитик любой компании научится прогнозировать импакт от своего продукта и доносить его ценность для своих стейкхолдеров. Учимся приоритезировать продуктовый беклог и просчитывать потенциал фич/продуктов. В рамках воркшопа слушатели научатся заглядывать в будущее и прогнозировать влияние на ключевые метрики еще не созданного продукта (а также считать прибыль), раскладывать основные метрики продукта на драйверы и сегменты и защищать видение продукта перед стейкхолдерами		13:20 13:50
34
35
13:55 14:25АЛЕКСАНДР АЙВАЗ, УПРАВЛЯЮЩИЙ ДИРЕКТОР ПО ДАННЫМ И АНАЛИТИКЕ LAMODA

M ИЛИ L – РЕШИТ ML. КАК УЧЕТ РАЗМЕРОВ ВЛИЯЕТ НА ЭФФЕКТИВНОСТЬ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ В FASHION E-COMMERCE

В Lamoda мы применили машинное обучение для помощи пользователям в выборе подходящего размера. Рекомендации помогают точнее попасть в ожидания и повысить вероятность покупки. Но для роста бизнес-метрик также важно предлагать пользователям больше релевантных товаров подходящего размера. Как и в каких продуктах мы это реализовали – рассмотрим в докладе.		ГОРДЕЕВА ВИКТОРИЯ, РУК-ЛЬ ПРОДУКТОВОЙ АНАЛИТИКИ ОК.RU

ВЕЧНЫЙ КОНТРОЛЬ: ЗАЧЕМ ОН НУЖЕН И КАК ОРГАНИЗОВАТЬ ЕГО ТАК, ЧТОБЫ НЕ СОЙТИ С УМА

В А/Б-тестировании есть практика ""вечного контроля"" (holdout). Она очень распространена в бигтехе за границей, но намного менее популярна в России. В рамках данного доклада расскажу о ценности данной практики: бизнесу в целом и аналитику в частности, а также о том, как выбирать вечный контроль. Основаная часть доклада посвящена тому, как именно организовать такой процесс в компании с большим количеством экспериментов и запускаемых фич. На первый взгляд процесс кажется довольно простым, но на практике все оказывается намного сложнее. Я расскажу пройденный Одноклассниками путь - от совсем наивного подхода в организации данного процесса до рабочего решения, опишу грабли, на которые мы наступили и которые слушатели смогут избежать. Подсвечу проблемы и расскажу о выбранных нами решениях. Финальный блок доклада будет посвящен корнер-кейсам, о которых не думаешь заранее, но с которыми нужно что-то решать в момент столкновения с ними - приведу список встреченных нами и расскажу, как эти проблемы решали мы. Отдельно упомяну, как можно сделать весь этот процесс менее болезненным для разработчиков.
Доклад будет полезен для продуктовых аналитиков, продактов и для всех, кто сталкивается с А/Б-экспериментами внутри компаний. Слушатели получат практически готовое руководство, как пройти процесс организации отложенного контроля с минимальными болями и смогут сравнить свой путь с пройденным нами		НАТАЛИЯ НОВОСЕЛОВА, МЕНЕДЖЕР ПРОЕКТОВ СКБ КОНТУР

РОБОТИЗАЦИЯ ПРОЦЕССА ПРОДЛЕНИЯ ПОЛЬЗОВАТЕЛЕЙ B2B SAAS-РЕШЕНИЙ

Мы смогли воспроизвести в онлайне все то, что делает клиентский менеджер в офлайне и не потеряли в качестве. Вы можете создавать множество прекрасных продуктов, успешно их продавать, но в какой-то момент возникает вопрос: а кто будет обслуживать этих клиентов? Кто будет с ними работать, если они не продлевают ваш сервис? И ваш приток может быть равен оттоку. А это значит, что вы не будете прирастать в клиентах и выручке. В докладе речь пойдет о том, как мы шли от полного отрицания нововедений к поддержке и крупномасштабным изменениям на уровне компании.Я расскажу о том, как инфраструктура может приносить экономический эффект, а грамотно спроектированные и автоматизированные процессы могут не только существенно сократить затраты, но и улучшить клиентский опыт и поможет удерживать Retention Rate на уровне выше 80%		13:55 14:25
36
37
14:30 15:00ВЛАД МАШТАЛЕР, TECH LEAD СРАВНИ.РУ

ВНУТРЕННЯЯ АНАЛИТИКА ИЛИ ЗАЧЕМ МЫ ОЦИФРОВАЛИ СОБСТВЕННУЮ РАЗРАБОТКУ

Фокус аналитиков обычно направлен на пользовательское поведение, продуктовые и финансовые метрики, обделяя вниманием внутренние процессы. А разработка в большинстве случаев ограничивается мониторингами работоспособности сервисов и SLA. Мы в Сравни решили оцифровать работу техстрима, благодаря чему: знаем о потеренной выручке из-за проблем на проде, видим влияние изменений в Git на продуктовые метрики, оптимизируем работу с инцидентами и багами, улучшаем TTM разработки от проработки задач до QA и релиза. Все это позволяет уделять должное внимание работе с техдолгом, выявлять узкие места и оптимизировать внутренние процессы, а техническим и сервисным командам видеть финансовый результат своей работы.		КРУГЛЫЙ СТОЛ

ГЛОБАЛЬНЫЙ КОНТРОЛЬ: НЕОТВЕЧЕННЫЕ ВОПРОСЫ И ЧТО ЕЩЁ МОЖЕТ ПОЙТИ НЕ ТАК

ГОРДЕЕВА ВИКТОРИЯ, РУК-ЛЬ ПРОДУКТОВОЙ АНАЛИТИКИ ОК.RU
ЛЕОНОВА ДАРЬЯ, ПРОДУКТОВЫЙ АНАЛИТИК GARAGE EIGHT
МЕРЕНКОВ ИВАН, АНАЛИТИК ЯНДЕКС ТАКСИ		АНДРЕЙ БАДИН, CEO PRODUCT LAB

ПРОДУКТОВАЯ СТРАТЕГИЯ НА РАЗНЫХ СТАДИЯХ РАЗВИТИЯ ПРОДУКТА

Все делают продуктовую стратегию по-своему. А что такое продуктовая стратегия на самом деле? Перспектива, позиция или план? Чем отличается продуктовая стратегия на разных этапах создания продукта? Какие есть стратегические фреймворки и какие еще предстоит создать? Лекция направлена на получение знаний о том, что такое продуктовая стратегия, как разрабатывать продуктовую стратегию на разных этапах жизни продукта		14:30 15:00
38
39
40
15:00 16:00ПЕРЕРЫВ 15:00 15:30
41
42
43
16:00 16:30ЕВГЕНИЙ ПАПЕРНЫЙ, РУКОВОДИТЕЛЬ НАПРАВЛЕНИЯ МЕДИЦИНСКИХ ИНФОРМАЦИОННЫХ ПРОДУКТОВ, СБЕР

КАК GIGACHAT СДАЛ ЭКЗАМЕН НА ВРАЧА		ЕВГЕНИЙ МАЛЫГИН, МЕГАФОН

ГЕО-АНАЛИТИКА В ТЕЛЕКОМЕ: ГДЕ ПОСТАВИТЬ ВЫШКУ, ПОСТРОИТЬ МАГАЗИН И КАК ПРОВЕСТИ КАРТИРОВАНИЕ АБОНЕНСТКИХ ПРИЗНАКОВ

В докладе расскажем о том, какие подходы гео-аналитики используются для решения проблемы высокой нагрузки на сотовую сеть МегаФон. В отличие от задачи увеличения покрытия, где в явном виде известны зоны отсутствия связи, нам необходимо локализовать участки, где наблюдается ухудшение качества связи и снижение скорости интернета. Путем моделирования вероятности нахождения абонентов в зоне покрытия базовой станции, которая рассчитывается с учетом местоположения, радиуса действия базовых станций, технических показателей сети и дополнительных картографических данных (расположения домов, дорог, тип поверхности и т.д.), мы строим карты дефицита интернет-соединения, локализуем проблемные области и предлагаем оптимальную стратегию улучшения качества сети. Данный подход также лег в основу методики картирования абонентских признаков. Например, для различных городов и регионов России можно получить карты распределения количества абонентов, их времени пребывания в локации, среднего возраста, пола и аггрегаты любых других абонентских признаков, которые могут быть использована для гео-маркетинговых исследований и построения признаков для моделей машинного обучения. 		ВЛАДИМИР АБАЗОВ, РУК-ЛЬ НАПРАВЛЕНИЯ ПРОДУКТОВОЙ АНАЛИТИКИ ТИНЬКОФФ

КАК УПРАВЛЯТЬ ОТДЕЛОМ, ЧТОБЫ ТЕБЯ ПРОСИЛИ РАСТИТЬ ШТАТ АНАЛИТИКОВ

Разберем, как на всех уровнях менеджмента компании объяснить зачем нужна аналитика: пошаговая инструкция для тимлидов и руководителей групп аналитиков. Подробно расскажу о том, как сделать аналитику прозрачнее, как отчитываться по результатам аналитики. Остановимся на таких вещах как выстривание коммуникации в отделе и вне его, какие цели ставить себе, как общаться с топами и пирами в разных ситуациях. Доклад будет полезен руководителям групп/отделов аналитики, аналитикам и продакт-менеджерам		ДЕНИС ПЛАТОНОВ, CEO EXCITE KIT

ПОВЕДЕНЧЕСКАЯ АНАЛИТИКА И ЭКСПРЕСС A/B-ТЕСТЫ

- Что такое поведенческая аналитика?
- Как связаны «Поведенческая аналитика» и «Сбор событий»?
- Как поведенческая аналитика работает (кейсы клиентов)?
- Разбираем отчеты «Когортный анализ» и «Пути клиентов»		16:00 16:30
44
45
16:35 17:05КСЕНИЯ БЛАЖЕВИЧ, HEAD OF ML&DS LEROY MERLIN

КАКИЕ ФИЧИ И ПРОДУКТЫ МОЖНО ПОСТРОИТЬ НА БАЗЕ ТЕХНОЛОГИЙ GEN AI: ПРАКТИЧЕСКИЙ ГАЙД

Решения, которые можно построить на generative AI, делятся на три типа: основанные на готовых сервисах; finetuning/guardrails над предобученными сетками и дообучение/ переобучение foundation models. В докладе проведем сравнение решений по затратам на их создание (объемы разработки, специфические компетенции, необходимые пререквизиты, стоимость инфраструктуры) и рискам (валидация результатов, конфиденциальность данных) и приведем примеры реальных бизнес-кейсов (в индустрии и у нас в компании). Все слушатели получат практический гайд по тому, какие фичи можно, а какие не стоит пилить на gen AI и как выбрать конкретную реализацию		АЛЕКСАНДР СЕМЕНОВ, РУКОВОДИТЕЛЬ КОМАНДЫ РАЗРАБОТКИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ СБЕР

ПОСТРОЕНИЕ РЕКОМЕНДАЦИЙ В МУЗЫКАЛЬНОМ СТРИМИНГЕ

Музыкальные рекомендации сложны разнообразием вкусовых предпочтений наших слушателей, а также способами прослушивания контента. Кто-то любит слушать много музыки в разных жанрах, ищет что-то новое для себя, а кто-то предпочитает слушать исключительно своих любимых исполнителей. Кто-то предпочитает рекомендации, а кто-то редакторские подборки. Пространство для применения алгоритмов огромно. Мы расскажем про то, с какими задачами мы столкнулись при построении музыкальных рекомендаций в Сбере и как их решали. Надеемся, что слушатель сможет почерпнуть из нашего доклада полезные для себя идеи.		ИРИНА ГОЛОЩАПОВА, CDO RAIFFEISENBANK OPERATIONS

СОВЕТЫ НАЧИНАЮЩЕМУ CDO		16:35 17:05
46
47
17:10 17:40АЛЕКСЕЙ ДОЛОТОВ, CPO YANDEX GPT API

РЕЦЕПТ LLM ДЛЯ ВАШЕГО БИЗНЕСА. КАКИЕ ДАННЫЕ ПОЛОЖИТЬ И ЧЕМ ПРИПРАВИТЬ, ЧТОБЫ ИЗВЛЕЧЬ ПОЛЬЗУ?		РАДОСЛАВ НЕЙЧЕВ, СТАРШИЙ РАЗРАБОТЧИК ЯНДЕКС, ЗАМ. ЗАВ. КАФЕДРЫ МАШИННОГО ОБУЧЕНИЯ МФТИ

LLM В КАРЬЕРЕ И ОБРАЗОВАНИИ: КАК УЧИТЬСЯ С ПОМОЩЬЮ МАШИН

Как использовать LLM для образования и декомпозиции сложных материалов?
AI-powered mock-up интервью: (от) собеседуй себя полностью
Зачем (и как) объяснять нейронке, что мы от нее хотим, и причем тут работа с командой.
Все это с примерами, инструментами и "как не стоит делать"		СЕРГЕЙ ПАЛАМАРЧУК, ДИРЕКТОР ДИВИЗИОНА РАЗВИТИЯ ЦИФРОВОГО ПРОФИЛЯ КЛИЕНТА СБЕР

ПРОАКТИВНАЯ АНАЛИТИКА ДЛЯ ПРИНЯТИЯ БИЗНЕС-РЕШЕНИЙ

Слушатели узнают, как крупный бизнес оперативно формирует аналитику и как на её основе принимаются решения. Подход к решению аналитических задач, который будет раскрыт на докладе, могут применять как крупные, так и небольшие компании.
· фреймворк решения аналитических задач (+ deep dive)
· мониторинг аномалий в данных для определения инсайта в момент его формирования (+ deep dive)
· формируем гипотезы и предложения для бизнеса на базе аналитики (+ deep dive)
В рамках доклада будут приведены многочисленные кейсы применения		МАСТЕР-КЛАСС ОТ САМОКАТ.TECH ПО ДИЗАЙНУ А/Б-ТЕСТОВ17:10 17:40
48
49
17:45 18:15GIGACHATХАЛИД ДЖАВАДОВ, PRODUCT MANAGER ADTECH-НАПРАВЛЕНИЯ HH.RU

ВНЕДРЯЕМ GENAI В РЕКЛАМНЫЕ ТЕХНОЛОГИИ		17:45 18:15
50
51
18:20 19:00Александр Сербин, руководитель продуктовой аналитики, ЦИАН

Путь от доски объявлений до рекламного маркеплейса: аналитический взгляд		18:20 18:50
52
53
54
19:00 21:00АФТЕРПАТИ НА ПЛОЩАДКЕ: РАСПИСАНИЕ ВЕЧЕРИНКИ СКОРО ПОЯВИТСЯ19:00 20:00
55
56
30 МАЯ (чт) - ОНЛАЙН
57
58
11:00 11:40НИКОЛАЙ ГОЛОВ, HEAD OF DATA ENGINEERING MANYCHAT

ОТ LLM К ЭМБЕДДИНГАМ - РАБОТА В ПРОСТРАНСТВЕ СМЫСЛОВ С ТОЧКИ ЗРЕНИЯ ПРОДУКТОВЫХ ФИЧЕЙ И АНАЛИЗА ДАННЫХ.

Идея эмбеддингов - language agnostic и представление смысла текстов для автоматизированного анализа. Простейший кейс применения эмбеддингов - поиск фрода. Рассмотрим aлгоритм RAG (Retrieval Augmented Generation) и выясним, как с помощью эмбеддингов добавить глубокие знанени к вашему AI-агенту. Научимся делать кластеризацию на пространстве эмбеддингов для анализа сложных объектов (документов, текстов, переписок, эккаунтов). Аудитория поймет, как сделать шаг от обычных LLM (ChatGPT) к LLM с глубокими предметными знаниями		ИЛЬЯ ЛОЛАДЗЕ, ПРОДУКТОВЫЙ АНАЛИТИК SAMOKAT.TECH

АЛГОРИТМ ПОИСКА КУРЬЕРОВ И ПОИСК БАЛАНСА В МАРКЕТПЛЕЙСЕ В УСЛОВИЯХ UNDERSUPPLY

На примере сервиса экспресс-доставки Самоката Илья расскажет как оценивать точность прогноза supply-часов с учетом сезонности (скорость курьеров и спрос меняется), работы динамического минимального чека (влияющего на конверсию в заказ) и затрат на вывод курьеров. Как разложить оценку этой точности на граф ошибок для определения ключевых точек улучшения. Как найти баланс метрик сервиса доставки (опоздания, утилизация, затраты). Как дальше работать с этим прогнозом, предлагать идеи для улучшений, симулировать эффект от них на исторических данных и после запускать оффлайн-A/B		АЛЕКСЕЙ ЧЕРНОБРОВОВ, ЯНДЕКС МАРКЕТ

ВЛИЯНИЕ СЕТЕВОГО ЭФФЕКТА В АБ-ТЕСТАХ НА UNIT-ЭКОНОМИКУ В РИТЕЙЛЕ

Юнит экономика (UE) - важный показатель для любого современного ретейлера. Она показывает какой заработок есть на заказа. Из среднего чека вычитаются все переменные затраты: себестоимость товаров, логистика, хранение на складе, маркетинг и другие. Для ритейлера показатель UE является критическим важным особенно если он около 0. Поскольку если он отрицательный то с каждым новом заказом увеличивается убыток.
Поэтому часто оптимизируют UE проводя различные тесты в бизнесе.
Разумеется, АБ-тесты являются важным подходом для улучшения различных бизнес показателей. Однако они содержат множество подводных камней, например иногда возникают сетевые эффекты, когда группы А и Б влияют друг на друга неявным образом.
В докладе я расскажу о сетевых эффектах, которые возникают при АБ-тестах на UE. Как с ними можно бороться, и как правильно оценить результаты		СЕРГЕЙ МАКСИМОВ, ПРОДУКТОВЫЙ АНАЛИТИК, ЦИАН

ОЦЕНКА КУММУЛЯТИВНОГО ЭФФЕКТА ИЗМЕНЕНИЙ В ПЕРИОД РОСТА РЫНКА С ПОМОЩЬЮ А/В-ТЕСТА

Расскажу про инструмент, который позволит выделить изменения в зашумленных данных или периодах турбулентности. Рассмотрим текущие open source инструменты и сравним их с вечным контролем. С какими проблемами столкнулись, какие выводы получили и чего нам это стоило?
59
60
11:45 12:25ЯРОСЛАВ КУЛАКОВ, АНАЛИТИК YANGO

КАК ИСПОЛЬЗОВАТЬ ЗНАНИЯ О ПОЕЗДКАХ ЛЮДЕЙ В ТАКСИ ДЛЯ УЛУЧШЕНИЯ КАРТ

Для пользователей нашего Такси очень важна полнота контента в картах (особенно в странах Африки). Мы стремимся к тому чтобы на картах были отмечены все возможные организации, предприятия, бизнесы, центры. При таких больших объемах данных неизбежно могут возникать ошибки в местоположении организаций на карте, что ведет к плохому пользовательскому опыту. Человеческого ресурса (или денег) проверять каждую организацию на корректность может не хватить. Но благодаря тому, что мы предоставляем услуги такси, мы распологаем большими объемами данных о том, куда люди катаются в реальности. В этой презентации мы расскажем, как, используя данные поездок наших пассажиров, автоматически находить и исправлять организации на карте, которые располагаются не там, где они находятся в реальности, не тратя деньги и улучшая пользовательский опыт. Как измерить "уверенность" в том, что организация расположена правильно, и к каким последствиям на метриках приводит исправление ее местоположения.		МАРИЯ МАНСУРОВА, LEAD ANALYST WISE

LLMS FOR PRODUCT ANALYTICS: HOW TO START USING IT TOMORROW

LLMs у всех на слуху, но не так много людей правда используют их в работе. В своем докладе я хочу рассказать, как вы можете их правда использовать:
- Day-to-day tasks: брейнсторминг, редактура текста, code partner, summarisation больших документов, knowledge base, perfect translation больших документов
- Your product: OPS automation + tasks automation
- Data Analysis: в наших продуктах зачастую есть много текстов, которые мы недоиспользуем, с помощью LLMs вы можете делать data extraction, sentiment analysis and topic modelling		ЮЛИЯ МОТИНА, CEO SBC, EX-РУК-ЛЬ ПРОДУКТОВОГО ОФИСА СБЕРА

КАК И КАКИЕ РЕШЕНИЯ ПРИНИМАЮТСЯ НА УРОВНЕ CPO, ПРОДАКТОВ И КОМАНД ТРАНСФОРМАЦИИ. ПРИЧЕМ ЗДЕСЬ ДАННЫЕ?

Как CPO понять что происходит с их -1? На чем сфокусироваться чтобы команда преодолевала кризисы и принимала вызовы? Причем здесь данные? Как данные видят неаналитики? За устранение каких кризисов в большей степени отвечает CPO и команда трансформации? Что сделать CPO и команде трансформации чтобы помочь продакт-менеджерам и аналитикам
61
62
12:30 13:10АЛЕКСЕЙ ДРАЛЬ, CEO BIGDATA TEAM

ГЕТЕРОГЕННЫЕ ХРАНИЛИЩА ДАННЫХ: ДОСТИЖЕНИЕ КОНСЕНСУСА

В докладе пойдет речь о следующих темах:
- Inter-cluster consistency
- MLOps
- Pipeline Orchestration: Airflow, MLflow, KubeFlow		КИРИЛЛ ШМИДТ, PRODUCT ANALYST TEAM LEAD WRIKE

ПЛАНИРОВАНИЕ ПО OKR И ОЦЕНКА РЕАЛИСТИЧНОСТИ ЦЕЛЕЙ В WRIKE

В рамках доклада будет рассказано о том, как ставить цели по OKR, как сделать их более реалистичными, проведя стресс-тестирование и как строить базовые модели для оценок OKR.
Подробно пройдем по следующим пунктам: как работает целеполагание по OKR, как наличие модели бизнеса и пирамиды метрик помогает формулированию целей по OKR, как, используя оценки top-down и bottom-up, оценить реалистичность целей по OKR, какие мы встречаем сложности в этом процессе в Wrike		ЕВГЕНИЙ ЕРМАКОВ, HEAD OF DATA PLATFORM TOLOKA.AI

DBT-AF. КОНТРОЛИРУЕМЫЙ ХАОС DATA MESH’А В ОБЕРТКЕ DBT НА DAG’АХ ВАШЕГО AIRFLOW

Мы хотим поделиться нашей библиотекой, которую недавно выложили в open-source. Эта библиотека позволяет интегрировать dbt - относительно новый, но уже достаточно популярный инструмент для описания трансформаций - и airflow - известного всем оркестратора etl-процессов. Доклад, как и инструмент, будет полезен: dwh командам, которые устали от гнета аналитиков, аналитикам, которые устали от медлительности dwh, всем, кому интересна практическая реализация data mesh с помощью доступных все инструментов

Библиотека: https://github.com/Toloka/dbt-af
63
64
13:15 14:25ВИКТОРИЯ ПИРОГОВА, CPO/FOUNDER ONECELL.AI

ПРИНЯТИЕ РЕШЕНИЙ НА ОСНОВЕ ML (AI-ADOPTION) В МЕДИЦИНЕ

OneCell — это телемедицинский комплекс с ИИ для патологоанатомических лабораторий. Мы ускоряем процесс диагностики онкозаболеваний, сохраняя высокий уровень достоверности результатов за счет собственного современного оборудования. Начнем с того, что расскажем, что такое цифровая патология и чем занимается OneCell.ai и почему каждое заключение должно быть провалидировано. Пройдемся по формированию заключения: входные и выходные данные, что влияет на интерпретацию. Подробно остановимся на проблемах принятия решений на основе ML в медицине:
explainability или «что тут вообще происходит»;
trust или «да я даже другим врачам не доверяю, а тут машина какая-то»;
AI-nxiety или «вы что меня заменить хотите, чтобы врачи все расслабились и потеряли практический опыт»;
safety или «кто гарантирует, что модель не вводит меня в заблуждение». Расскажем о том, как мы решали проблему c adoption через смену нарратива, как создали интегрированную среду, где AI-агенты - это только одно из мнений и выработали систему ограничений для обеспечения безопасности		АЛЕКСАНДР КУЗНЕЦОВ, ВЕДУЩИЙ АНАЛИТИК EXPF

РАЗВИТИЕ МЕТОДОЛОГИИ ПОИСКА ПРОКСИ-МЕТРИК В А/В ТЕСТАХ

В докладе рассмотрим подходы к поиску прокси метрик для А/В тестирования на различных этапах развития продуктовой компании. Подробно поговорим о поиске прокси на эксперементальном корпусе, использовании ML для поиска прокси, также коснемся исторических данных и эвристик. Сравним подходы в срезах основых этапов развития продуктовой компании.		АНДРЕЙ КУЛАГИН, HEAD OF ML & PRODUCT ANALYTICS UZUM MARKET
НИКИТА ДУБИЦКИЙ, ПРОДУКТОВЫЙ АНАЛИТИК UZUM MARKET

А/Б-ПЛАТФОРМА GROWTHBOOK: ИСТОРИЯ ВНЕДРЕНИЯ В UZUM MARKET

Доклад будет состоять из 3 частей:
1. Выбор. Почему в случае с A/B-платформой мы пошли в сторону “buy” в “build vs buy” дилемме. Приведем ключевые критерии выбора. Расскажем, почему в конечном итоге решили остановиться именно на GrowthBook, даже не смотря на ее минусы.
2. Внедрение. Про архитектуру отправки и хранения experiment exposures, работе с атрибутами и идентификаторами, первых фича-флагах и особенностях подключения клиентов с SDK на 6 языках программирования.
3. Работа с платформой. Разберем основные этапы в нашем текущем процессе работы с экспериментами в GrowthBook. Как выглядит процесс добавления новых метрик? Что должно быть учтено в дизайне A/B? Какие ключевые параметры анализа? Почему по-умолчанию мы используем байесовский движок, а не фреквентистский? Как работаем с неймспейсами, разрезами, сегментами и активационными метриками		КУПИТЬ БИЛЕТ
65
66
14:30 15:10ЧАТ КОНФЕРЕНЦИИ
67
68
69