| A | B | C | D | E | F | G | L | M | N | O | P | Q | AI | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | @ | |||||||||||||
2 | ||||||||||||||
3 | ||||||||||||||
4 | ||||||||||||||
5 | ||||||||||||||
6 | ||||||||||||||
7 | ||||||||||||||
8 | ||||||||||||||
9 | ||||||||||||||
10 | Aha!'24: Product Science – конференция для CPO, product-аналитиков и ML-разработчиков | |||||||||||||
11 | ||||||||||||||
12 | Product Analytics | Product Management | ||||||||||||
13 | Geo-Analytics | Product Ops & Org Design | ПОДБОРКА ДОКЛАДОВ ПРОШЛЫХ ЛЕТ | КУПИТЬ БИЛЕТ | ||||||||||
14 | RecSys & ML | Internal Products & Platforms | ||||||||||||
15 | Experiments & Network Effects | Unit Economics, CVM & Monetization | ||||||||||||
16 | Language Models | AI/LLM-Driven Transformation | ||||||||||||
17 | Analytics & Business | |||||||||||||
18 | ||||||||||||||
19 | 6 ИЮНЯ (ЧТ) - МОСКВА, КЛАСТЕР ЛОМОНОСОВ | |||||||||||||
20 | 09:30 11:00 | Встреча участников конференции на площадке, знакомство, общение и нетворкинг, участие в стендовых активностях, welcome-кофе и другие активности | 09:30 11:00 | |||||||||||
21 | 10:45 11:00 | WELCOME!: ОТКРЫТИЕ КОНФЕРЕНЦИИ В ГЛАВНОМ ЗАЛЕ | 10:45 11:00 | |||||||||||
22 | ||||||||||||||
23 | ||||||||||||||
24 | ||||||||||||||
25 | 11:00 11:30 | ДМИТРИЙ КАЗАКОВ, ДИРЕКТОР ПО АНАЛИТИКЕ KOLESA GROUP CAUSAL IMPACT. КАК ДЕЛАТЬ ЭКСПЕРИМЕНТЫ ТАМ, ГДЕ НЕТ КЛАССИЧЕСКИХ АБ-ТЕСТОВ. ТЕОРИЯ, ПРАКТИКА И "ПОДВОДНЫЕ КАМНИ" МЕТОДА 1. Одной из проблем использования других методик causal inference в том, что они могут обманывать вас и повышать ошибки 1 и 2 рода в ваших экспериментах. К сожалению, causal impact не исключение. Но как корректно оценить эти ошибки при такой методике эксперимента? Расскажу и покажу, как это делаем мы. И как после таких оценок мы стали намного более осознано использовать эту методику. 2. Покажу, в каких кейсах оправдано использовать causal impact, а где лучше не надо. Рассмотрим несколько реальных кейсов применения методики: успешные и не очень. Подсвечу, как не наступать на те же грабли, на которые наступали мы. 3. Самый важный аспект работы метода - подбор правильных ковариат / предикторов. Покажу корректный алгоритм перебора ковариат, который минимизирует ошибки 1 и 2 рода при использовании методики. Рассмотрим, как еще можно искать правильные ковариаты. 4. По умолчанию в алгоритме causalimpact используются встроенные модели временного ряда, но иногда использовать нужно другие модели. Посмотрим, как их использовать и что это может дать вашим экспериментам. | АЛЕКСАНДР СЕРБИН, РУКОВОДИТЕЛЬ ПРОДУКТОВОЙ АНАЛИТИКИ ЦИАН ПУТЬ ОТ ДОСКИ ОБЪЯВЛЕНИЙ ДО РЕКЛАМНОГО МАРКЕПЛЕЙСА: АНАЛИТИЧЕСКИЙ ВЗГЛЯД | НАТАЛИЯ НОВОСЕЛОВА, МЕНЕДЖЕР ПРОЕКТОВ СКБ КОНТУР РОБОТИЗАЦИЯ ПРОЦЕССА ПРОДЛЕНИЯ ПОЛЬЗОВАТЕЛЕЙ B2B SAAS-РЕШЕНИЙ Мы смогли воспроизвести в онлайне все то, что делает клиентский менеджер в офлайне и не потеряли в качестве. Вы можете создавать множество прекрасных продуктов, успешно их продавать, но в какой-то момент возникает вопрос: а кто будет обслуживать этих клиентов? Кто будет с ними работать, если они не продлевают ваш сервис? И ваш приток может быть равен оттоку. А это значит, что вы не будете прирастать в клиентах и выручке. В докладе речь пойдет о том, как мы шли от полного отрицания нововедений к поддержке и крупномасштабным изменениям на уровне компании.Я расскажу о том, как инфраструктура может приносить экономический эффект, а грамотно спроектированные и автоматизированные процессы могут не только существенно сократить затраты, но и улучшить клиентский опыт и поможет удерживать Retention Rate на уровне выше 80% | АНДРЕЙ КУЛАГИН, HEAD OF ML & PRODUCT ANALYTICS UZUM MARKET A/B-ПЛАТФОРМА GROWTHBOOK 101: ЗАПУСКАЕМ ЭКСПЕРИМЕНТ ВМЕСТЕ — ОТ НАЧАЛА ДО КОНЦА Разберем азы работы с экспериментами на A/B-платформе GrowthBook. Примерив на себя роль продуктового аналитика в онлайн-маркетплейсе, вместе запустим эксперимент и проанализируем его результаты. Посмотрим, как работает добавление метрик, как влияют различные параметры анализа эксперимента и какие встроенные фишки есть у платформы. Увидим, чем отчеты байесовского движка отличаются от фреквентистского и какие выводы можно по ним делать. Для воркшопа понадобится ноутбук с доступом в интернет. | 11:00 11:30 | ||||||||
26 | ||||||||||||||
27 | 11:35 12:05 | КИРИЛЛ КОЧНЕВ, РУК-ЛЬ ПРОДУКТОВОЙ АНАЛИТИКИ HEADHUNTER КАК КАУЗАЛЬНЫЕ ГРАФЫ И ЛИНЕЙНЫЕ МОДЕЛИ ОТВЕТЯТ НА ВСЕ ВАШИ ВОПРОСЫ В А/В-ТЕСТАХ Часто аналитики усложняют расчёт А/В-тестов, внедряя множественное тестирование, учитывая гетерогенный эффект и разницу между группами до теста. Я расскажу, как наиболее правильно учитывать различные факторы при анализе А/В-тестов и дам фреймворки для расширения/усложнения расчета без ошибок. В рамках доклада поговорим о: 1. DAG’ах, что такое каузальный модель и при чем здесь графы 2. Как проводить множественное тестирование при анализе подгрупп 3. Почему не всегда нужно учитывать предварительную разницу между группами | АРТЕМ СОЛОУХИН, РУК-ЛЬ АНАЛИТИКИ И ИНФРАСТРУКТУРЫ ДАННЫХ WILDBERRIES АННА ШИЛИНА, ПРОДУКТОВЫЙ АНАЛИТИК WILDBERRIES РАЗРАБОТКА И ИСПОЛЬЗОВАНИЕ SESSION VIEWER В E-COMMERCE Session viewer - инструмент, который позволяет изучать последовательности действий каждого отдельного пользователя в рамках его сеанса, с целью выявления закономерностей (аномалий) поведения пользователя (групп пользователей) с помощью ассоциативных правил, прикладной теории графов и других методов. Идеальный session viewer - это собственный session viewer, разработанный с учетом специфики вашей бизнес-модели. Слушатели лекции смогут узнать технические особенности шагов Wildberris в разработке session viewer, переиспользовать какие-то решения, учесть проблемы в своих начинаниях. Слушателям удастся гораздо быстрее реализовать такой же инструмент в своей компании. В рамках доклада подробно разберем какие именно потребности закрывает session viewer; какие могут быть проблемы при его реализации (eventBinding и далее) и уделим время разбору существующих решений и архитектуре, которая может закрыть потребности пользователей | АЛЕКСАНДР МАХОНИН, РУК-ЛЬ ПРОДУКТА ГАЗПРОМ ID | 11:35 12:05 | |||||||||
28 | ||||||||||||||
29 | 12:10 12:40 | ДЕНИС ПЛАТОНОВ, CEO EXCITE KIT СНИЖЕНИЕ СТОИМОСТИ HADI-ЦИКЛА С ИНСТРУМЕНТАМИ ПРОДУКТОВОЙ АНАЛИТИКИ И A/B-ТЕСТИРОВАНИЯ ОТ UX ROCKET - Почему важна стоимость HADI-цикла - Как ускорить HADI-цикл и показать результат - Новое поколение аналитиков без SQL, но с AI - Куда развиваются инструменты продуктовой аналитики - Почему A/B-тесты набирают популярность в МСБ - Почему не стоит «изобретать велосипед» - Есть ли жизнь после отключения Cookies и почему Google отключил Optimize - Как UX Rocket планирует завоевать любовь аналитиков и продактов в РФ | РОМАН ХАЛКЕЧЕВ, CDO ЯНДЕКС ПОИСК И РЕКЛАМНЫЕ ТЕХНОЛОГИИ ML-ПРОДУКТЫ: ОСОБЕННОСТИ, ОШИБКИ, ЛАЙФХАКИ Доклад про особенности управления ML-продуктами: разберем этапы проектов с использованием ML — будь то создание простой модели или целого продукта, для каждого этапа подсветим основные риски, способы их минимизировать и работающие лайфхаки. Слушатели получат новые знания, которые позволят структурировать весь спектр рисков специфичных ML продуктов и организовать работу с учётом этих рисков: точно оценить сроки и быстрее получить первый результат, эффективнее построить roadmap проекта и обезопасить себя и команду в случае форс-мажоров, а также заложить нужное количество ресурсов на внедрение и поддержку ML в своем сервисе. | ЮЛИЯ РАНН, СРО СЕТКА (HEADHUNTER) DATA-DRIVEN ТОП-МЕНЕДЖМЕНТ Если у вас в компании продукт не общается с маркетингом, разработчики ни за что не отвечают, а продакты крутят бесконечные АБ-тесты в то время как PNL катится в тартарары - этот доклад для вас. Когда строишь продукт и компанию с нуля есть возможность выстроить управление так, чтобы между командами и департаментами не было конфликтов интересов, все были синхронизированы на общую цель, и при этом фокусировались на своих метриках, не мешая друг другу. Тут нам на помощь приходит аналитика: деревья метрик, скоринговые модели и BI-система. Поговорим о том, как выстроить оргструктуру, которая будет работать на результат и как принимать управленческие решения, которые влияют на успех всего проекта. Расскажу свои кейсы из Сетки и Level.Travel - компаний, в которых дата-дривен внедряется не снизу вверх, а сверху вниз. Слушатели научатся разделять зоны ответственности и принимать решения о развитии в юните/бизнесе/стартапе/продукте так, чтобы всем было удобно | ЕКАТЕРИНА ШИШКИНА, РУКОВОДИТЕЛЬ НАПРАВЛЕНИЯ ПРОДУКТОВОЙ АНАЛИТИКИ ПРОДАВЦОВ SAMOKAT.TECH МАСТЕР-КЛАСС ОТ SAMOKAT.TECH: ДИЗАЙН A/B-ЭКСПЕРИМЕНТА Оцениваем эффект от внедрения новой ML-модели по борьбе с продавцами-фродерами на маркетплейсе | 12:10 12:40 | ||||||||
30 | ||||||||||||||
31 | 12:45 13:15 | АЛЕКСЕЙ ГОРБАТОВ, HEAD OF B2C ANALYTICS OZON FINTECH КАК МИКРО-КОМАНДОЙ АНАЛИТИКОВ СОПРОВОЖДАТЬ СОТНИ ЗАПУСКОВ ФИЧЕЙ И НЕ ТЕРЯТЬ ФОКУС И СКОРОСТЬ Расскажу о том, как процессно аналитика и моделирование встроены в цикл релиза фичей и быструю валидацию результата и том, насколько это ускоряет запуски и минимизирует потери. Начнем с "helicopter view" на схему процесса сопровождения запуска фичи, выраженный через цели, фокус и задачи. Далее поговорим о том, каковы этапы запуска фичи: контракт с банковским back-end'ом, front-end, web-view, cвоя трекинговая система, разметка, тестирование. После этого обсудим процесс дизайна теста, расскажем о ключевых метриках эффективности и собственных коробочных решениях для экспериментов. Подробно остановимся на моментах как разрешаются ситуации, когда по тем или иным причинам фичу протестировать нельзя, но эффект для бизнеса необходимо найти и разберем process-mining для нахождения путей пользователя и PSM для поиска "похожих" | АЛЕКСАНДР ДАВЫДОВ, РУК-ЛЬ ПРОДУКТОВОЙ АНАЛИТИКИ КОММЕРЧЕСКИХ ПРОДУКТОВ SAMOKAT.TECH КОМПЛЕМЕНТАРНЫЕ ТОВАРЫ, ИЛИ ЧЕМ НАШИ КЛИЕНТЫ ЗАПИВАЮТ ДЕТСКОЕ ПИТАНИЕ Комплементарные товары — те, что приносят большую пользу вместе, чем каждый по отдельности: огурцы и помидоры, кофе и круассан, стол и стул. С учетом ограниченного пространства ЦФЗ нужно сделать так, чтобы в минимально возможную площадь хранения и минимально возможный выбор на витрине уместилось то, что создаст много продаж, а это значит, что товары должны быть максимально полезными и востребованными. Товары-комплементы хорошо подходят под эти требования: мы знаем, какие товары тригерят продажи других, и наоборот — что почти не покупают без пары. При этом, бизнес понимал комплементарные товары по своему — для него это были скорее товары из разных категорий ( гель для мытья посуды + губка). На практике же оказалось, что комплементов больше внутри одной категории. Мы провели исследование и нашли устойчивые комплементарные связки (а также ошибки и неочевичные связи), чтобы дать дополнительную опору категорийным менеджерам при вводе-выводе товаров и поделимся со слушателями этой методологией | АЛЕКСАНДР ИГНАТЕНКО, АВТОР КАНАЛА "МОДЕЛЬ АТРИБУЦИИ" УРОВНИ РАБОТЫ С КОНВЕРСИЕЙ – ШПАРГАЛКА ДЛЯ ПРОДАКТОВ И ПРОДАКТ-МАРКЕТОЛОГОВ Конверсия - почему с ней не все так однозначно? Как продакту и продакт-маркетологу работать с конверсией. Какие уровни работы с конверсией бывают и в чем между ними разница? Я хочу повысить конверсию - с чего начать? Гигиена в работе с конверсией. Слушатели узнают как зарабатывать для бизнеса "до" или "вместо" изменений в продукте | 12:45 13:15 | |||||||||
32 | ||||||||||||||
33 | 13:20 13:50 | КИРИЛЛ НИКОЛАЕВ, CDO ТИНЬКОФФ КАК И КОГДА ПАКОВАТЬ МОЛОКО ПО 0,9 Л? СЛОЖНЫЕ ПРОДУКТОВЫЕ РЕШЕНИЯ НА ОСНОВЕ РАЗМЕНА МЕТРИК КОМПАНИИ В А/В-ТЕСТАХ Многие современные бизнесы тестируют изменения в A/B-экспериментах. Когда тест показывает противоположные результаты в метриках, департаменту аналитики важно уметь принимать взвешенное решение. В такой ситуации часто наступает «паралич», и решения или не принимаются, или принимаются наугад на основе «интуиции». О чем узнаете: - что такое размен метрик - на чем основана методология определения выгодного размена - что делать, когда наступает «паралич» в принятии решений - как действовать в описанных выше ситуациях и на основе аналитики принимать верные эффективные решения - обсудим, как не завести бизнес в тупик через неправильные решения в A/B - поделюсь примером эффективного размена метрик в Тинькофф | ЮРИЙ БЕЛЯКОВ, СТАРШИЙ СПЕЦИАЛИСТ ПО АНАЛИЗУ ДАННЫХ СБЕРМАРКЕТ SURGE PRICING: ИСКУССТВО УПРАВЛЕНИЯ ПЛАНОВОЙ ДОСТАВКОЙ Автоматизация управления слотами и наценками – это сложный, но чрезвычайно увлекательный процесс. Расскажем о том, как мы разрабатывали и внедряли этот алгоритм: от большой команды логистов и ручного режима к автоматике. Честно поделимся граблями, на которые наступили в процессе, какие решения нашли и как по итогу наш подход помогает СберМаркету находить баланс между спросом и предложением. Выступление даст возможность понять, какие уникальные и неожиданные сложности возникают при работе с плановой доставкой. Какая идея лежала в основе суржа в плановой доставке и как мы ее совершенствовали. Проблема в том, что качество суржа нельзя посчитать и прикинуть заранее. Более того, даже постфактум тяжело сказать, правильные ли решения принимал алгоритм. Аудитория получит понимание о том, на какие метрики смотреть, как фильтровать и использовать фидбек с ""полей"" для улучшения продукта, который не имеет похожих аналогов. Каждый гипермаркет имеет свои особенности работы. Мы расскажем как учитываем все особенности магазинов, которые нельзя учесть явно. Доклад позволит перенять опыт о том, как масштабироваться от одного магазина до масштабов всей страны и не повторять наших ошибок. Как бороться со сложностями внедрения автоматизации, там где все делалось руками | НОВИКОВА МАРИЯ, SENIOR ANALYST И КОРОЛЕВА МАРИЯ, TL UX RESEARCHERS AVITO КАК ГРАМОТНО ОЦИФРОВЫВАТЬ ПОЛЬЗОВАТЕЛЬСКИЙ ОПЫТ И СТАВИТЬ НА НЕГО ЦЕЛИ? В рамках лекции слушатели получат ответы на следующие вопросы: зачем замерять удовлетворенность пользователей и с помощью какой метрики это делать? Как аналитически проверить выбранную метрику и убедить бизнес, что она подходит для оценки продуктовых изменений и постановки целей? Как взаимодействовать со стейкхолдерами, чтобы не потонуть в коммуникациях и постоянных доработках? Будет раскрыта техническая сторона вопроса: как построить регулярный процесс сбора обратной связи от пользователей и продуктовый дашборд, полезный всем стейк-холдерам. Расскажем, какие сценарии применения CES мы уже выделили, исходя из своего опыта. После доклада слушатели научатся выбору и способам замера метрики пользовательского опыта. Смогут перенять действующие алгоритмы по составлению опроса для пользователей и узнать, с какими проблемами им придется столкнуться при внедрении такой метрики на всю компанию. Смогут применять фреймворк для аналитического исследования такой метрики в связи с бизнес-метриками. Получат алгоритм для сбора данных и постановки целей на эту метрику и узнают где и как стоит замерять такую метрику в продукте | ДЕНИС ПЛАТОНОВ, CEO EXCITE KIT ПОВЕДЕНЧЕСКАЯ АНАЛИТИКА И ЭКСПРЕСС A/B-ТЕСТЫ - Что такое поведенческая аналитика? - Как связаны «Поведенческая аналитика» и «Сбор событий»? - Как поведенческая аналитика работает (кейсы клиентов)? - Разбираем отчеты «Когортный анализ» и «Пути клиентов» | 13:20 13:50 | ||||||||
34 | ||||||||||||||
35 | 13:55 14:25 | АЛЕКСЕЙ ЧЕРНОБРОВОВ, ЯНДЕКС МАРКЕТ ВЛИЯНИЕ СЕТЕВОГО ЭФФЕКТА В АБ-ТЕСТАХ НА UNIT-ЭКОНОМИКУ В РИТЕЙЛЕ Юнит экономика (UE) - важный показатель для любого современного ретейлера. Она показывает какой заработок есть на заказа. Из среднего чека вычитаются все переменные затраты: себестоимость товаров, логистика, хранение на складе, маркетинг и другие. Для ритейлера показатель UE является критическим важным особенно если он около 0. Поскольку если он отрицательный то с каждым новом заказом увеличивается убыток. Поэтому часто оптимизируют UE проводя различные тесты в бизнесе. Разумеется, АБ-тесты являются важным подходом для улучшения различных бизнес показателей. Однако они содержат множество подводных камней, например иногда возникают сетевые эффекты, когда группы А и Б влияют друг на друга неявным образом. В докладе я расскажу о сетевых эффектах, которые возникают при АБ-тестах на UE. Как с ними можно бороться, и как правильно оценить результаты | ВИКТОРИЯ ГОРДЕЕВА, РУК-ЛЬ ПРОДУКТОВОЙ АНАЛИТИКИ ОК.RU ВЕЧНЫЙ КОНТРОЛЬ: ЗАЧЕМ ОН НУЖЕН И КАК ОРГАНИЗОВАТЬ ЕГО ТАК, ЧТОБЫ НЕ СОЙТИ С УМА В А/Б-тестировании есть практика ""вечного контроля"" (holdout). Она очень распространена в бигтехе за границей, но намного менее популярна в России. В рамках данного доклада расскажу о ценности данной практики: бизнесу в целом и аналитику в частности, а также о том, как выбирать вечный контроль. Основаная часть доклада посвящена тому, как именно организовать такой процесс в компании с большим количеством экспериментов и запускаемых фич. На первый взгляд процесс кажется довольно простым, но на практике все оказывается намного сложнее. Я расскажу пройденный Одноклассниками путь - от совсем наивного подхода в организации данного процесса до рабочего решения, опишу грабли, на которые мы наступили и которые слушатели смогут избежать. Подсвечу проблемы и расскажу о выбранных нами решениях. Финальный блок доклада будет посвящен корнер-кейсам, о которых не думаешь заранее, но с которыми нужно что-то решать в момент столкновения с ними - приведу список встреченных нами и расскажу, как эти проблемы решали мы. Отдельно упомяну, как можно сделать весь этот процесс менее болезненным для разработчиков. Доклад будет полезен для продуктовых аналитиков, продактов и для всех, кто сталкивается с А/Б-экспериментами внутри компаний. Слушатели получат практически готовое руководство, как пройти процесс организации отложенного контроля с минимальными болями и смогут сравнить свой путь с пройденным нами | АНДРЕЙ БАДИН, CEO PRODUCT LAB ПРОДУКТОВАЯ СТРАТЕГИЯ НА РАЗНЫХ СТАДИЯХ РАЗВИТИЯ ПРОДУКТА Все делают продуктовую стратегию по-своему. А что такое продуктовая стратегия на самом деле? Перспектива, позиция или план? Чем отличается продуктовая стратегия на разных этапах создания продукта? Какие есть стратегические фреймворки и какие еще предстоит создать? Лекция направлена на получение знаний о том, что такое продуктовая стратегия, как разрабатывать продуктовую стратегию на разных этапах жизни продукта | 13:55 14:25 | |||||||||
36 | ||||||||||||||
37 | 14:30 15:00 | АЛЕКСАНДР АЙВАЗ, ДИР-Р ПО ДАННЫМ И АНАЛИТИКЕ LAMODA M ИЛИ L – РЕШИТ ML. КАК УЧЕТ РАЗМЕРОВ ВЛИЯЕТ НА ЭФФЕКТИВНОСТЬ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ В FASHION E-COMMERCE В Lamoda мы применили машинное обучение для помощи пользователям в выборе подходящего размера. Рекомендации помогают точнее попасть в ожидания и повысить вероятность покупки. Но для роста бизнес-метрик также важно предлагать пользователям больше релевантных товаров подходящего размера. Как и в каких продуктах мы это реализовали – рассмотрим в докладе. | КРУГЛЫЙ СТОЛ ГЛОБАЛЬНЫЙ КОНТРОЛЬ: НЕОТВЕЧЕННЫЕ ВОПРОСЫ И ЧТО ЕЩЁ МОЖЕТ ПОЙТИ НЕ ТАК ВИКТОРИЯ ГОРДЕЕВА, РУК-ЛЬ ПРОДУКТОВОЙ АНАЛИТИКИ ОК.RU ДАРЬЯ ЛЕОНОВА, ПРОДУКТОВЫЙ АНАЛИТИК GARAGE EIGHT ИВАН МЕРЕНКОВ, АНАЛИТИК ЯНДЕКС ТАКСИ | СЕРГЕЙ ТИХОМИРОВ, АВТОР PRODUCT ARCHITECTURE FRAMEWORK, EX-HEAD OF PRODUCT «ЯНДЕКС ПРАКТИКУМ», АВТОР КАНАЛА @PRODUCTCLUB СВЯЗКА PRODUCT OPS И МЕТРИК: ОЦЕНКА ЭФФЕКТИВНОСТИ РАБОТЫ МЕНЕДЖЕРА ПРОДУКТА Определение эффективности работы менеджеров продукта - одна из самых проблемных тем отрасли. С одной стороны, все говорят, что для продактов важнее soft skills, что он в первую очередь должен быть коммуникатором. С другой стороны, бытует мнение про mini-CEO. С третьей стороны, менеджеры продукта могут вообще отвечать только за процессы разработки продукта. Возникает вопрос - а в чем же смысл управления продуктами и как понять, что конкретный менеджер действительно выполняет свои обязанности качественно и эффективно? Доклад посвящен анализу деятельности менеджеров продуктов в контексте нескольких слоев их процессов работы. Связывая метрики результативности и эффективности с этими процессами можно сформировать набор критериев для оценки менеджеров по продукту вне зависимости от конкретного продукта или компании. | ||||||||||
38 | ||||||||||||||
39 | ||||||||||||||
40 | 15:00 16:00 | ПЕРЕРЫВ | 15:00 15:30 | |||||||||||
41 | ||||||||||||||
42 | ||||||||||||||
43 | 16:00 16:30 | РАДОСЛАВ НЕЙЧЕВ, СТАРШИЙ РАЗРАБОТЧИК ЯНДЕКС, ЗАМ. ЗАВ. КАФЕДРЫ МАШИННОГО ОБУЧЕНИЯ МФТИ LLM В КАРЬЕРЕ И ОБРАЗОВАНИИ: КАК УЧИТЬСЯ С ПОМОЩЬЮ МАШИН Как использовать LLM для образования и декомпозиции сложных материалов? AI-powered mock-up интервью: (от) собеседуй себя полностью Зачем (и как) объяснять нейронке, что мы от нее хотим, и причем тут работа с командой. Все это с примерами, инструментами и "как не стоит делать" | ЕВГЕНИЙ МАЛЫГИН, МЕГАФОН ГЕО-АНАЛИТИКА В ТЕЛЕКОМЕ: ГДЕ ПОСТАВИТЬ ВЫШКУ, ПОСТРОИТЬ МАГАЗИН И КАК ПРОВЕСТИ КАРТИРОВАНИЕ АБОНЕНСТКИХ ПРИЗНАКОВ В докладе расскажем о том, какие подходы гео-аналитики используются для решения проблемы высокой нагрузки на сотовую сеть МегаФон. В отличие от задачи увеличения покрытия, где в явном виде известны зоны отсутствия связи, нам необходимо локализовать участки, где наблюдается ухудшение качества связи и снижение скорости интернета. Путем моделирования вероятности нахождения абонентов в зоне покрытия базовой станции, которая рассчитывается с учетом местоположения, радиуса действия базовых станций, технических показателей сети и дополнительных картографических данных (расположения домов, дорог, тип поверхности и т.д.), мы строим карты дефицита интернет-соединения, локализуем проблемные области и предлагаем оптимальную стратегию улучшения качества сети. Данный подход также лег в основу методики картирования абонентских признаков. Например, для различных городов и регионов России можно получить карты распределения количества абонентов, их времени пребывания в локации, среднего возраста, пола и аггрегаты любых других абонентских признаков, которые могут быть использована для гео-маркетинговых исследований и построения признаков для моделей машинного обучения. | ВЛАДИМИР АБАЗОВ, РУК-ЛЬ НАПРАВЛЕНИЯ ПРОДУКТОВОЙ АНАЛИТИКИ ТИНЬКОФФ КАК УПРАВЛЯТЬ ОТДЕЛОМ, ЧТОБЫ ТЕБЯ ПРОСИЛИ РАСТИТЬ ШТАТ АНАЛИТИКОВ Разберем, как на всех уровнях менеджмента компании объяснить зачем нужна аналитика: пошаговая инструкция для тимлидов и руководителей групп аналитиков. Подробно расскажу о том, как сделать аналитику прозрачнее, как отчитываться по результатам аналитики. Остановимся на таких вещах как выстривание коммуникации в отделе и вне его, какие цели ставить себе, как общаться с топами и пирами в разных ситуациях. Доклад будет полезен руководителям групп/отделов аналитики, аналитикам и продакт-менеджерам | ЕВГЕНИЯ МУРЗАЕВА, SENIOR ANALYST АВИТО ЮЛИЯ ГОЛУБЕВА, SENIOR ANALYST АВИТО ВОРКШОП ПО TRACTION: УЧИМСЯ ПРОГНОЗИРОВАТЬ ЭФФЕКТ НА ВЫРУЧКУ И КЛЮЧЕВЫЕ МЕТРИКИ ОТ НОВОЙ ФИЧИ ИЛИ ПРОДУКТА Traction - это прогнозная модель эффекта новой фичи/продукта на финансовые метрики компании. Трекшен строится через разложение основных метрик продукта на драйверы (причины, почему выручка будет меняться) и сегменты. Качественный трекшн помогает и аналитику, и продукту, и стейкхолдерам: команда понимает, какую ценность несет их новый продукт, а стейкхолдерам становится просто оценить потенциал идеи и ее проработанность. Мы адаптировали подход к построению трекшена внутри компании так, что на воркшопе аналитик любой компании научится прогнозировать импакт от своего продукта и доносить его ценность для своих стейкхолдеров. Учимся приоритезировать продуктовый беклог и просчитывать потенциал фич/продуктов. В рамках воркшопа слушатели научатся заглядывать в будущее и прогнозировать влияние на ключевые метрики еще не созданного продукта (а также считать прибыль), раскладывать основные метрики продукта на драйверы и сегменты и защищать видение продукта перед стейкхолдерами | 16:00 16:30 | ||||||||
44 | ||||||||||||||
45 | 16:35 17:05 | АЛЕКСЕЙ ДОЛОТОВ, CPO YANDEX GPT API РЕЦЕПТ LLM ДЛЯ ВАШЕГО БИЗНЕСА. КАКИЕ ДАННЫЕ ПОЛОЖИТЬ И ЧЕМ ПРИПРАВИТЬ, ЧТОБЫ ИЗВЛЕЧЬ ПОЛЬЗУ? Только каждая пятая интеграция ИИ в бизнесе считается успешной. Из этого доклада вы узнаете, как повысить свои шансы оказаться среди тех, у кого получилось. В ходе доклада мы рассмотрим требования к данным и аналитике, которые помогут успешно внедрить модели. Вы узнаете, каким аспектам в данных стоит уделить внимание на разных этапах интеграции. А чтобы вы всё это не забыли сразу после доклада, мы упакуем полученные знания в чек-лист для успешного внедрения ИИ и разберём задачи, которые LLM помогают решать уже сейчас. | АЛЕКСАНДР СЕМЕНОВ, РУКОВОДИТЕЛЬ КОМАНДЫ РАЗРАБОТКИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ СБЕР ПОСТРОЕНИЕ РЕКОМЕНДАЦИЙ В МУЗЫКАЛЬНОМ СТРИМИНГЕ Музыкальные рекомендации сложны разнообразием вкусовых предпочтений наших слушателей, а также способами прослушивания контента. Кто-то любит слушать много музыки в разных жанрах, ищет что-то новое для себя, а кто-то предпочитает слушать исключительно своих любимых исполнителей. Кто-то предпочитает рекомендации, а кто-то редакторские подборки. Пространство для применения алгоритмов огромно. Мы расскажем про то, с какими задачами мы столкнулись при построении музыкальных рекомендаций в Сбере и как их решали. Надеемся, что слушатель сможет почерпнуть из нашего доклада полезные для себя идеи. | ИРИНА ГОЛОЩАПОВА, CDO RAIFFEISENBANK OPERATIONS СОВЕТЫ НАЧИНАЮЩЕМУ CDO | 16:35 17:05 | |||||||||
46 | ||||||||||||||
47 | 17:10 17:40 | СВЕТЛАНА КУДРЯВЦЕВА, PRODUCT OWNER GIGACHAT WEB SBER DEVICES ЧЕГО ОЖИДАЮТ ПОЛЬЗОВАТЕЛИ ОТ РАБОТЫ С АССИСТЕНТАМИ И НЕЙРОСЕТЯМИ Хотите узнать, почему пользователи часто остаются недовольными работой с AI-продуктами, несмотря на их впечатляющие возможности? Я расскажу, какие ожидания у людей от взаимодействия с ассистентами и нейросетями, и как улучшить этот опыт. Вы узнаете, как сделать так, чтобы сложный продукт казался простым и понятным для пользователей. Будет много интересных примеров и практических советов! | ВИОЛЕТТА МОРОЗОВА, РУК-ЛЬ КОМАНДЫ АЛГОРИТМОВ ЭКСПЕРИМЕНТАЛЬНЫХ ТЕХНОЛОГИЙ ЯНДЕКС.ТАКСИ ПОПУТНЫЕ ЗАКАЗЫ В РЕЖИМАХ "ДОМОЙ" И "ПО ДЕЛАМ" Ситуация: водитель такси хочет уйти с линии и поехать домой. Идеальный вариант для него — попутный заказ в направлении дома. Алгоритмы Яндекс.Такси подбирают ему такой попутный заказ. Так водитель может заработать больше, а мы получим +1 машину, что очень нужно в час пик. Я расскажу вам, как алгоритмы Яндекс.Такси подбирают попутные заказы. Вместе мы узнаем: - что делает алгоритм матчинга для поиска попутных заказов - как правильно поставить эксперимент для сравнения разных версий алгоритма - почему важно бороться с сетевыми эффектами при тестировании изменений - как оценить долгосрочное влияние на продукт | СЕРГЕЙ ПАЛАМАРЧУК, ДИРЕКТОР ДИВИЗИОНА РАЗВИТИЯ ЦИФРОВОГО ПРОФИЛЯ КЛИЕНТА СБЕР ПРОАКТИВНАЯ АНАЛИТИКА ДЛЯ ПРИНЯТИЯ БИЗНЕС-РЕШЕНИЙ Слушатели узнают, как крупный бизнес оперативно формирует аналитику и как на её основе принимаются решения. Подход к решению аналитических задач, который будет раскрыт на докладе, могут применять как крупные, так и небольшие компании. · фреймворк решения аналитических задач (+ deep dive) · мониторинг аномалий в данных для определения инсайта в момент его формирования (+ deep dive) · формируем гипотезы и предложения для бизнеса на базе аналитики (+ deep dive) В рамках доклада будут приведены многочисленные кейсы применения | ТАТЬЯНА НИКОЛАЕВА, МАРКЕТИНГОВЫЙ АНАЛИТИК РИТЕЙЛА, СБЕРМАРКЕТ ПОСТРОЕНИЕ ГЕОАНАЛИТИКИ С ПОМОЩЬЮ KEPLER: НАШ ПУТЬ К ГИПЕРЛОКАЛЬНОМУ МАРКЕТИНГУ Расскажем о том, как мы хотели идти в гиперлокальный маркетинг и как для решения этой задачи попробовали новый для нас подход к работе с геоаналитикой. Мы столкнулись с рядом проблем, связанных с хранением геоданных, и поняли необходимость создания собственных инструментов для их сбора и анализа. Обо всем этом мы расскажем в рамках мастер класса. Подробно остановимся на таких процессах, как: - Сбор и подготовка геоданных: проблематика процедуры хранения геоданных и поиск решений, источники общедоступных геоданных и методы их сбора, объединение данных из различных источников - Визуализация геоданных: выбор инструмента визуализации (Kepler) и его преимущества, настройка визуализации для удобного отображения метрик аналитиками и менеджерами - Применение геоаналитики в маркетинге: результаты геоаналитики по Москве с точки зрения маркетинга, воздействие на стратегии таргетинга, размещения и оценки эффективности кампаний, планы по дальнейшим исследованиям и расширению использования геоаналитики | 17:10 17:40 | ||||||||
48 | ||||||||||||||
49 | 17:45 18:15 | КСЕНИЯ БЛАЖЕВИЧ, РУК-ЛЬ ПРАКТИКИ ML/AI LEROY MERLIN КАКИЕ ФИЧИ И ПРОДУКТЫ МОЖНО ПОСТРОИТЬ НА БАЗЕ ТЕХНОЛОГИЙ GEN AI: ПРАКТИЧЕСКИЙ ГАЙД Решения, которые можно построить на generative AI, делятся на три типа: основанные на готовых сервисах; finetuning/guardrails над предобученными сетками и дообучение/ переобучение foundation models. В докладе проведем сравнение решений по затратам на их создание (объемы разработки, специфические компетенции, необходимые пререквизиты, стоимость инфраструктуры) и рискам (валидация результатов, конфиденциальность данных) и приведем примеры реальных бизнес-кейсов (в индустрии и у нас в компании). Все слушатели получат практический гайд по тому, какие фичи можно, а какие не стоит пилить на gen AI и как выбрать конкретную реализацию | ХАЛИД ДЖАВАДОВ, PRODUCT MANAGER ADTECH-НАПРАВЛЕНИЯ HH.RU ВНЕДРЯЕМ GENAI В РЕКЛАМНЫЕ ТЕХНОЛОГИИ | ВЛАД МАШТАЛЕР, TECH LEAD СРАВНИ.РУ ВНУТРЕННЯЯ АНАЛИТИКА ИЛИ ЗАЧЕМ МЫ ОЦИФРОВАЛИ СОБСТВЕННУЮ РАЗРАБОТКУ Фокус аналитиков обычно направлен на пользовательское поведение, продуктовые и финансовые метрики, обделяя вниманием внутренние процессы. А разработка в большинстве случаев ограничивается мониторингами работоспособности сервисов и SLA. Мы в Сравни решили оцифровать работу техстрима, благодаря чему: знаем о потеренной выручке из-за проблем на проде, видим влияние изменений в Git на продуктовые метрики, оптимизируем работу с инцидентами и багами, улучшаем TTM разработки от проработки задач до QA и релиза. Все это позволяет уделять должное внимание работе с техдолгом, выявлять узкие места и оптимизировать внутренние процессы, а техническим и сервисным командам видеть финансовый результат своей работы. | 17:45 18:15 | |||||||||
50 | ||||||||||||||
51 | 18:20 19:00 | 18:20 18:50 | ||||||||||||
52 | ||||||||||||||
53 | ||||||||||||||
54 | 19:00 21:00 | АФТЕРПАТИ НА ПЛОЩАДКЕ: РАСПИСАНИЕ ВЕЧЕРИНКИ СКОРО ПОЯВИТСЯ | 19:00 20:00 | |||||||||||
55 | ||||||||||||||
56 | 30 МАЯ (чт) - ОНЛАЙН | |||||||||||||
57 | ||||||||||||||
58 | 11:00 11:40 | МАРИЯ МАНСУРОВА, LEAD ANALYST WISE LLMS FOR PRODUCT ANALYTICS: HOW TO START USING IT TOMORROW LLMs у всех на слуху, но не так много людей правда используют их в работе. В своем докладе я хочу рассказать, как вы можете их правда использовать: - Day-to-day tasks: брейнсторминг, редактура текста, code partner, summarisation больших документов, knowledge base, perfect translation больших документов - Your product: OPS automation + tasks automation - Data Analysis: в наших продуктах зачастую есть много текстов, которые мы недоиспользуем, с помощью LLMs вы можете делать data extraction, sentiment analysis and topic modelling | ЯРОСЛАВ КУЛАКОВ, АНАЛИТИК YANGO КАК ИСПОЛЬЗОВАТЬ ЗНАНИЯ О ПОЕЗДКАХ ЛЮДЕЙ В ТАКСИ ДЛЯ УЛУЧШЕНИЯ КАРТ Для пользователей нашего Такси очень важна полнота контента в картах (особенно в странах Африки). Мы стремимся к тому чтобы на картах были отмечены все возможные организации, предприятия, бизнесы, центры. При таких больших объемах данных неизбежно могут возникать ошибки в местоположении организаций на карте, что ведет к плохому пользовательскому опыту. Человеческого ресурса (или денег) проверять каждую организацию на корректность может не хватить. Но благодаря тому, что мы предоставляем услуги такси, мы распологаем большими объемами данных о том, куда люди катаются в реальности. В этой презентации мы расскажем, как, используя данные поездок наших пассажиров, автоматически находить и исправлять организации на карте, которые располагаются не там, где они находятся в реальности, не тратя деньги и улучшая пользовательский опыт. Как измерить "уверенность" в том, что организация расположена правильно, и к каким последствиям на метриках приводит исправление ее местоположения. | АНДРЕЙ КУЛАГИН, HEAD OF ML & PRODUCT ANALYTICS UZUM MARKET НИКИТА ДУБИЦКИЙ, ПРОДУКТОВЫЙ АНАЛИТИК UZUM MARKET А/Б-ПЛАТФОРМА GROWTHBOOK: ИСТОРИЯ ВНЕДРЕНИЯ В UZUM MARKET Доклад будет состоять из 3 частей: 1. Выбор. Почему в случае с A/B-платформой мы пошли в сторону “buy” в “build vs buy” дилемме. Приведем ключевые критерии выбора. Расскажем, почему в конечном итоге решили остановиться именно на GrowthBook, даже не смотря на ее минусы. 2. Внедрение. Про архитектуру отправки и хранения experiment exposures, работе с атрибутами и идентификаторами, первых фича-флагах и особенностях подключения клиентов с SDK на 6 языках программирования. 3. Работа с платформой. Разберем основные этапы в нашем текущем процессе работы с экспериментами в GrowthBook. Как выглядит процесс добавления новых метрик? Что должно быть учтено в дизайне A/B? Какие ключевые параметры анализа? Почему по-умолчанию мы используем байесовский движок, а не фреквентистский? Как работаем с неймспейсами, разрезами, сегментами и активационными метриками | ||||||||||
59 | ||||||||||||||
60 | 11:45 12:25 | КИРИЛЛ ШМИДТ, PRODUCT ANALYST TEAM LEAD WRIKE ПЛАНИРОВАНИЕ ПО OKR И ОЦЕНКА РЕАЛИСТИЧНОСТИ ЦЕЛЕЙ В WRIKE В рамках доклада будет рассказано о том, как ставить цели по OKR, как сделать их более реалистичными, проведя стресс-тестирование и как строить базовые модели для оценок OKR. Подробно пройдем по следующим пунктам: как работает целеполагание по OKR, как наличие модели бизнеса и пирамиды метрик помогает формулированию целей по OKR, как, используя оценки top-down и bottom-up, оценить реалистичность целей по OKR, какие мы встречаем сложности в этом процессе в Wrike | ФЕДОР СКОРОДУМОВ, МЕНЕДЖЕР ПРОДУКТА ТИНЬКОФФ «КОМПАС» ДЛЯ ПРЕДПРИНИМАТЕЛЕЙ: КАК МЫ СТРОИЛИ ГЕОСЕРВИС ДЛЯ БИЗНЕСА - Откуда продукт зародился? Как появилась идея с геоаналитикой? - Какие потребности собирали у клиентов? - Как мы начали тестировать идею? - Как строили продукт и строили метрики? - Какие выводы мы сделали? | СЕРГЕЙ МАКСИМОВ, ПРОДУКТОВЫЙ АНАЛИТИК, ЦИАН ОЦЕНКА КУММУЛЯТИВНОГО ЭФФЕКТА ИЗМЕНЕНИЙ В ПЕРИОД РОСТА РЫНКА С ПОМОЩЬЮ А/В-ТЕСТА Расскажу про инструмент, который позволит выделить изменения в зашумленных данных или периодах турбулентности. Рассмотрим текущие open source инструменты и сравним их с вечным контролем. С какими проблемами столкнулись, какие выводы получили и чего нам это стоило? | ||||||||||
61 | ||||||||||||||
62 | 12:30 13:10 | ДАРЬЯ ВОРОНКИНА, DATA ANALYST/PROJECT MANAGER ONECELL.AI АВТОР КАНАЛА AI-ШИПУЧКА ПРИНЯТИЕ РЕШЕНИЙ НА ОСНОВЕ ML, DATA-CENTRIC-AI ПОДХОД В МЕДИЦИНЕ OneCell — это телемедицинский комплекс с использованием ИИ, предназначенный для патологоанатомических лабораторий. Наша цель — ускорить процесс диагностики онкологических заболеваний, при этом сохраняя высокий уровень достоверности результатов благодаря нашему современному оборудованию. Одной из ключевых особенностей OneCell является применение data-centric AI подхода, который фокусируется на качестве и объемах данных, используемых для обучения моделей. В медицине особенно важно, чтобы данные были точными, разнообразными и репрезентативными для достижения высокой точности и надежности выводов. Начнем с того, что такое цифровая патология и чем занимается OneCell.ai. Рассмотрим, почему каждое заключение должно быть провалидировано. Мы подробно опишем процесс формирования заключения: от входных до выходных данных, а также факторы, влияющие на интерпретацию результатов. Особое внимание уделим проблемам принятия решений на основе ML в медицине, с акцентом на data-centric AI подход: -Explainability (объяснимость) — понимание того, как именно модель пришла к тому или иному выводу. -Trust (доверие) — преодоление недоверия врачей к решениям, принятым машиной. -AI-nxiety (тревога перед ИИ) — опасения, что ИИ может заменить врачей и снизить их практический опыт. -Safety (безопасность) — обеспечение уверенности в том, что модель не введет врача в заблуждение. Расскажем, как мы решали проблему принятия и внедрения ИИ через изменение нарратива. Мы создали интегрированную среду, где AI-агенты выступают лишь одним из мнений, и разработали систему ограничений для обеспечения безопасности. Наш data-centric AI подход позволяет интегрировать ИИ в медицинскую практику, обеспечивая высокий уровень доверия и безопасности для пациентов и врачей. | ИЛЬЯ ЛОЛАДЗЕ, ПРОДУКТОВЫЙ АНАЛИТИК SAMOKAT.TECH АЛГОРИТМ ПОИСКА КУРЬЕРОВ-ПАРТНЕРОВ И ПОИСК БАЛАНСА В СЕРВИСЕ ДОСТАВКИ На примере сервиса экспресс-доставки Самоката Илья расскажет как оценивать точность прогноза supply-часов с учетом сезонности (скорость курьеров и спрос меняется), работы динамического минимального чека (влияющего на конверсию в заказ) и затрат на вывод курьеров. Как разложить оценку этой точности на граф ошибок для определения ключевых точек улучшения. Как найти баланс метрик сервиса доставки (опоздания, утилизация, затраты). Как дальше работать с этим прогнозом, предлагать идеи для улучшений, симулировать эффект от них на исторических данных и после запускать оффлайн-A/B | АЛЕКСАНДР КУЗНЕЦОВ, ВЕДУЩИЙ АНАЛИТИК EXPF РАЗВИТИЕ МЕТОДОЛОГИИ ПОИСКА ПРОКСИ-МЕТРИК В А/В ТЕСТАХ В докладе рассмотрим подходы к поиску прокси метрик для А/В тестирования на различных этапах развития продуктовой компании. Подробно поговорим о поиске прокси на эксперементальном корпусе, использовании ML для поиска прокси, также коснемся исторических данных и эвристик. Сравним подходы в срезах основых этапов развития продуктовой компании. | ||||||||||
63 | ||||||||||||||
64 | 13:15 13:55 | ЮЛИЯ МОТИНА, CEO SBC, EX-РУК-ЛЬ ПРОДУКТОВОГО ОФИСА СБЕРА КАК И КАКИЕ РЕШЕНИЯ ПРИНИМАЮТСЯ НА УРОВНЕ CPO, ПРОДАКТОВ И КОМАНД ТРАНСФОРМАЦИИ. ПРИЧЕМ ЗДЕСЬ ДАННЫЕ? Как CPO понять что происходит с их -1? На чем сфокусироваться чтобы команда преодолевала кризисы и принимала вызовы? Причем здесь данные? Как данные видят неаналитики? За устранение каких кризисов в большей степени отвечает CPO и команда трансформации? Что сделать CPO и команде трансформации чтобы помочь продакт-менеджерам и аналитикам | АЛЕКСЕЙ ДРАЛЬ, CEO BIGDATA TEAM ГЕТЕРОГЕННЫЕ ХРАНИЛИЩА ДАННЫХ: ДОСТИЖЕНИЕ КОНСЕНСУСА В докладе пойдет речь о следующих темах: - Inter-cluster consistency - MLOps - Pipeline Orchestration: Airflow, MLflow, KubeFlow | ЕВГЕНИЙ ЕРМАКОВ, HEAD OF DATA PLATFORM TOLOKA.AI DBT-AF. КОНТРОЛИРУЕМЫЙ ХАОС DATA MESH’А В ОБЕРТКЕ DBT НА DAG’АХ ВАШЕГО AIRFLOW Мы хотим поделиться нашей библиотекой, которую недавно выложили в open-source. Эта библиотека позволяет интегрировать dbt - относительно новый, но уже достаточно популярный инструмент для описания трансформаций - и airflow - известного всем оркестратора etl-процессов. Доклад, как и инструмент, будет полезен: dwh командам, которые устали от гнета аналитиков, аналитикам, которые устали от медлительности dwh, всем, кому интересна практическая реализация data mesh с помощью доступных все инструментов Библиотека: https://github.com/Toloka/dbt-af | ||||||||||
65 | ||||||||||||||
66 | 14:30 15:10 | КУПИТЬ БИЛЕТ | ||||||||||||
67 | ||||||||||||||
68 | ||||||||||||||
69 | ||||||||||||||