Опытные руководители знают, что для эффективной работы им нужен правильный набор инструментов, и к их выбору нужно подходить с холодной головой. Применение технологий машинного обучения для решения прикладных задач, продвинутая BI-аналитика, системы улучшения пользовательского опыта или другие data-проекты, заполненными модными терминами нацелены на решение одной единственной задачи — управлять бизнесом эффективнее относительно конкурентов.

Но без четкого понимания того, откуда берутся данные, как они обрабатываются и хранятся, и без осознанного подхода к таким проектам, усилия команды могут причинить больше вреда, чем принести пользы.

Следовательно, ядром для проектов, в которых будут использоваться данные, будет выступать система агрегации и обработки данных — Data Warehouse (DWH, корпоративное хранилище данных).

В общих чертах DWH можно описать как центральный склад информации организации, объединяющий данные из разных источников в одну общую систему. Благодаря этому руководители, аналитики и маркетологи не только экономят время на анализе результатов своей работы, но и получают возможность принимать обоснованные решения, основанные на фактах и реальных данных, накопленных за годы работы. Сам процесс получения и использования данных становится проще, более интуитивным и, самое главное, надежным.

Для отдела разработчиков же открывается возможность разработки и ввода в эксплуатацию проектов с применением технологий машинного обучения. О некоторых реализованных проектах, которые были построены на верифицированных данных DWH мы рассказываем в статьях "Как внедрение Data Warehouse помогло компании превратить ИТ в драйвер роста выручки" и "Как внедрение цифрового бизнес ассистента помогло предотвратить многомиллионные потери".

Перечисленные ниже возможности открываются всем, у кого DWH работает в боевом режиме.

• Доступ к скрытым тенденциям и общим трендам в компании в целом, и отдельно внутри подразделений, отделов, продуктах;
• Управление клиентским опытом как в цифровой, так и в offline среде;
• Увеличение рентабельности продаж через тестирование продуктовых гипотез;
• Создание стратегии управления LTV через работу с лояльностью клиентов;
• Увеличение эффективности рекламных источников (тонкий тюнинг рекламных каналов и построение многоканальных последовательностей);
• Прогнозирование рекламных бюджетов на основе реальных данных;
• Снижение операционных расходов;
• Сбор и обработка персональных данных в собственном контуре;
• Внедрение бизнес-ассистента с искусственным интеллектом, который минимизирует ошибки со стороны менеджмента и линейных сотрудников;
• Оптимизация бизнес-процессов и устранение "вредных факторов" на пути пользователя. Кстати, благодаря этому пункту, проект окупается еще на этапе развертки DWH.

Интересный факт: наши заказчики считают одним из ключевых преимуществ внедрения DWH — отсутствие возможности изменения данных.

Этот фактор позволяет достигнуть той самой прозрачности, которой часто не хватает в принятии управленческих решений.

Общий бюджет на развертку DWH начинается от 350 000 рублей и может достигать нескольких миллионов, в зависимости от количества источников информации, объема данных и их состояния.

С примеры расчетов можете ознакомиться в разделе Цены.

Помимо самой разработки, необходимо эту систему поддерживать, так как бизнес-процессы и источники данных со временем меняются. Наш опыт говорит, что для компаний, где используется более шести источников информации и штатом более 400 человек, нужно нанимать project или product-менеджера уровня middle и выше, и одного devops-специалиста. В идеале, нужен еще и BI-разработчик минимум с 2 годами опыта работы на коммерческих проектах.

Первые двое специалистов будут помогать развивать проект и добиваться выполнения стратегических целей, в то время как BI-разработчик будет закрывать потребность в оперативной развертке кастомных отчетов. Об этом мы подробно расскажем в статье "Можно ли развивать Data-проекты без инхаус команды".

В основе работы DWH обычно лежат ETL процессы, которые состоят из стадий (уровней) извлечения, преобразования, и извлечения данных.

Рассмотрим эти уровни подробнее:

Уровень подготовки данных (БД для обработки данных).
В БД складируются необработанные данные из всех источников данных организации.

Для этого уровня создаются системы мониторинга поступления данных, которые подсвечивают отвественным специалистам какие данные не "долетели" до DWH.

Уровень преобразования и хранения данных.
На этом уровне создаются связи между несколькими наборами данных извлеченных на первом уровне, происходит дедупликация и унификация данных.

Эти преобразованные данные хранятся, собственно, в DWH в виде иерархически сгруппированных таблиц, которые называют витринами данных (иногда можно встретить названия "views" и "dimensions") и справочников.

При необходимости быстрого и постоянного доступа некоторых сервисов к определенным наборам данных, они могут быть перемещены
в хранилище операционных данных (operational data store, ODS).
Для этого уровня создаются системы мониторинга целостности данных. Если появляются аномалии или "дыры" в данных, системы уведомляют ответствнных об этом.

Уровень чтения данных и бизнес логики.
На этом уровене данные из подготовленных витрин выгружаются в системы визуализации (сравнительный анализ доступных BI-систем на российском рынке по ссылке) и становятся доступны обычным пользователям в виде сквозного отчета, графиков и дэшбордов.

На этом уровне уже появляется возможность подключение Кевина — полнофункционального цифрового бизнес-ассистента (возможности Кевина подробно разбираем в этой статье), который будет помогать бизнесу в принятии стратегических и тактических решений, будет прогнозировать ключевые бизнес-показатели и ставить задачи на решение проблем, о которых сотрудники еще даже не подозревают.

Как только данные собраны, обработаны и каталогизированы, квалифицированные сотрудники со стороны заказчика могут (при наличии допусков) извлекать готовые данные для решения широкого спектра задач:

• автоматизация процессов;
• анализ бизнес-показателей;
• разработка и внедрение исследовательских проектов;
• стратегическое планирование.