Как мы построили новое аналитическое ядро и перевели компанию на современный технологический стек

Некоммерческая организация Redditizio — международная сеть с распределённой структурой и высокой интенсивностью операционных данных.
Бизнес требует регулярной управленческой отчётности, контроля производственных показателей и устойчивой ИТ-инфраструктуры.

Контекст

До старта проекта аналитическая инфраструктура базировалась на проприетарных решениях (Oracle Database и SAP BusinessObjects Data Integrator). Отсутствие официальной поддержки и стратегический курс на импортонезависимость сделали существующую архитектуру рискованной и ограничивающей развитие.

Система усложняла масштабирование, повышала зависимость от устаревающих технологий и затрудняла развитие аналитики.

Задача

Создать единую информационно-аналитическую платформу на базе open-source технологий, которая обеспечит:

• консолидацию корпоративных данных;
• развитие интерактивной аналитики;
• автоматизацию регламентной отчётности;
• повышение прозрачности производственных и операционных показателей;
• снижение трудоёмкости подготовки аналитических материалов.

Решение

Мы реализовали модульную BI-платформу с полной миграцией хранилища данных и ETL-логики на open-source стек.

Архитектура решения

• PostgreSQL — в качестве базовой СУБД для хранения и аналитических нагрузок
• Apache Airflow (Python) — для оркестрации ETL-процессов
• Конфигурационное управление пайплайнами (JSON/YAML)
• Инкрементальная загрузка и обработка изменений
• Разделение сред: Development, Pre-production, Production
• CI/CD на базе GitLab

Платформа интегрирована с внешними источниками данных и построена по принципу отдельных аналитических приложений с собственными моделями данных.

Переработка ETL и миграция логики

Одной из ключевых задач стала миграция сложной логики из SAP BusinessObjects в Apache Airflow.

Мы реализовали:

• унифицированные шаблоны обработки данных;
• конфигурационное управление DAG;
• оптимизацию загрузки больших массивов данных;
• снижение дублирования кода.

Это позволило упростить сопровождение, повысить масштабируемость и ускорить подключение новых источников.

Аналитическое ядро

Платформа включает:

• интерактивные аналитические панели;
• статическую регламентную отчётность;
• унифицированные модели показателей;
• прозрачные алгоритмы расчёта метрик;
• инструменты самостоятельного формирования отчётов для бизнес-пользователей.

Совместно с функциональными подразделениями были формализованы методики расчёта KPI, что обеспечило единый «источник правды» внутри организации.

Производительность

Первичная загрузка аналитических панелей — до 15 секунд

Повторная загрузка — до 7 секунд

Поддержка одновременной работы до 50 пользователей

Возможность горизонтального масштабирования

Результаты

Снижение технологических рисков и зависимостей от внешних поставщиков

Ускорение подготовки управленческой отчётности

Автоматизация ETL и снижение нагрузки на ИТ-подразделение

Повышение прозрачности показателей и предсказуемость SLA

Создание масштабируемой архитектуры для дальнейшего развития

Итог

Проект позволил перейти от фрагментированной и технологически устаревшей среды к современной, модульной и масштабируемой BI-платформе на базе open-source.

Создано устойчивое аналитическое ядро, обеспечивающее прозрачность данных, оперативность управленческих решений и готовность организации к дальнейшей цифровой трансформации.