РУП «Белтаможсервис» и A2 Consulting завершили в 2025 году проект по переходу с Oracle и SAP на open-source платформу PostgreSQL и Apache Airflow для обновления хранилища таможенных данных и витрин статистики внешней торговли Республики Беларусь. Новое решение обеспечило высокую производительность, масштабируемость и технологическую независимость, став основой для дальнейшего развития цифровой инфраструктуры компании.
РУП «Белтаможсервис» — государственное предприятие, оказывающее комплексные логистические услуги и обеспечивающее сопровождение внешнеэкономической деятельности. Расположенная в Республике Беларусь компания взаимодействует с партнёрами и информационными системами множества стран, обрабатывая значительные объёмы таможенной и статистической информации, критически важной для анализа внешней торговли.В 2025 году РУП «Белтаможсервис» совместно с командой A2 Consulting реализовали проект по разработке программного обеспечения для периодического обновления центрального хранилища данных таможенной информации, формирования витрин данных и базы таможенной статистики внешней торговли Республики Беларусь. Проект был выполнен в период с марта по декабрь 2025 года.
Предпосылкой запуска проекта стало отсутствие официальной технической поддержки используемых ранее продуктов Oracle Database и SAP BusinessObjects Data Integrator, а также стратегический курс на импортозамещение и переход на open-source технологии. Существующее решение создавало риски с точки зрения эксплуатации, развития и долгосрочной устойчивости ИТ-ландшафта.
Ключевой целью проекта стало создание нового программного решения для регулярного обновления хранилища и витрин данных с сохранением производительности: время формирования витрин не должно было превышать показатели Oracle/SAP-решения.
В рамках проекта была выполнена миграция данных и ETL-процессов с Oracle Database и SAP BusinessObjects Data Integrator на СУБД PostgreSQL с использованием оркестратора Apache Airflow. Решение было реализовано в трёх контурах — разработки, предпродуктивном и продуктивном — с применением GitLab для управления исходным кодом и процессами разработки.
Новая архитектура построена на клиент-серверной модели PostgreSQL и Apache Airflow с поддержкой распределённых компонентов, вертикального и горизонтального масштабирования, а также встроенных механизмов безопасности: ролевой аутентификации, SSL-шифрования, RLS и аудита. Общий объём мигрированных данных составил порядка 4 ТБ.
Одной из ключевых сложностей проекта стала переработка логики ETL, ранее реализованной в SAP BusinessObjects Data Integrator, под Apache Airflow (Python), а также миграция больших объёмов данных и управление значительным числом DAG и Task. Для решения этих задач команда провела глубокий анализ механизмов репликации и обработки изменений, применила комбинированный подход к загрузке данных (CSV для массовых операций и DataFrame для гибкости) и внедрила динамическую генерацию задач на основе конфигурационных файлов JSON/YAML. Это позволило сократить дублирование кода, снизить трудозатраты и повысить масштабируемость пайплайнов.
Проект был реализован по полному жизненному циклу и включал анализ требований, проектирование, разработку и тестирование ETL-средств, документирование, сопровождение тестирования, опытной эксплуатации, приёмочных испытаний и ввода решения в промышленную эксплуатацию.
В результате проекта было переписано более 800 потоков данных и 200 функций, разработано свыше 80 DAG и 1400 Task в Apache Airflow. Заказчик получил устойчиво работающую систему с корректно мигрированными схемами и данными, сокращённым временем загрузки больших объёмов информации, предсказуемыми SLA выполнения процессов и сниженной совокупной стоимостью владения за счёт перехода на open-source технологии. Существенно упростилось дальнейшее развитие и сопровождение решения.
В настоящее время проект рассматривается как основа для дальнейшего развития и масштабирования.