Русский Экспресс

Сравнение производительности DATAREON Platform и Apache NiFi при обработке интеграционных потоков

Проект:

Проведение нагрузочного и функционального тестирования двух интеграционных платформ — DATAREON Platform и Apache NiFi — для выбора оптимального решения реализации интеграционного сервиса.

Клиент:

«Русский Экспресс» — крупный российский туроператор.

Задача:

Заказчику требовалось реализовать интеграционный сервис для обработки изменений по заявкам и партнерам в режиме реального времени с сохранением данных в базе Greenplum. В рамках проекта необходимо было: настроить HTTP-сервис для приема изменений по заявкам и партнерам; реализовать хранение полученных данных в БД Greenplum в нормализованном виде; разработать и развернуть два тестовых контура на разных ESB-платформах; провести нагрузочное тестирование для оценки производительности DATAREON Platform и Apache NiFi; определить наиболее подходящее решение для дальнейшего промышленного использования.

Причины обращения

Компания стремилась обеспечить обработку изменений в режиме реального времени с минимальной задержкой и высокой надежностью передачи данных между системами.

Для выбора оптимальной интеграционной платформы потребовалось провести сравнительное тестирование решений DATAREON Platform и Apache NiFi в условиях, приближенных к реальной нагрузке.

Вид деятельность

Вид деятельности

Услуги

Решение для бизнеса

Решение для бизнеса

Внедрение DATAREON Platform

Внедрение шин данных

Задача проекта

Задача проекта

Настроить HTTP-сервис для приема изменений по заявкам и партнерам, обеспечить хранение данных в Greenplum и провести сравнительное нагрузочное тестирование DATAREON Platform и Apache NiFi для выбора оптимальной платформы.

Наше решение

  • Развертывание тестовых стендов DATAREON Platform и Apache NiFi.
  • Реализация одинакового HTTP-сервиса на обеих платформах.
  • Интеграция с базой данных Greenplum.
  • Проведение нагрузочного тестирования.
  • Сравнительный анализ производительности ESB-платформ.
  • Подготовка рекомендаций по выбору интеграционного решения.

Результат

В результате проекта была проведена комплексная оценка двух интеграционных платформ в условиях нагрузочного тестирования.

Достигнутые результаты:

  • выполнена настройка интеграции на двух ESB-платформах;
  • реализован единый сценарий обработки данных для DATAREON Platform и Apache NiFi;
  • проведено нагрузочное тестирование обеих платформ;
  • выполнено сравнение производительности решений в идентичных условиях;
  • на основе результатов тестирования выбрана наиболее эффективная платформа для решения задач заказчика;
  • обеспечена возможность дальнейшего масштабирования интеграционного решения.

Что применялось в работе

  • DATAREON Platform
  • Apache NiFi
  • HTTP API
  • Greenplum Database
  • Нагрузочное тестирование
  • Интеграционные платформы (ESB)
  • Обработка событий в реальном времени
РЕАЛИЗОВАННЫЕ ПРОЕКТЫ

ESB

Обзор российских ESB-решений

17 подробных технических обзоров на отечественные платформы