Можно ли запустить корпоративную BI+ETL-систему за 1,5 млн рублей? Часть 1: PolyAnalyst ETL+BI

Зачем мы делаем обзоры BI+ETL-систем

Я работаю в компании «Белый код», и последние 8 лет мы активно внедряем BI-решения для клиентов. Исторически мы начинали с партнёрства с Qlik Sense – на тот момент это был один из наиболее зрелых инструментов на рынке. После 2022 года сотрудничество по понятным причинам прекратилось, и мы сфокусировались на проектах с использованием отечественных и open source решений.

В практике последних лет мы реализовывали проекты на базе PIX BI, Yandex DataLens, Visiology и других российских платформ, а также применяли open source решения, например, Apache Superset. Для крупных компаний с собственной ИТ-командой и хорошим бюджетом такие решения позволяют выстроить полноценную систему корпоративной аналитики.

Однако есть и другая категория запросов на BI – от компаний малого и среднего бизнеса. Тут нет большой ИТ-команды и бюджет ограничен 1,5–2 млн рублей. Здесь возникает ключевая проблема. Внедрение большинства отечественных BI-платформ предполагает построение полноценной архитектуры: развёртывание хранилища данных (чаще всего на базе ClickHouse), проектирование модели данных, разработку процессов выгрузки из 1С и других систем, настройку инфраструктуры. Это требует привлечения разработчиков, аналитиков данных и DevOps-специалистов. В результате проект выходит за рамки «бюджетного» сценария.

Мы стали искать вариант, который позволит закрыть потребность таких клиентов без избыточной архитектуры и без привлечения дорогих разработчиков. Постепенно пришли к выводу, что задача может быть решена только при использовании готовой связки ETL + BI, где аналитик сможет самостоятельно загружать данные и формировать отчётность.

Так у нас появилась задача – подобрать продукт для определенного сегмента клиентов. Для начала мы сформулировали набор требований к идеальному решению:

По этим критериями отобрали 6 российских BI-систем, у каждой из которых заявлена поддержка ETL:

1. «Форсайт»
2. AW BI
3. Biplane24
4. Insight
5. Modus ETL и Modus BI
6. PolyAnalyst ETL & BI

Дополнительно решили сделать обзор на экстрактор данных «Денвик», который позволяет выбирать среди большего числа BI-систем. Кроме того, захотелось показать еще один отечественный продукт, который не подходит по критерию BI+ETL. Это зрелая BI-платформа DataLens. Она заслуживает отдельного внимания как ориентир для сравнения.

Провели встречи с вендорами, посмотрели продукты живьём, задали неудобные вопросы. Результаты публикуем в серии статей. В этой рассказываю про PolyAnalyst от компании «Мегапьютер Интеллидженс».

О компании и продукте

«Мегапьютер Интеллидженс» существует с 1993 года. У компании два офиса – в Москве и Чебоксарах. Работают как вендор: развивают линейку аналитических продуктов, из которых PolyAnalyst – флагман.

PolyAnalyst позиционируется как low-code система для разработки решений анализа данных и текстов. Ключевое слово здесь «сквозная». Система покрывает весь цикл работы с данными: подключение к источникам, трансформация (ETL), машинное обучение, текстовый анализ (text mining) и, наконец, визуализация и BI-отчётность.

Вендор позиционирует PolyAnalyst как альтернативу следующим западным решениям: 

• Alteryx,
• IBM DataStage,
• IBM Watson/SPSS Modeler,
• IBM Watson (текстовый анализ),
• KNIME,
• Pentaho Kettle (ETL),
• Power BI,
• Qlik Sense,
• RapidMiner (машинное обучение),
• SAP BW ETL,
• SAS Enterprise Miner,
• SAS Text Analytics,
• SAS Visual Analytics (BI)
• Tableau,
• Tableau Prep.

Такое позиционирование говорит о том, что система изначально создавалась для задач enterprise-уровня, а не только для построения отчётности.

Архитектура

PolyAnalyst построен по клиент-серверной архитектуре. Все вычисления выполняются на центральном сервере (физическом или на виртуальной машине), а пользователь подключается через браузер по HTTPS – веб-клиент, ничего устанавливать не нужно.

Масштабирование вертикальное: наращиваем аппаратные ресурсы сервера (оперативная память, процессор, дисковое пространство). Для модуля отчётности доступно и горизонтальное масштабирование: можно масштабировать количество серверов, на которых будут размещаться отчёты, а балансировщик будет распределять доступ пользователей по отдельным серверам. Это актуально для сценариев, когда к дашбордам одновременно обращаются сотни пользователей, вычислительная нагрузка распределяется, а не упирается в один сервер.

Объём обрабатываемых данных ограничен только дисковым пространством. Заявленный предел по количеству записей в таблице – порядка квадриллиона, то есть система рассчитана на работу с большими данными.

Внутреннее хранилище данных – собственная разработка вендора (не ClickHouse, не PostgreSQL).

Системные требования и совместимость

Сервер PolyAnalyst работает на Windows 10/11 и Windows Server 2016/2019/2022 (64-bit). Минимальные требования: 8 ГБ оперативной памяти, 10 ГБ на диске. Для клиентских приложений аналогично: 8 ГБ RAM и 6 ГБ на диске. Также поддерживаются российские ОС – Astra Linux и РЕД ОС, что важно для госсектора и компаний с требованиями по импортозамещению.

По процессорам вендор рекомендует современные многопоточные CPU. На практике система продуктивно работает на широкой линейке Intel: от Core i7 четвёртого поколения до актуального 14700K, а также на двухпроцессорных серверных конфигурациях на базе Intel Xeon. Выбор количества ядер зависит от объёма данных и числа одновременно работающих пользователей.

Три компонента BI-части

С точки зрения пользователя система разбивается на три рабочих места:

1. Аналитический клиент – здесь аналитик строит пайплайны (аналитические сценарии). Графический интерфейс с палитрой функциональных узлов: перетаскиваем, настраиваем, связываем. Каждый узел – это действие над данными: загрузка, джойн, фильтрация, агрегация, визуализация, выгрузка.

2. Редактор отчётов – рабочее место для сборки дашбордов из визуализаций, таблиц и виджетов. Drag-and-drop, настройка связей между компонентами, условное форматирование.

3. Просмотр отчётов – интерфейс для бизнес-пользователей. Отчёт нельзя редактировать, но можно работать с фильтрами, делать drill down, экспортировать в PNG, PDF, PPTX или Excel.

Важный нюанс: переменные и вычисления живут в аналитическом скрипте, а не в визуальном слое. Если нужна виртуальная колонка по формуле, её надо создать в пайплайне, а не в дашборде. Это отличает PolyAnalyst от «чистых» BI-систем вроде Qlik, где set analysis позволяет делать сложные вычисления прямо на уровне визуализации. На вопрос о поддержке переменных в визуальном слое вендор ответил, что у них другая концепция.

Источники данных

Набор коннекторов достаточно широкий:

• Базы данных – встроенные драйверы для популярных СУБД, подключение через ODBC, OLEDB, OData. Можно писать SQL-запросы при подключении или забирать таблицы/вью целиком.
• Файлы – CSV, Excel, JSON, XML. Поддерживается пакетная загрузка: целыми папками, с рекурсивным обходом подпапок, из архивов. Одноформатные таблицы автоматически склеиваются через union.
• Документы – PDF, RTF, DOCX, ODT. Есть собственный модуль OCR (аналог ABBYY FineReader) для извлечения текстов и таблиц из PDF и сканов.
• Другое – парсинг веб-страниц (встроенный парсер), подключение к email-серверам, загрузка аудио/видео и изображений.

Подключение к 1С

Для нас это был ключевой вопрос. Отдельного коннектора к 1С у PolyAnalyst нет. Формально можно подключиться через OData, но на предприятиях служба безопасности может не разрешить такой способ.

В качестве альтернативы предлагают использовать внешние экстракторы (например, «Денвик»), которые забирают данные из 1С и отдают их уже в PolyAnalyst. Но это, очевидно, внешний компонент, а не часть системы.

Наш вердикт по 1С: подключение возможно, но с оговорками. Без 1С-разработчика или внешнего экстрактора обойтись не получится, а этого мы как раз хотели избежать.

Обработка данных (сценарии трансформации)

Это сильная сторона PolyAnalyst. Если BI-часть PolyAnalyst – это добротный, но не революционный модуль, то ETL – это то, ради чего стоит присмотреться к системе внимательнее. По сути, ETL здесь – не «довесок к BI», а полноценный инструмент уровня SAP BW ETL, вокруг которого исторически строился весь продукт.

Концепция: визуальный пайплайн вместо SQL

Вся трансформация данных строится в графическом интерфейсе «аналитического клиента». Аналитик перетаскивает функциональные узлы на рабочую область и соединяет их стрелками – получается пайплайн (в терминологии PolyAnalyst «аналитический сценарий»). Каждый узел – это отдельная операция: загрузить таблицу, очистить, объединить, отфильтровать, рассчитать новую колонку, выгрузить результат.

Что важно: пайплайн является самодокументируемым решением. Визуальная схема наглядно показывает всю логику обработки данных: какие источники подключены, какие трансформации применены, в каком порядке. Это заметно упрощает поддержку и передачу проектов между аналитиками. Новый человек открывает пайплайн и видит, что происходит с данными, без необходимости разбирать SQL-скрипты или документацию. Нам продемонстрировали сценарий с четырьмя источниками, несколькими ветками трансформации и финальной визуализацией – логика считывалась буквально по картинке.

Программирование не требуется, SQL тоже, хотя при загрузке из базы данных SQL-запросы поддерживаются (можно забрать конкретный срез данных через SELECT). Дальнейшая обработка полностью в low-code.

Четыре группы операций

Все ETL-операции в PolyAnalyst группируются в четыре категории:

Операции с таблицами – работа на уровне целых таблиц:

• Union – склейка таблиц с одинаковой структурой. Сопоставление колонок вручную, по одинаковым названиям или по номеру. На демо нам показали, как две Excel-таблицы по регионам (42 + 43 строки) за пару кликов превратились в единую таблицу из 85 строк.
• Join – объединение таблиц по ключу. Выбираем ключевую колонку из каждой таблицы и тип объединения. Важная деталь: поддерживается связь «многие ко многим», что бывает критично для нестандартных моделей данных. Вендор отметил, что во многих конкурирующих системах такой тип джойна отсутствует.
• Агрегация (Group By) – выбор ключа группировки и типа агрегации: сумма, среднее, медиана, количество, количество уникальных, конкатенация значений, конкатенация уникальных значений, первое значение и другие. Всё – через визуальный интерфейс, без SQL.
• Сравнение и транспонирование таблиц – тоже доступны в low-code.

Операции со строками – фильтрация и очистка записей:

• Фильтрация – low-code конструктор правил с поддержкой операторов AND/OR. Добавляем правило: «номер записи больше 23», добавляем второе: «регион не содержит Коми», связываем оператором И или ИЛИ. Каждое правило можно протестировать на данных прямо в интерфейсе, до применения. Отдельный приятный момент – динамическая фильтрация по дате. Мы спросили, можно ли фильтровать записи, у которых дата больше «сегодня». Да, через функцию Today() в SRL-синтаксисе (о нём ниже) это работает. Каждый день значение пересчитывается автоматически, удобно для регулярных отчётов.
• Удаление дубликатов – выбираем уникальный ключ (колонку), указываем, какой дубликат оставить: первый или последний. На демо показали: после джойна появились 3 дубля (83 строки, 80 уникальных) – один узел, и таблица чистая.
• Выборка, сортировка, дополнение, обогащение – стандартный набор.

Операции с колонками – трансформация значений в атрибутах:

• Замена терминов – трансформация строковых данных с помощью регулярных выражений. На демо показали, как с городов федерального значения убирается ненужный префикс «г.ф.з.»: пишется регулярка, задаётся замена – готово. Есть встроенная библиотека регулярных выражений с готовыми шаблонами: удалить пустые строки, обрезать текст, найти URL, извлечь сумму в валюте и другие. Можно не писать регулярки самому, а подобрать из каталога.
• Извлечение терминов – разбиение строковых полей на отдельные колонки по регулярным выражениям. На демо объединённая колонка «код телефона / код субъекта» за одно действие разбилась на два отдельных атрибута. Здесь тоже есть библиотека с примерами.
• Замена категорий – ручное переименование значений в колонке. Пример: аббревиатура «ЮФО» → «Южный федеральный округ» для всех 8 строк, где она встречается. Удобно для быстрой нормализации справочников.
• Производная колонка – создание новых колонок через проприетарный синтаксис SRL, который вендор описывает как нечто среднее между Excel и DAX. Доступны функции для работы со строками, датами (включая Today() и операции вроде «вчера», «позавчера»), математикой (округление, модуль, тригонометрия), массивами, а также финансовые функции (NPV, IRR и аналогичные – прям как в Excel). Формулу можно протестировать не на полном датасете, а на выбранном диапазоне строк – удобно для отладки.
• Дискретизация и разбиение – дополнительные инструменты для категоризации и преобразования.

Всего, как заявляет вендор, в систему встроено более 100 инструментов для работы с данными.

Экспорт данных – выгрузка результатов вовне.

Данные можно отправить в базу данных через JDBC/ODBC, выгрузить в файл (Excel, CSV, JSON, XML, HTML), сохранить в шаблонный Word-документ, отправить уведомление в Telegram или на электронную почту.

Для экспорта в базы данных доступны преднастроенные профили, что упрощает настройку – не нужно вручную прописывать параметры соединения. Поддерживаются: ClickHouse, PostgreSQL, MySQL, MariaDB, Microsoft SQL, MongoDB, SQLite, Vertica, DB2, CockroachDB, Apache Calcite Avatica, Azure Databricks, Trino, Kylin, CrateDB, CUBRID, Dameng.

Статистика на каждом этапе

Отдельно хочется отметить встроенную аналитику качества данных. На каждом узле пайплайна – будь то загрузка из источника, результат джойна или отфильтрованная таблица – доступны три вкладки:

• Данные – просмотр таблицы в табличном виде, как в Excel.
• Статистика – по каждой колонке: количество значений, пропуски (null), уникальные значения, моды, минимум, максимум, диапазон, среднее, стандартное отклонение, сумма. Для строковых колонок – количество значений, уникальные, моды.
• Уникальные записи – все уникальные значения конкретной колонки с подсчётом количества. Можно «провалиться» в любое значение и увидеть все связанные строки.

На демо это выглядело так: после джойна заглянули в статистику, увидели, что количество значений – 83, а уникальных – 80. Три дубля. Без отдельной проверки, без SQL-запросов – информация сразу на экране. Для аналитика, которому важно контролировать качество данных на каждом шаге, это огромная экономия времени.

Инкрементальная загрузка

PolyAnalyst поддерживает инкрементальное обновление – можно обновлять только новые или изменённые записи, а не перезабирать весь массив. Режим «добавить/обновить» настраивается прямо в узле загрузки данных.

Типизация данных

При загрузке система автоматически определяет типы данных: целое число, дробное, строковый тип, дата-время, булевые значения, текстовые данные, ID (целочисленные и строковые). Если автоопределение не устроило – тип можно поменять вручную прямо на этапе загрузки.

Автоматизация

Построенные пайплайны можно запускать по расписанию. Типичный сценарий: в 9 утра система без участия человека забирает данные из источника, прогоняет их через пайплайн, обновляет отчёт и отправляет уведомление в Telegram или на email – со ссылкой на отчёт и его превью в виде изображения.

Итого по ETL

Впечатление от ETL-части – это не «игрушечный» конструктор с тремя узлами, а зрелый инструмент уровня профессиональных ETL-платформ. Всё визуально, всё можно пощупать на каждом шаге, есть библиотеки готовых шаблонов. Нам на демо за 20 минут показали полный цикл: загрузка из четырёх источников → union → очистка регулярками → join → дедупликация → агрегация → производная колонка → визуализация. И на каждом шаге было видно, что происходит с данными.

По заявлениям вендора, среднестатистический аналитический проект разрабатывается за ~8 часов вместо 20 человеко-дней классическими средствами, и для этого достаточно одного разработчика вместо четырёх. Проверить эти цифры мы не можем, но по ощущениям от демо – порог входа действительно низкий для того, кто знаком с Excel и базовыми концепциями работы с данными.

Визуализация и отчётность

Более 40 типов визуализации, среди которых: классические графики и диаграммы, японские свечи, waterfall, treemap и другие. Есть интерактивная галерея, где можно посмотреть примеры.

Отдельно стоит упомянуть встроенную картографическую систему: векторные многослойные карты, которые работают автономно, без подключения к Яндекс.Картам или Google Maps. Это важно для организаций с закрытым контуром. Можно добавлять собственные карты – например, план города или отдельного объекта.

Отчёты интерактивные: drill down, drill through, what-if анализ (пересчёт показателей на лету). Связи между виджетами настраиваются гибко: можно связать все компоненты на странице, а можно – избирательно, протянув стрелку от одного виджета к другому.

Относительно свежая функция – формы ввода данных. Отчёты можно использовать не только для отображения, но и для сбора информации. Пользователь заполняет форму в дашборде, данные попадают в хранилище PolyAnalyst или во внешнюю базу (в том числе обратно в 1С). Фактически это writeback – для ETL+BI системы довольно интересная возможность.

Экспорт отчётов: PNG, PDF, PPTX, SVG, Excel, XML, CSV. Условное форматирование сохраняется при выгрузке в Excel.

Для мобильных устройств адаптивной вёрстки нет. Отчёт нужно дублировать и перестраивать вручную под мобильный экран. Система сама определяет тип устройства и показывает соответствующую версию, но работа по созданию мобильного дашборда ложится на аналитика. Справедливости ради, здесь существует два подхода: автоматическая адаптация (когда система сама подгоняет десктопный дашборд под экран смартфона) и ручное создание отдельной мобильной версии. Первый подход проще в реализации, но результат часто оставляет желать лучшего – элементы съезжают, графики становятся нечитаемыми. Второй требует дополнительных усилий, зато даёт полный контроль над тем, как отчёт выглядит на маленьком экране. PolyAnalyst выбрал второй путь.

Если стандартных визуализаций не хватает, можно встраивать пользовательские виджеты на TypeScript/JavaScript.

Ввод данных (WriteBack)

Это одна из самых интересных возможностей PolyAnalyst, которую мы раньше не видели в российских BI-системах для этого сегмента. В большинстве BI-систем основной сценарий использования - это просмотр и анализ отчётности. В PolyAnalyst дополнительно реализована возможность обратного ввода: пользователь может вносить данные непосредственно через дашборд.

Как это работает

В редакторе отчётов аналитик размещает на странице виджеты форм ввода – наравне с графиками и таблицами. Доступные типы элементов форм: указатель даты, флажок (чекбокс), список с галочками, поле ввода (числовое или текстовое), выпадающий список выбора и ползунок. Пользователь может как вводить данные вручную, так и выбирать значения из заранее подготовленных списков.

После заполнения и отправки формы данные попадают в систему, запускается пересчёт пайплайна, и отчёт на той же странице автоматически обновляется с учётом новых данных. То есть пользователь заполнил форму и сразу видит результат в виде обновлённых графиков и таблиц.

Куда улетают данные

Механика записи данных из форм следующая. Данные сохраняются в двух вариантах: как набор JSON-файлов во внутреннем хранилище PolyAnalyst, либо в виде SQLite-базы. Прямая запись во внешнюю СУБД (например, в 1С или корпоративное хранилище) через формы не поддерживается.

Это важное уточнение: WriteBack в PolyAnalyst – это механизм сбора данных внутри самой системы, а не двусторонний обмен с внешними источниками. Для сценариев, где нужно отправлять данные обратно в учётную систему, придётся строить отдельный пайплайн с экспортом.

Зачем это нужно на практике

Вендор показал следующий пример. Логистическая компания, где каждый месяц филиалы заполняют отчёт о перевозках: регион, тип груза, вид подвижного состава, масса, длина маршрута, наличие спецтарифа. Раньше это собирали в Google Sheets или Excel и руками сводили в отчёт. С WriteBack в PolyAnalyst создаётся одна страница дашборда, где сверху – форма ввода, а снизу – автоматически обновляемые графики и сводные таблицы. Заполнил – увидел. Никаких промежуточных файлов и ручной сборки.

На скриншоте форма расположена слева, а дашборд справа.

Для малого и среднего бизнеса, где часто нет CRM или ERP (кроме 1С), и данные живут в головах менеджеров и Excel-файлах, такой механизм может закрыть реальную потребность – сбор первичных данных и их мгновенная визуализация в одном окне.

Машинное обучение и текстовый анализ

Это еще одна сильная сторона PolyAnalyst, хотя для нашей задачи (BI для МСБ) она скорее бонус. В системе доступны:

• Линейная и логистическая регрессия, деревья решений, кластеризация, анализ и прогнозирование временных рядов.
• Текстовый анализ (text mining): извлечение сущностей (телефоны, адреса, наименования), нормализация справочников, классификация документов.
• Интеграция с LLM: ChatGPT, Claude, DeepSeek, Gemini, GigaChat, MXGPT, а также собственная модель MegaGPT. Можно отправлять данные построчно на анализ, например, пачку отзывов на определение тональности или пачку договоров на извлечение ключевых дат.

В разработке находится MCP-агент – AI-чат, который будет работать с проектом: отвечать на вопросы по данным, строить пайплайны и простые дашборды по текстовому запросу. На момент встречи функционал был заявлен на конец весны.

Лицензирование и стоимость

Модель распространения — On-premise: система разворачивается в контуре заказчика, в том числе в полностью изолированной среде без доступа к интернету. Стоимость лицензии начинается от 250 000 рублей в год.

Заключение

Что понравилось

• Сквозной подход: ETL, трансформация, ML и BI – в одной системе. Не нужно склеивать «зоопарк» продуктов.
• Мощный ETL: широкий набор операций в визуальном пайплайне, регулярные выражения, инкрементальная загрузка, поддержка many-to-many в джойнах.
• Встроенная статистика на каждом этапе пайплайна – удобно для отладки и контроля качества данных.
• Формы ввода (writeback) – функция, расширяющая сценарии использования.
• Автономные карты – работают в закрытом контуре, без внешних сервисов.
• Интеграция с LLM – для задач обработки текстов и документов.
• Собственный OCR – не нужен отдельный ABBYY FineReader.
• Честность вендора – на встрече не пытались приукрасить возможности, прямо говорили о текущих ограничениях.

Что вызвало вопросы

• Нет нативного коннектора к 1С – подключение через OData формально возможно, но на практике слабо применимо и часто блокируется службой безопасности. Нужен внешний экстрактор или 1С-разработчик.
• Переменные и вычисления – только в аналитическом скрипте, а не в визуальном слое. Для тех, кто привык к set analysis в Qlik или DAX в Power BI, это ограничение.
• Бизнес-пользователь не может управлять измерениями в отчёте: добавлять/убирать поля в сводной таблице. Вендор отмечает, что такие запросы от реальных клиентов пока не поступали.
• WriteBack ограничен внутренним хранилищем – данные из форм сохраняются в JSON или SQLite внутри PolyAnalyst, прямая запись во внешние СУБД не поддерживается. Также есть возможность сохранять данные в любые пользовательские каталоги файловой системы.

Результаты по нашим критериям

PolyAnalyst – это мощная аналитическая платформа, которая выходит далеко за рамки классического BI. Сквозной подход «от источника до дашборда» – именно то, что мы искали. Но для сегмента МСБ с типичным ландшафтом «1С + Excel» вопрос бесшовного подключения к 1С остаётся открытым. Продукт скорее подойдёт компаниям, у которых уже есть аналитическая команда и готовность инвестировать в настройку.

В следующей статье расскажу о другом продукте из нашей подборки. А если у вас есть вопросы по бизнес-аналитике, пишите через форму на сайте. Оставляю ссылку на наши предложения и кейсы по внедрению BI-систем.