Расширяем возможности DATAREON Platform на примере OPC UA-клиента

На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». В статье делюсь подробным описанием, как создать свой плагин, чтобы реализовать интеграцию DATAREON Platform с промышленным оборудованием по протоколу OPC UA.
20 ноября 2026

1. Задача

Необходимо реализовать интеграцию DATAREON Platform с промышленным оборудованием по протоколу OPC UA. Разрабатываемый клиент должен обеспечивать получение данных с OPC UA-серверов, включая показания счётчиков, состояния оборудования и результаты измерений. Получение данных должно поддерживаться как путём чтения текущих значений, так и через подписки на их изменения. Полученные данные передаются в стандартные потоки обработки DATAREON Platform для последующей маршрутизации в учётные системы (в том числе 1С), хранилища данных и другие информационные системы с использованием штатных механизмов платформы.

Из коробки в DATAREON нет коннектора к OPC UA, поэтому будет делать свой плагин.

Из коробки в DATAREON нет коннектора к OPC UA

2. Плагин и программируемая система

В DATAREON есть два механизма расширения функционала: плагины и программируемые системы. Плагин поставляет реализацию адаптера, программируемая система задаёт его экземпляр и включает в обмен.

Компонент Что это Как используется у нас
Плагин Пакет с реализацией: pluginInfo.json, входная DLL, зависимости Код адаптера: сессии OPC UA, подписки, очередь, восстановление соединения
Программируемая система Конкретный экземпляр, участвующий в обмене Ссылка на плагин и JSON-настройки этого экземпляра

Плагин отвечает на вопрос «как», программируемая система отвечает на вопрос «что именно и с какими параметрами». Один и тот же плагин в испытаниях обслуживал две системы, по одной на каждый OPC UA-сервер.

Средствами Платформы реализованы хранение списка серверов и тегов в банке данных, сборка из него настроек для плагина, приём подтверждений и маршрутизация значений к получателям. Кодом в плагине реализована специфика OPC UA: сессия с сервером, подписка на изменения, восстановление соединения, буфер и упаковка значений в пакеты.

Базовая схема:

3. Архитектура клиента

Общая схема

Общая схема

Код плагина запускается не в основном процессе службы DATAREON, а в отдельных процессах размещения адаптеров, которыми сама управляет. У каждой программируемой системы свой процесс, своя сессия с OPC UA-сервером и свой рабочий каталог на диске, поэтому экземпляры не мешают друг другу.

Из чего состоит решение

Часть Что делает
src/client Сессия OPC UA, Read, подписки, изменение набора тегов, преобразование скаляров, сертификаты
src/plugin Фабрика SDK, Start/Stop, работа со снимком настроек, очередь, пакеты, восстановление соединения, диагностика
Программируемая система Ссылка на плагин и JSON-настройки экземпляра
Банк данных Сохраняемые типы серверов, тегов и мониторинга применённых версий
Процесс формирования снимка Читает банк, собирает полный набор настроек, хэш версии и UTC-время, отправляет системе
Процесс подтверждения Проверяет код сервера, версию и корреляцию ACK, сохраняет применённую версию
Маршрут и получатель Принимают пакеты значений; конкретные потребители настраиваются отдельно

Загрузка кода

Сборка нацелена на net6.0, испытания шли под .NET 6.0.36 x64. Пакет плагина содержит pluginInfo.json (в нём указан entryDll), входную DLL, клиентскую DLL, библиотеку LibUA и нужные зависимости. Пакет загружается штатным механизмом Платформы и связывается с системой.

При создании адаптера Платформа вызывает публичную фабрику и передаёт ей идентификатор системы, JSON конфигурации, источник сообщений и сервисы SDK.

Как Платформа запускает и останавливает адаптер

Адаптер не живёт сам по себе: его создаёт, запускает и останавливает Платформа. Для этого она по очереди вызывает три интерфейса из нашего кода: конструктор, метод Start и метод Stop. Ниже по шагам, что происходит на каждом.

Создание. Платформа создаёт объект адаптера и передаёт ему JSON-настройки, заданные в карточке программируемой системы. Конструктор разбирает этот JSON и проверяет, что адаптер может писать в свой рабочий каталог на диске. В JSON лежит: код OPC UA-сервера, имена типов сообщений (запрос настроек, подтверждение, пакет значений), интервалы и, при желании, путь к рабочему каталогу. Названия и смысл этих полей задает разработчик, Платформа их не интерпретирует.

Запуск (Start). Адаптер читает с диска последние настройки, которые применял до перезапуска, и запускает пять фоновых задач, работающих параллельно:

Если Платформа вызовет Start второй раз, ничего не произойдёт: вторая копия задач не создаётся.

Остановка (Stop). Адаптер сигнализирует всем фоновым задачам завершиться и какое-то время ждёт их завершения.

Что происходит при изменениях в Платформе. Когда мы публикуем новую конфигурацию или загружаем новую версию пакета плагина, Платформа перезапускает процесс адаптера, поэтому всё, что адаптер держит в памяти (сессия, подписки, очередь значений), при таком перезапуске теряется, поэтому настройки он хранит на диске.

Откуда адаптер берёт настройки

Настройки хранятся в банке данных, но адаптер не ходит в банк напрямую. Банк читается средствами DATAREON: процесс собирает настройки и отправляет адаптеру полный снимок обычным сообщением. В снимке: код сервера, версия-хэш, UTC-время формирования, параметры подключения OPC UA, ссылка на учётную запись, интервалы и активные NodeId.

Правила приёма снимка:

ACK означает «настройки приняты и сохранены». Он не говорит, что соединение с OPC UA установлено или что значения дошли до получателя.

Секреты и сертификаты

В снимке передаётся только имя-ссылка на штатную учётную запись. Адаптер проверяет её привязку к системе через IAuthenticator и получает пароль через TryGetPassword. Пароль не попадает ни в банк, ни в снимок, ни в журнал.

Постоянный каталог отделён от каталога распаковки плагина: по умолчанию %ProgramData%\dtrn-opcua\<идентификатор системы>. В нём лежат последний снимок и папки own, trusted, rejected для сертификатов. Права на чтение и запись проверены под учётной записью службы.

Как значения с OPC UA-сервера попадают в шину

Опрашивать сервер в цикле не нужно: клиент один раз оформляет подписку на нужные теги, и дальше сервер сам присылает только изменившиеся значения. В OPC UA такие уведомления называются DataChange. Путь каждого значения от сервера до шины состоит из четырёх шагов.

  1. Приём. Библиотека OPC UA вызывает наш обработчик и передаёт изменившиеся значения. Из каждого мы берём: NodeId тега, само значение, его тип, две метки времени (SourceTimestamp, когда значение изменилось на источнике, и ServerTimestamp, когда его зафиксировал сервер) и признак качества StatusCode. Значение сразу превращаем в строку в формате, не зависящем от региональных настроек Windows, а метки времени приводим к UTC.
  2. Очередь. Значения складываются в очередь в памяти адаптера. По умолчанию она вмещает 10 000 значений.
  3. Пакет. Отправлять каждое значение отдельным сообщением слишком накладно, поэтому адаптер собирает пакет и отправляет его, когда набралось 500 значений или прошла 1 секунда, смотря что наступит раньше. Все три числа можно изменить в настройках: они приходят в адаптер вместе со снимком.
  4. Сообщение в шину. Пакет уходит в DATAREON одним сообщением. Его тип задан в JSON-настройках программируемой системы, а дальше сообщение обрабатывает обычный маршрут Платформы.

Что лежит в пакете:

Поле Что содержит Зачем
Сервер Код OPC UA-сервера с какого сервера пришли значения
ВремяФормирования UTC-время сборки пакета можно оценить задержку от изменения значения до отправки
Отброшено Сколько значений потеряно при переполнении очереди с момента прошлого принятого пакета контроль потерь
Последовательность Номер пакета контроль потерь
Экземпляр Идентификатор запуска адаптера позволяет различать пакеты разных запусков после перезапуска
Сессия Номер сессии с OPC UA-сервером позволяет различать пакеты до и после переподключения
Значения Массив значений: NodeId, значение, тип, две метки времени, качество сами данные

Здесь стоит оговориться про гарантированную доставку. Пока адаптер работает, он хранит значения в памяти и повторяет отправку. При переполнении буфера старейшие значения отбрасываются, при завершении процесса неотправленная очередь теряется. Если адаптер будет перезапущен, или платформа временно не будет принимать сообщения, будут потери. Для сбора телеметрии этого достаточно, но если нужно обеспечить гарантированную доставку придется организовывать очередь на диске, постоянные идентификаторы пакетов и подтверждение сохранения получателем с защитой от дублей.

4. Код

Ниже семь фрагментов из исходников плагина, по одному на каждую часть механики из раздела 3. Перед каждым фрагментом сказано, какую задачу он решает.

Несколько обозначений, которые встречаются во всех фрагментах:

4.1. Точка входа: как Платформа создаёт адаптер

Задача. Платформе нужно как-то получить объект адаптера из нашей DLL. Для этого в плагине есть класс-фабрика: когда Платформе нужен адаптер, она вызывает у фабрики метод CreateAdapter и передаёт всё, что адаптеру понадобится для работы.

public sealed class PluginFactory : ICustomAdapterFactory, ICustomAdapterFactoryExtended,

    ICustomAdapterFactoryExtended_v2, ICustomAdapterFactoryExtended_v3

{

    public ICustomAdapter CreateAdapter(Guid id, string name, ICustomMessageSource source,

        ICustomServiceLocator locator, ICustomHandlerManager handlers, string configuration, IAuthenticator auth)

        => Create(id, source as ICustomMessageSourceExtended, locator, configuration, auth);

    // ... ещё три перегрузки CreateAdapter с тем же вызовом Create(...)

    private static ICustomAdapter Create(Guid id, ICustomMessageSourceExtended? source,

        ICustomServiceLocator locator, string configuration, IAuthenticator auth)

        => new OpcUaAdapter(id, source ?? throw new InvalidOperationException("Extended source required."),

            locator.GetLogger("OpcUaClient"), locator.GetCustomIssueModuleService(), auth, configuration);

Разбор.

4.2. Запуск адаптера

Задача. При запуске нужно восстановить настройки, с которыми адаптер работал до перезапуска, и запустить фоновую работу. Причём один раз, даже если Start вызовут повторно.

    public void Start(CancellationToken token)

    {

        lock (lifecycleGate)

        {

            if (tasks != null || stopping) { Record("start-repeated"); return; }

            string path = Path.Combine(dataRoot, "last-applied-snapshot.json");

            if (File.Exists(path))

            {

                current = ConfigurationSnapshot.Parse(File.ReadAllText(path), settings.ServerCode);

                Record("persistent-snapshot-loaded");

            }

            cancellation = CancellationTokenSource.CreateLinkedTokenSource(token);

            var ct = cancellation.Token;

            tasks = new[] { Guard(() => Control(ct)), Guard(() => Connection(ct)),

                Guard(() => Publish(ct)), Guard(() => Refresh(ct)), Guard(() => Metrics(ct)) };

            if (settings.DiagnosticGcEnabled)

            {

                var diagnostics = new GcDiagnosticChannel(systemId,

                    Path.Combine(dataRoot, "gc-diagnostics.jsonl"),

                    () => new GcAdapterContext(Volatile.Read(ref current)?.Version, Volatile.Read(ref generation)));

                tasks = tasks.Append(Guard(() => diagnostics.ListenAsync(ct))).ToArray();

            }

            Record("started");

        }

    }

Разбор.

4.3. Приём новых настроек

Задача. Процесс DATAREON прислал адаптеру сообщение со снимком настроек. Адаптер должен решить, применять ли его, сохранить на диск и ответить процессу подтверждением (ACK).

    string json = Encoding.UTF8.GetString(message.Body);

    var snapshot = ConfigurationSnapshot.Parse(json, settings.ServerCode);

    var previous = Volatile.Read(ref current);

    

    string result = "применено", text;

    

    if (snapshot.Version == previous?.Version)

        { text = "Повтор версии проигнорирован."; Record("configuration-repeat-ignored"); }

    else if (previous != null && snapshot.FormedUtc <= previous.FormedUtc)

        { result = "ошибка"; text = "Устаревший снимок проигнорирован."; Record("configuration-stale-ignored"); }

    else

    {

        ResolveCredential(snapshot.CredentialName);

        string pending = Path.Combine(dataRoot, "last-applied-snapshot.pending");

        File.WriteAllText(pending, json);

        File.Move(pending, Path.Combine(dataRoot, "last-applied-snapshot.json"), true);

        Volatile.Write(ref current, snapshot);

        text = "Конфигурация применена.";

        Record("configuration-applied");

    }

    bool accepted = Add(settings.AckTypeName, new Dictionary

    {

        ["КодСервера"] = snapshot.ServerCode, ["Версия"] = snapshot.Version,

        ["Результат"] = result, ["Текст"] = text, ["Корреляция"] = snapshot.Correlation,

        ["ВремяФормирования"] = DateTime.UtcNow

    }, snapshot.Correlation);

    if (accepted) source.Success(message.Id, null);

    else source.SetResult(message.Id, HandleResult.TransportError("ACK rejected."), null);

Разбор.

4.4. Приём значений от OPC UA-сервера

Задача. Когда сервер присылает изменения по подписке, библиотека LibUA вызывает наш обработчик. Его задача: быстро передать значения дальше и привести их к единому виду (шаг «Приём» из раздела 3).

    public static UaValue ConvertValue(NodeId node, DataValue value, DateTime receivedUtc) => new(

        node.ToString(), value.Value is DateTime time ? time.ToUniversalTime().ToString("O") :

            Convert.ToString(value.Value, CultureInfo.InvariantCulture), value.Value?.GetType().FullName,

        value.SourceTimestamp?.ToUniversalTime(), value.ServerTimestamp?.ToUniversalTime(),

        value.StatusCode.GetValueOrDefault(), receivedUtc);

    public override void NotifyDataChangeNotifications(uint subscription, uint[] handles, DataValue[] values)

    {

        try

        {

            DateTime received = DateTime.UtcNow;

            for (int i = 0; i < values.Length; i++) ValueReceived?.Invoke(handles[i], values[i], received);

        }

        catch (Exception error) { CallbackFailed?.Invoke(error); }

    }

Разбор. Читать фрагмент удобнее снизу вверх.

Время приёма (receivedUtc) есть во внутренней структуре, но в пакет, который уходит в шину, оно не попало. Позже это ограничило замеры задержки: в разделе 5 задержка измерена только до формирования пакета.

4.5. Отправка пакета и что делать при отказе

Задача. Отправить накопленные значения одним сообщением (поля пакета описаны в таблице в разделе 3). Если шина сообщение не приняла, не потерять значения.

    {

    ...

        accepted = await AddAsync(settings.ValueTypeName, new Dictionary

        {

            ["Сервер"] = snapshot.ServerCode, ["ВремяФормирования"] = DateTime.UtcNow,

            ["Отброшено"] = droppedForBatch, ["Последовательность"] = nextSequence,

            ["Экземпляр"] = producerId.ToString("D"), ["Сессия"] = generation,

            ["Значения"] = batch.Select(v => new Dictionary

            {

                ["NodeId"] = v.NodeId, ["Значение"] = v.Value ?? "",

                ["ТипДанных"] = v.DataType ?? "", ["SourceTimestamp"] = v.SourceTimestamp,

                ["ServerTimestamp"] = v.ServerTimestamp, ["StatusCode"] = "0x" + v.StatusCode.ToString("X8")

            }).ToArray()

        }, ct).ConfigureAwait(false);

    }

    catch (OperationCanceledException) when (ct.IsCancellationRequested) { throw; }

    catch (Exception ex) { Record("values-send-error", ex.GetType().Name); }

    lock (valuesGate)

    {

        inFlight = 0;

        if (accepted)

        {

            sent += batch.Length; sequence = nextSequence;

            droppedPending -= droppedForBatch; lastSend = DateTime.UtcNow;

        }

        else

        {

            var restored = batch.Concat(values).ToArray(); values.Clear();

            foreach (var value in restored) values.Enqueue(value);

            while (values.Count > snapshot.BufferSize) { values.Dequeue(); dropped++; droppedPending++; }

            rejected++; Record("values-add-message-false");

        }

    }

Разбор.

4.6. Как сообщение попадает в шину

Задача. Превратить набор полей в сообщение DATAREON нужного типа и передать его в шину. Этот метод используется для пакетов значений, а для подтверждений настроек используется метод Add из фрагмента 4.3.

    private async Task AddAsync(string typeName, object payload, CancellationToken ct)

    {

        if (!source.TryGetDataTypeClassId(typeName, out int? classId) || classId == null) return false;

        var message = ExternalMessageFactoryExtended.CreateMessage(classId);

        message.EntityId = Guid.NewGuid(); message.Id = message.EntityId.ToString("D");

        message.SourceId = systemId; message.CorrelationId = message.Id;

        message.Body = JsonSerializer.SerializeToUtf8Bytes(payload);

        var operation = source.AddMessageAsync(message, null, null);

        _ = operation.ContinueWith(t => { _ = t.Exception; }, CancellationToken.None,

            TaskContinuationOptions.OnlyOnFaulted, TaskScheduler.Default);

        return await operation.WaitAsync(ct).ConfigureAwait(false);

    }

Разбор.

4.7. Поддержание соединения с OPC UA-сервером

Задача. Держать соединение с сервером, применять новые настройки на лету и переподключаться при сбоях. Фрагмент взят из середины задачи Connection: подключение к серверу и создание подписки идут до него и здесь опущены.

    }

        }

            }

            ...

                {

                    await Task.Delay(applied.KeepAliveMs, ct);

                    var fresh = Volatile.Read(ref current)!;

                    if (fresh.Version != applied.Version)

                    {

                        if (fresh.Endpoint != applied.Endpoint || fresh.SecurityMode != applied.SecurityMode

                            || fresh.CredentialName != applied.CredentialName

                            || fresh.PublishingMs != applied.PublishingMs) break;

                        foreach (var result in session.UpdateTags(Nodes(fresh), fresh.SamplingMs))

                            if (result.Status != StatusCode.Good) Record("tag-error", result.Status.ToString());

                        applied = fresh; Record("subscription-updated");

                    }

                    UaSession.RequireGood("KeepAlive", (StatusCode)session.ReadValues(new[]

                    { new NodeId(UAConst.Server_ServerStatus_CurrentTime) })[0].StatusCode.GetValueOrDefault());

                }

                Record("disconnected");

            }

            catch (OperationCanceledException) when (ct.IsCancellationRequested) { break; }

            catch (Exception ex)

            {

                Interlocked.Increment(ref errors); Record("connect-error", ex.GetType().Name);

                issues.RegisterIssueState(CustomIssueLevel.Warning, CustomIssues.ConnectionIssue,

                    "OPC UA соединение восстанавливается; детали в журнале коннектора.");

            }

            if (!ct.IsCancellationRequested)

                await Task.Delay(TimeSpan.FromSeconds(RetrySeconds[Math.Min(attempt++, RetrySeconds.Length - 1)]), ct);

        }

    }

Разбор.

5. Как проверяли

Стенд

Два тестовых OPC UA-сервера: LibUA TestServer и независимая реализация на Python, asyncua 1.1.8 (Python 3.12.7).

Python-сервер создаёт 1000 счётчиков Int64, меняет каждый раз в секунду и ставит UTC-метки source/server. Дополнительно есть скаляры Boolean, Int16, UInt64, Float, Double, String и DateTime. Проверялись Read, уведомления подписки, неизвестный NodeId, удаление тега из подписки, недоступный endpoint, остановка и повторный запуск сервера.

Чтобы отделить проблемы OPC UA от проблем интеграции с шиной, сначала проверили наш OPC UA-клиент сам по себе, без Платформы, и только после того как тесты прошли без ошибок перешли к тестированию с DATAREON Platform.

Методика

Для каждого тега мы сопоставляли начальный и конечный Read со значениями, реально полученными в маршруте DATAREON, и учитывали внутренние пропуски, хвост после последнего уведомления, дубликаты, качество и разделение по экземпляру и сессии. Журнал приёма анализировали Python-скриптами.

Нагрузка

Одновременно работали две программируемые системы, каждая со своим сервером (LibUA и asyncua), на каждом 1000 тегов, меняющихся раз в секунду. Прогон длился час, это по 3,6 млн изменений на систему.

Как считали доставку. В начале и в конце прогона прочитали на сервере текущее значение каждого счётчика. Разница показывает, сколько изменений должно было прийти, и это число сравнили с тем, что реально пришло в маршрут DATAREON. Чтения делали чуть раньше начала и чуть позже конца часа, поэтому в сверке 3 604 000 ожидаемых значений, а не 3 600 000. Пришли все 3 604 000, без дублей и потерь.


LibUA-сервер asyncua-сервер
Потеряно / дубликатов / с плохим качеством 0 / 0 / 0 0 / 0 / 0
Ошибок соединения / переподключений 0 / 0 0 / 0
Задержка от изменения на сервере до сборки пакета, в среднем 0,44 с 0,90 с
Задержка от изменения на сервере до сборки пакета, максимум 2,13 с 2,50 с
Память .NET после сборки мусора: 10-я минута → конец 38,9 → 41,3 МБ (+6%) 79,6 → 70,6 МБ (−11%)
Пик памяти .NET за час 167 МБ 376 МБ
Память процесса: старт / пик / конец 182 / 228 / 189 МБ 348 / 479 / 312 МБ

Что показывают эти цифры:

7. Что дальше

Сейчас это прототип, подтверждающий возможность сбора данных с серверов OPC UA Events при помощи DATEREON. Что не делалось:

Главный вывод из этой работы: связка плагина и программируемой системы позволяет подключить к DATAREON практически любую систему, даже если её протокол Платформа не поддерживает из коробки. В плагине пишется только специфика протокола, а хранение настроек, маршрутизацию и доставку получателям берёт на себя сама Платформа.

Если вам нужно подключить к DATAREON систему с нестандартным протоколом, напишите нам: сложные задачи берём с удовольствием.

Поделиться в соцсетях:  

Похожие статьи

ESB

Обзор российских ESB-решений

17 подробных технических обзоров на отечественные платформы