Необходимо реализовать интеграцию DATAREON Platform с промышленным оборудованием по протоколу OPC UA. Разрабатываемый клиент должен обеспечивать получение данных с OPC UA-серверов, включая показания счётчиков, состояния оборудования и результаты измерений. Получение данных должно поддерживаться как путём чтения текущих значений, так и через подписки на их изменения. Полученные данные передаются в стандартные потоки обработки DATAREON Platform для последующей маршрутизации в учётные системы (в том числе 1С), хранилища данных и другие информационные системы с использованием штатных механизмов платформы.
Из коробки в DATAREON нет коннектора к OPC UA, поэтому будет делать свой плагин.
В DATAREON есть два механизма расширения функционала: плагины и программируемые системы. Плагин поставляет реализацию адаптера, программируемая система задаёт его экземпляр и включает в обмен.
| Компонент | Что это | Как используется у нас |
|---|---|---|
| Плагин | Пакет с реализацией: pluginInfo.json, входная DLL, зависимости | Код адаптера: сессии OPC UA, подписки, очередь, восстановление соединения |
| Программируемая система | Конкретный экземпляр, участвующий в обмене | Ссылка на плагин и JSON-настройки этого экземпляра |
Плагин отвечает на вопрос «как», программируемая система отвечает на вопрос «что именно и с какими параметрами». Один и тот же плагин в испытаниях обслуживал две системы, по одной на каждый OPC UA-сервер.
Средствами Платформы реализованы хранение списка серверов и тегов в банке данных, сборка из него настроек для плагина, приём подтверждений и маршрутизация значений к получателям. Кодом в плагине реализована специфика OPC UA: сессия с сервером, подписка на изменения, восстановление соединения, буфер и упаковка значений в пакеты.
Базовая схема:

Код плагина запускается не в основном процессе службы DATAREON, а в отдельных процессах размещения адаптеров, которыми сама управляет. У каждой программируемой системы свой процесс, своя сессия с OPC UA-сервером и свой рабочий каталог на диске, поэтому экземпляры не мешают друг другу.
| Часть | Что делает |
|---|---|
| src/client | Сессия OPC UA, Read, подписки, изменение набора тегов, преобразование скаляров, сертификаты |
| src/plugin | Фабрика SDK, Start/Stop, работа со снимком настроек, очередь, пакеты, восстановление соединения, диагностика |
| Программируемая система | Ссылка на плагин и JSON-настройки экземпляра |
| Банк данных | Сохраняемые типы серверов, тегов и мониторинга применённых версий |
| Процесс формирования снимка | Читает банк, собирает полный набор настроек, хэш версии и UTC-время, отправляет системе |
| Процесс подтверждения | Проверяет код сервера, версию и корреляцию ACK, сохраняет применённую версию |
| Маршрут и получатель | Принимают пакеты значений; конкретные потребители настраиваются отдельно |
Сборка нацелена на net6.0, испытания шли под .NET 6.0.36 x64. Пакет плагина содержит pluginInfo.json (в нём указан entryDll), входную DLL, клиентскую DLL, библиотеку LibUA и нужные зависимости. Пакет загружается штатным механизмом Платформы и связывается с системой.
При создании адаптера Платформа вызывает публичную фабрику и передаёт ей идентификатор системы, JSON конфигурации, источник сообщений и сервисы SDK.
Адаптер не живёт сам по себе: его создаёт, запускает и останавливает Платформа. Для этого она по очереди вызывает три интерфейса из нашего кода: конструктор, метод Start и метод Stop. Ниже по шагам, что происходит на каждом.
Создание. Платформа создаёт объект адаптера и передаёт ему JSON-настройки, заданные в карточке программируемой системы. Конструктор разбирает этот JSON и проверяет, что адаптер может писать в свой рабочий каталог на диске. В JSON лежит: код OPC UA-сервера, имена типов сообщений (запрос настроек, подтверждение, пакет значений), интервалы и, при желании, путь к рабочему каталогу. Названия и смысл этих полей задает разработчик, Платформа их не интерпретирует.
Запуск (Start). Адаптер читает с диска последние настройки, которые применял до перезапуска, и запускает пять фоновых задач, работающих параллельно:
Если Платформа вызовет Start второй раз, ничего не произойдёт: вторая копия задач не создаётся.
Остановка (Stop). Адаптер сигнализирует всем фоновым задачам завершиться и какое-то время ждёт их завершения.
Что происходит при изменениях в Платформе. Когда мы публикуем новую конфигурацию или загружаем новую версию пакета плагина, Платформа перезапускает процесс адаптера, поэтому всё, что адаптер держит в памяти (сессия, подписки, очередь значений), при таком перезапуске теряется, поэтому настройки он хранит на диске.
Настройки хранятся в банке данных, но адаптер не ходит в банк напрямую. Банк читается средствами DATAREON: процесс собирает настройки и отправляет адаптеру полный снимок обычным сообщением. В снимке: код сервера, версия-хэш, UTC-время формирования, параметры подключения OPC UA, ссылка на учётную запись, интервалы и активные NodeId.
Правила приёма снимка:
ACK означает «настройки приняты и сохранены». Он не говорит, что соединение с OPC UA установлено или что значения дошли до получателя.
В снимке передаётся только имя-ссылка на штатную учётную запись. Адаптер проверяет её привязку к системе через IAuthenticator и получает пароль через TryGetPassword. Пароль не попадает ни в банк, ни в снимок, ни в журнал.
Постоянный каталог отделён от каталога распаковки плагина: по умолчанию %ProgramData%\dtrn-opcua\<идентификатор системы>. В нём лежат последний снимок и папки own, trusted, rejected для сертификатов. Права на чтение и запись проверены под учётной записью службы.
Опрашивать сервер в цикле не нужно: клиент один раз оформляет подписку на нужные теги, и дальше сервер сам присылает только изменившиеся значения. В OPC UA такие уведомления называются DataChange. Путь каждого значения от сервера до шины состоит из четырёх шагов.
Что лежит в пакете:
| Поле | Что содержит | Зачем |
|---|---|---|
| Сервер | Код OPC UA-сервера | с какого сервера пришли значения |
| ВремяФормирования | UTC-время сборки пакета | можно оценить задержку от изменения значения до отправки |
| Отброшено | Сколько значений потеряно при переполнении очереди с момента прошлого принятого пакета | контроль потерь |
| Последовательность | Номер пакета | контроль потерь |
| Экземпляр | Идентификатор запуска адаптера | позволяет различать пакеты разных запусков после перезапуска |
| Сессия | Номер сессии с OPC UA-сервером | позволяет различать пакеты до и после переподключения |
| Значения | Массив значений: NodeId, значение, тип, две метки времени, качество | сами данные |
Здесь стоит оговориться про гарантированную доставку. Пока адаптер работает, он хранит значения в памяти и повторяет отправку. При переполнении буфера старейшие значения отбрасываются, при завершении процесса неотправленная очередь теряется. Если адаптер будет перезапущен, или платформа временно не будет принимать сообщения, будут потери. Для сбора телеметрии этого достаточно, но если нужно обеспечить гарантированную доставку придется организовывать очередь на диске, постоянные идентификаторы пакетов и подтверждение сохранения получателем с защитой от дублей.
Ниже семь фрагментов из исходников плагина, по одному на каждую часть механики из раздела 3. Перед каждым фрагментом сказано, какую задачу он решает.
Несколько обозначений, которые встречаются во всех фрагментах:
Задача. Платформе нужно как-то получить объект адаптера из нашей DLL. Для этого в плагине есть класс-фабрика: когда Платформе нужен адаптер, она вызывает у фабрики метод CreateAdapter и передаёт всё, что адаптеру понадобится для работы.
public sealed class PluginFactory : ICustomAdapterFactory, ICustomAdapterFactoryExtended,
ICustomAdapterFactoryExtended_v2, ICustomAdapterFactoryExtended_v3
{
public ICustomAdapter CreateAdapter(Guid id, string name, ICustomMessageSource source,
ICustomServiceLocator locator, ICustomHandlerManager handlers, string configuration, IAuthenticator auth)
=> Create(id, source as ICustomMessageSourceExtended, locator, configuration, auth);
// ... ещё три перегрузки CreateAdapter с тем же вызовом Create(...)
private static ICustomAdapter Create(Guid id, ICustomMessageSourceExtended? source,
ICustomServiceLocator locator, string configuration, IAuthenticator auth)
=> new OpcUaAdapter(id, source ?? throw new InvalidOperationException("Extended source required."),
locator.GetLogger("OpcUaClient"), locator.GetCustomIssueModuleService(), auth, configuration);
Разбор.
Задача. При запуске нужно восстановить настройки, с которыми адаптер работал до перезапуска, и запустить фоновую работу. Причём один раз, даже если Start вызовут повторно.
public void Start(CancellationToken token)
{
lock (lifecycleGate)
{
if (tasks != null || stopping) { Record("start-repeated"); return; }
string path = Path.Combine(dataRoot, "last-applied-snapshot.json");
if (File.Exists(path))
{
current = ConfigurationSnapshot.Parse(File.ReadAllText(path), settings.ServerCode);
Record("persistent-snapshot-loaded");
}
cancellation = CancellationTokenSource.CreateLinkedTokenSource(token);
var ct = cancellation.Token;
tasks = new[] { Guard(() => Control(ct)), Guard(() => Connection(ct)),
Guard(() => Publish(ct)), Guard(() => Refresh(ct)), Guard(() => Metrics(ct)) };
if (settings.DiagnosticGcEnabled)
{
var diagnostics = new GcDiagnosticChannel(systemId,
Path.Combine(dataRoot, "gc-diagnostics.jsonl"),
() => new GcAdapterContext(Volatile.Read(ref current)?.Version, Volatile.Read(ref generation)));
tasks = tasks.Append(Guard(() => diagnostics.ListenAsync(ct))).ToArray();
}
Record("started");
}
}
Разбор.
Задача. Процесс DATAREON прислал адаптеру сообщение со снимком настроек. Адаптер должен решить, применять ли его, сохранить на диск и ответить процессу подтверждением (ACK).
string json = Encoding.UTF8.GetString(message.Body);
var snapshot = ConfigurationSnapshot.Parse(json, settings.ServerCode);
var previous = Volatile.Read(ref current);
string result = "применено", text;
if (snapshot.Version == previous?.Version)
{ text = "Повтор версии проигнорирован."; Record("configuration-repeat-ignored"); }
else if (previous != null && snapshot.FormedUtc <= previous.FormedUtc)
{ result = "ошибка"; text = "Устаревший снимок проигнорирован."; Record("configuration-stale-ignored"); }
else
{
ResolveCredential(snapshot.CredentialName);
string pending = Path.Combine(dataRoot, "last-applied-snapshot.pending");
File.WriteAllText(pending, json);
File.Move(pending, Path.Combine(dataRoot, "last-applied-snapshot.json"), true);
Volatile.Write(ref current, snapshot);
text = "Конфигурация применена.";
Record("configuration-applied");
}
bool accepted = Add(settings.AckTypeName, new Dictionary
{
["КодСервера"] = snapshot.ServerCode, ["Версия"] = snapshot.Version,
["Результат"] = result, ["Текст"] = text, ["Корреляция"] = snapshot.Correlation,
["ВремяФормирования"] = DateTime.UtcNow
}, snapshot.Correlation);
if (accepted) source.Success(message.Id, null);
else source.SetResult(message.Id, HandleResult.TransportError("ACK rejected."), null);
Разбор.
Задача. Когда сервер присылает изменения по подписке, библиотека LibUA вызывает наш обработчик. Его задача: быстро передать значения дальше и привести их к единому виду (шаг «Приём» из раздела 3).
public static UaValue ConvertValue(NodeId node, DataValue value, DateTime receivedUtc) => new(
node.ToString(), value.Value is DateTime time ? time.ToUniversalTime().ToString("O") :
Convert.ToString(value.Value, CultureInfo.InvariantCulture), value.Value?.GetType().FullName,
value.SourceTimestamp?.ToUniversalTime(), value.ServerTimestamp?.ToUniversalTime(),
value.StatusCode.GetValueOrDefault(), receivedUtc);
public override void NotifyDataChangeNotifications(uint subscription, uint[] handles, DataValue[] values)
{
try
{
DateTime received = DateTime.UtcNow;
for (int i = 0; i < values.Length; i++) ValueReceived?.Invoke(handles[i], values[i], received);
}
catch (Exception error) { CallbackFailed?.Invoke(error); }
}
Разбор. Читать фрагмент удобнее снизу вверх.
Время приёма (receivedUtc) есть во внутренней структуре, но в пакет, который уходит в шину, оно не попало. Позже это ограничило замеры задержки: в разделе 5 задержка измерена только до формирования пакета.
Задача. Отправить накопленные значения одним сообщением (поля пакета описаны в таблице в разделе 3). Если шина сообщение не приняла, не потерять значения.
{
...
accepted = await AddAsync(settings.ValueTypeName, new Dictionary
{
["Сервер"] = snapshot.ServerCode, ["ВремяФормирования"] = DateTime.UtcNow,
["Отброшено"] = droppedForBatch, ["Последовательность"] = nextSequence,
["Экземпляр"] = producerId.ToString("D"), ["Сессия"] = generation,
["Значения"] = batch.Select(v => new Dictionary
{
["NodeId"] = v.NodeId, ["Значение"] = v.Value ?? "",
["ТипДанных"] = v.DataType ?? "", ["SourceTimestamp"] = v.SourceTimestamp,
["ServerTimestamp"] = v.ServerTimestamp, ["StatusCode"] = "0x" + v.StatusCode.ToString("X8")
}).ToArray()
}, ct).ConfigureAwait(false);
}
catch (OperationCanceledException) when (ct.IsCancellationRequested) { throw; }
catch (Exception ex) { Record("values-send-error", ex.GetType().Name); }
lock (valuesGate)
{
inFlight = 0;
if (accepted)
{
sent += batch.Length; sequence = nextSequence;
droppedPending -= droppedForBatch; lastSend = DateTime.UtcNow;
}
else
{
var restored = batch.Concat(values).ToArray(); values.Clear();
foreach (var value in restored) values.Enqueue(value);
while (values.Count > snapshot.BufferSize) { values.Dequeue(); dropped++; droppedPending++; }
rejected++; Record("values-add-message-false");
}
}
Разбор.
Задача. Превратить набор полей в сообщение DATAREON нужного типа и передать его в шину. Этот метод используется для пакетов значений, а для подтверждений настроек используется метод Add из фрагмента 4.3.
private async Task AddAsync(string typeName, object payload, CancellationToken ct)
{
if (!source.TryGetDataTypeClassId(typeName, out int? classId) || classId == null) return false;
var message = ExternalMessageFactoryExtended.CreateMessage(classId);
message.EntityId = Guid.NewGuid(); message.Id = message.EntityId.ToString("D");
message.SourceId = systemId; message.CorrelationId = message.Id;
message.Body = JsonSerializer.SerializeToUtf8Bytes(payload);
var operation = source.AddMessageAsync(message, null, null);
_ = operation.ContinueWith(t => { _ = t.Exception; }, CancellationToken.None,
TaskContinuationOptions.OnlyOnFaulted, TaskScheduler.Default);
return await operation.WaitAsync(ct).ConfigureAwait(false);
}
Разбор.
Задача. Держать соединение с сервером, применять новые настройки на лету и переподключаться при сбоях. Фрагмент взят из середины задачи Connection: подключение к серверу и создание подписки идут до него и здесь опущены.
}
}
}
...
{
await Task.Delay(applied.KeepAliveMs, ct);
var fresh = Volatile.Read(ref current)!;
if (fresh.Version != applied.Version)
{
if (fresh.Endpoint != applied.Endpoint || fresh.SecurityMode != applied.SecurityMode
|| fresh.CredentialName != applied.CredentialName
|| fresh.PublishingMs != applied.PublishingMs) break;
foreach (var result in session.UpdateTags(Nodes(fresh), fresh.SamplingMs))
if (result.Status != StatusCode.Good) Record("tag-error", result.Status.ToString());
applied = fresh; Record("subscription-updated");
}
UaSession.RequireGood("KeepAlive", (StatusCode)session.ReadValues(new[]
{ new NodeId(UAConst.Server_ServerStatus_CurrentTime) })[0].StatusCode.GetValueOrDefault());
}
Record("disconnected");
}
catch (OperationCanceledException) when (ct.IsCancellationRequested) { break; }
catch (Exception ex)
{
Interlocked.Increment(ref errors); Record("connect-error", ex.GetType().Name);
issues.RegisterIssueState(CustomIssueLevel.Warning, CustomIssues.ConnectionIssue,
"OPC UA соединение восстанавливается; детали в журнале коннектора.");
}
if (!ct.IsCancellationRequested)
await Task.Delay(TimeSpan.FromSeconds(RetrySeconds[Math.Min(attempt++, RetrySeconds.Length - 1)]), ct);
}
}
Разбор.
Два тестовых OPC UA-сервера: LibUA TestServer и независимая реализация на Python, asyncua 1.1.8 (Python 3.12.7).
Python-сервер создаёт 1000 счётчиков Int64, меняет каждый раз в секунду и ставит UTC-метки source/server. Дополнительно есть скаляры Boolean, Int16, UInt64, Float, Double, String и DateTime. Проверялись Read, уведомления подписки, неизвестный NodeId, удаление тега из подписки, недоступный endpoint, остановка и повторный запуск сервера.
Чтобы отделить проблемы OPC UA от проблем интеграции с шиной, сначала проверили наш OPC UA-клиент сам по себе, без Платформы, и только после того как тесты прошли без ошибок перешли к тестированию с DATAREON Platform.
Для каждого тега мы сопоставляли начальный и конечный Read со значениями, реально полученными в маршруте DATAREON, и учитывали внутренние пропуски, хвост после последнего уведомления, дубликаты, качество и разделение по экземпляру и сессии. Журнал приёма анализировали Python-скриптами.
Одновременно работали две программируемые системы, каждая со своим сервером (LibUA и asyncua), на каждом 1000 тегов, меняющихся раз в секунду. Прогон длился час, это по 3,6 млн изменений на систему.
Как считали доставку. В начале и в конце прогона прочитали на сервере текущее значение каждого счётчика. Разница показывает, сколько изменений должно было прийти, и это число сравнили с тем, что реально пришло в маршрут DATAREON. Чтения делали чуть раньше начала и чуть позже конца часа, поэтому в сверке 3 604 000 ожидаемых значений, а не 3 600 000. Пришли все 3 604 000, без дублей и потерь.
|
|
LibUA-сервер | asyncua-сервер |
|---|---|---|
| Потеряно / дубликатов / с плохим качеством | 0 / 0 / 0 | 0 / 0 / 0 |
| Ошибок соединения / переподключений | 0 / 0 | 0 / 0 |
| Задержка от изменения на сервере до сборки пакета, в среднем | 0,44 с | 0,90 с |
| Задержка от изменения на сервере до сборки пакета, максимум | 2,13 с | 2,50 с |
| Память .NET после сборки мусора: 10-я минута → конец | 38,9 → 41,3 МБ (+6%) | 79,6 → 70,6 МБ (−11%) |
| Пик памяти .NET за час | 167 МБ | 376 МБ |
| Память процесса: старт / пик / конец | 182 / 228 / 189 МБ | 348 / 479 / 312 МБ |
Что показывают эти цифры:
Сейчас это прототип, подтверждающий возможность сбора данных с серверов OPC UA Events при помощи DATEREON. Что не делалось:
Главный вывод из этой работы: связка плагина и программируемой системы позволяет подключить к DATAREON практически любую систему, даже если её протокол Платформа не поддерживает из коробки. В плагине пишется только специфика протокола, а хранение настроек, маршрутизацию и доставку получателям берёт на себя сама Платформа.
Если вам нужно подключить к DATAREON систему с нестандартным протоколом, напишите нам: сложные задачи берём с удовольствием.
Похожие статьи
Обзор российских ESB-решений
17 подробных технических обзоров на отечественные платформы