Наше решение
В пилотном проекте, чтобы протестировать вариант решения задачи, мы настроили обмен между 3 базами 1С и CRM-системой. Это 12 различных объектов (справочники, регистры, документы). Для интеграции использовали DATAREON Platfrom. В платформе есть сервис «Банк данных» для хранения пользовательских данных на MSSQL или PostgreSQL, и именно его мы задействовали, чтобы решить проблему дублей.
Для начала мы создали таблицу в банке данных, где хранится соответствие идентификаторов между системами.

В этом кейсе в рамках пилота мы реализовали заполнение данной таблицы динамически, т. е. когда осуществляется передача объекта, мы записываем соответствие в банк данных. Но для реализации решения на проекте с целью безотказной работы необходимо будет прогрузить все публичные идентификаторы синхронизируемых объектов из баз 1С в Банк данных, для этого мы уже сделали обработку, которая выполняет эту функцию.
При отправке объекта (например, физлица) DATAREON обращается к банку данных и проверяет с помощью таблицы соответствий Банка данных, существует ли уже идентификатор этого объекта в системе-приемнике. Если идентификатор найден, он подставляется в объект, и дубли не создаются. Если идентификатора нет, выполняется сверка по комбинации ключевых полей (ФИО, дата рождения и др.), после чего новый объект добавляется в банк данных. Благодаря этому устраняются дубли на уровне Платформы.
Так схема для обработки реквизитов физического лица выглядит в DATAREON Platform.

Технически решение реализовано через стандартный функционал DATAREON: типы данных, обработчики и схемы с блоком «алгоритм». В рамках схемы предусмотрена логика поиска и записи соответствий в банк данных. Для обмена использовалась база MS SQL.