Введение

Аналитические конвейеры связывают источники, преобразования и конечных потребителей данных. Ошибка в одном компоненте способна повлиять на последующие этапы обработки, поэтому локальная доля некорректных записей не всегда характеризует критичность инцидента.

Традиционная оценка нарушения по доле некорректных записей позволяет охарактеризовать его локальную тяжесть, однако не отражает возможный масштаб последствий. В исследовании R. Y. Wang и D. M. Strong [1] показано, что качество данных не ограничивается точностью и зависит от потребностей пользователей. А. А. Афанасьев и В. А. Кудинов [2] рассматривают формализацию ожиданий к качеству данных корпоративных хранилищ.

Для оценки потенциального распространения нарушений могут использоваться сведения о происхождении данных и зависимостях между компонентами. J. Mwebaze, D. Boxhoorn и E. A. Valentijn [3] рассматривают механизмы отслеживания происхождения данных в системе Astro-WISE. H. Foidl и соавторы [4] систематизируют факторы, связанные с качеством конвейеров обработки данных.

Наличие зависимости не гарантирует распространения ошибки: она может быть устранена фильтрацией или не затронуть используемые потребителем данные. Поэтому число зависимых объектов необходимо проверять как показатель критичности, а не считать достаточным само по себе.

Возникает вопрос, при каких условиях количество зависимых компонентов позволяет надёжнее ранжировать нарушения, чем оценка их локальной тяжести.

Цель исследования — определить условия, при которых учёт структуры зависимостей улучшает ранжирование нарушений относительно локальной оценки. Для этого сопоставляются два базовых показателя с имитационным эталоном на графах различной топологии и размера.

Модель и организация эксперимента

Аналитический конвейер представлен ориентированным ациклическим графом G = (V, E), где V — множество узлов, соответствующих объектам данных и их обработки, E — множество направленных зависимостей. Ребро u → v означает зависимость объекта v от объекта u. Узлы без исходящих рёбер считаются конечными потребителями. Инциденты задаются в остальных узлах, чтобы оценить их влияние на последующие результаты.

В отечественных исследованиях подчёркивается необходимость управления качеством данных при работе с неоднородными источниками. Н. А. Скворцов [5] рассматривает эту задачу применительно к исследовательским инфраструктурам. Для настоящего эксперимента это служит дополнительным основанием рассматривать зависимости между объектами как контекст оценки последствий, не отождествляя наличие связи с фактической передачей ошибки.

Для каждого инцидента i задаётся локальная тяжесть qᵢ, характеризующая долю некорректных записей. На её основе рассчитываются две оценки критичности:

где — локальная оценка критичности, — структурная оценка, — доля некорректных записей в узле возникновения инцидента, а — количество всех узлов, прямо или косвенно зависящих от него. Локальная оценка учитывает только тяжесть нарушения; структурная увеличивается с ростом количества зависимых объектов. Единица в скобках учитывает исходный узел.

Для сопоставления методов используется модельный эталон воздействия на конечных потребителей, рассчитываемый имитацией распространения ошибок по графу.

Для его расчёта проводится серия имитаций распространения ошибки. Каждому ребру e назначается вероятность прохождения ошибки pₑ, каждому конечному потребителю t — положительный условный вес wₜ. В каждой имитации случайным образом определяется, по каким рёбрам может распространяться ошибка. Если существует путь от исходного узла до потребителя, по которому ошибка проходит на всех участках, потребитель считается затронутым. Если путей несколько, его вес учитывается только один раз.

где — модельный эталон воздействия инцидента ; — число имитаций; — множество конечных потребителей; — условный вес потребителя ; — показатель достижения потребителя ошибкой из узла в имитации m (1 — достигла, 0 — не достигла). Множитель задаёт допущение о линейной зависимости тяжести последствий от доли некорректных записей и не является вероятностью возникновения инцидента. Эталон не интерпретируется как фактический экономический ущерб.

Полученный эталон предназначен для сравнения ранжирований в заданной модели и не является измерением реального экономического ущерба.

Исследованы три топологии: последовательная цепь, бинарное разветвлённое дерево и смешанный граф с разветвлением и объединением путей. В смешанном графе для каждого очередного узла выбирается от одного до трёх предшественников среди не более чем 60 предыдущих узлов. Рёбра направлены от меньшего номера к большему, что исключает циклы.

Практические сложности построения ETL/ELT-процессов, включая обеспечение качества данных и организацию их обработки, рассматриваются Д. И. Битченковым, М. С. Злобиной и С. Г. Ермаковым [6]. В отличие от анализа промышленного внедрения, в настоящей работе эти особенности абстрагированы до контролируемых графовых структур, что позволяет сопоставить два показателя критичности при одинаковых исходных условиях.

Рассмотрены размеры 100, 500 и 1000 узлов. Для каждой топологии и размера выполнено десять повторов с фиксируемыми начальными значениями генераторов. Для цепи и бинарного дерева топология при фиксированном размере не изменяется: между повторами меняются параметры нарушения и распространения. В смешанном графе меняется также структура связей.

Значения qᵢ выбираются равновероятно из множества {0,05; 0,10; 0,20}, веса потребителей — из {1; 3; 5}. Вероятности прохождения ошибки по рёбрам равномерно распределены в одном из трёх диапазонов: 0,10–0,40; 0,25–0,90; 0,70–0,95. При переходе между режимами для одного графа сохраняются qᵢ, веса потребителей и исходные равномерные случайные величины, используемые для назначения вероятностей.

Основная серия включает 270 сочетаний топологии, размера, повтора и режима; в каждом выполнено M = 256 имитаций. В пределах одной имитации набор рёбер, допускающих распространение, общий для всех инцидентов. Дополнительная серия с M = 2048 использует те же параметры и начальные значения генераторов; первые 256 реализаций входят в расширенную серию. Поэтому проверка характеризует чувствительность к числу имитаций, но не является независимой выборкой.

Оценка качества ранжирования

Сравнивается порядок инцидентов, а не абсолютные значения оценок: для каждой пары проверяется согласованность порядка с модельным эталоном.

В каждом запуске формируются 36 000 случайных кандидатов упорядоченных пар с возвращением. Исключаются сравнения инцидента с самим собой и пары с абсолютной разностью эталонных воздействий не более 10⁻¹². Из оставшихся берутся первые 12 000 пар либо все допустимые, если их меньше. Таким образом, 12 000 — верхняя граница сравнений, а не число уникальных пар.

Доля согласованных пар определяется выражением:

где = 1, если ; = 0,5, если = ; и = 0 в остальных случаях. Здесь и — оценки сравниваемых инцидентов; — набор отобранных пар; — число сравнений. При отсутствии допустимых пар показатель не определяется.

Результаты усредняются по десяти повторам; разброс характеризуется выборочным стандартным отклонением. Дополнительно анализируются пары с положительным эталонным воздействием у обоих инцидентов.

Результаты и их интерпретация

В таблице 1 приведены результаты для разветвлённых и смешанных графов из 1000 узлов. Линейная топология рассматривается отдельно из-за высокой доли нулевых оценок модельного эталона.

Таблица 1

Качество ранжирования на графах из 1000 узлов

Источник: составлено автором на основе результатов вычислительного эксперимента на синтетических графах.

Для наглядного сопоставления результатов таблицы 1 на рисунке 1 представлены значения качества ранжирования для разветвлённой и смешанной топологий. В отличие от таблицы, диаграммы позволяют непосредственно увидеть, как меняется соотношение локальной и структурной оценок при переходе от низких к высоким вероятностям распространения нарушений.

При вероятностях 70–95 % структурная оценка превосходит локальную на 13,5 п.п. в разветвлённых и на 27,6 п.п. в смешанных графах. В этих условиях охват зависимостей лучше отражает модельное воздействие.

При промежуточных вероятностях 25–90 % результат зависит от топологии: на разветвлённых графах локальная оценка лучше на 6,2 п.п., а на смешанных структурная лучше на 17,0 п.п. Возможное объяснение — наличие альтернативных путей, однако влияние этого фактора отдельно не изолировалось.

Рис. 1. Сравнение качества локального и структурного ранжирования на графах из 1000 узлов: а — разветвлённая топология; б — смешанная топология

Источник: построено автором на основе результатов имитационного моделирования.

При вероятностях распространения 10–40 % локальная оценка лучше структурной в обеих топологиях: разница составляет 27,3 п.п. для разветвлённой и 10,0 п.п. для смешанной структуры. Это согласуется с тем, что достижимость узла сама по себе не гарантирует прохождения ошибки.

На рисунке 2 показана разность качества структурной и локальной оценок для 100, 500 и 1000 узлов. Положительные значения означают преимущество структурной оценки, отрицательные — локальной.

Рис. 2. Разность качества структурного и локального ранжирования в зависимости от числа узлов: а — разветвлённый граф; б — смешанный граф

Источник: построено автором на основе результатов имитационного моделирования.

В высоком режиме структурная оценка лучше для обеих топологий при всех трёх размерах. При низком режиме преимущество локальной оценки не универсально: на смешанном графе из 100 узлов структурная оценка выше на 0,6 п.п.

При увеличении числа имитаций с 256 до 2048 максимальное изменение средних показателей для разветвлённых и смешанных графов составило менее 0,5 п.п.; во всех 18 сочетаниях топологии, размера и режима порядок двух методов по средним значениям сохранился. Для бинарных деревьев сопоставление с точным математическим ожиданием также дало отклонение качества ранжирования менее 0,5 п.п. Эти проверки поддерживают устойчивость сравнительных выводов в принятой модели, но не заменяют проверки на других графах и реальных данных.

В линейном графе единственный маршрут от инцидента к конечному потребителю удлиняется по мере удаления от него. Поэтому большее число достижимых узлов сопровождается меньшей вероятностью прохождения ошибки по всей цепи.

Для цепей из 1000 узлов при вероятностях 25–90 % нулевой имитационный эталон наблюдался в среднем у 99,1 % инцидентов при 256 имитациях и у 98,7 % при 2048. Это не означает нулевого математического ожидания: положительное воздействие просто не фиксируется в конечной серии редких прохождений. Значительная часть пар исключается из сравнения, а показатель по положительным парам часто основан на единичных наблюдениях или не определяется. Поэтому линейные графы не включены в таблицу 1.

Ограничения исследования

Исследование ограничено синтетическими графами, условными весами потребителей, заданными локальными тяжестями и независимым распространением ошибок по рёбрам. Эти допущения обеспечивают контроль эксперимента, но не воспроизводят всё разнообразие реальных конвейеров.

Топологии различаются сразу несколькими свойствами — длиной маршрутов, числом потребителей и альтернативными путями. Поэтому эксперимент выявляет совместные закономерности, но не изолирует причинный вклад каждого свойства.

Заключение

В работе сопоставлены локальная и структурная оценки с модельным эталоном воздействия на конечных потребителей. Цель исследования достигнута: определены условия, при которых учёт зависимостей улучшает качество ранжирования.

Для графов из 1000 узлов при высоких вероятностях распространения структурная оценка превосходит локальную на 13,5–27,6 п.п.; при низких вероятностях в обеих нелинейных топологиях лучше локальная оценка. При промежуточных вероятностях результат определяется топологией.

Проверка с увеличением числа имитаций до 2048 сохранила порядок методов во всех 18 сочетаниях нелинейных топологий, размеров и режимов. Для линейных графов интерпретацию ограничивает высокая доля нулевых модельных воздействий. Дальнейшая проверка необходима на реальных графах происхождения данных.

Литература:

1. Wang R. Y., Strong D. M. Beyond Accuracy: What Data Quality Means to Data Consumers // Journal of Management Information Systems. 1996. Vol. 12, No. 4. P. 5–33. DOI: 10.1080/07421222.1996.11518099.
2. Афанасьев А. А., Кудинов В. А. Использование онтологического подхода для извлечения ожиданий к качеству данных корпоративных хранилищ // Экономика. Информатика. 2022. Т. 49, № 3. С. 566–574. DOI: 10.52575/2687–0932–2022–49–3-566–574.
3. Mwebaze J., Boxhoorn D., Valentijn E. A. Tracing and using data lineage for pipeline processing in Astro-WISE // Experimental Astronomy. 2013. Vol. 35, No. 1–2. P. 131–155. DOI: 10.1007/s10686–011–9276–8.
4. Foidl H., Golendukhina V., Ramler R., Felderer M. Data pipeline quality: Influencing factors, root causes of data-related issues, and processing problem areas for developers // Journal of Systems and Software. 2024. Vol. 207. Article 111855. DOI: 10.1016/j.jss.2023.111855.
5. Скворцов Н. А. Управление качеством данных при решении задач в исследовательских инфраструктурах над неоднородными источниками данных // Автоматика и телемеханика. 2025. № 4. С. 71–91. URL: https://journals.rcsi.science/0005–2310/article/view/288756.
6. Битченков Д. И., Злобина М. С., Ермаков С. Г. Ключевые проблемы внедрения ETL/ELT-процессов и методы их преодоления // Интеллектуальные технологии на транспорте. 2025. № 3 (43). С. 41–48. DOI: 10.20295/2413–2527–2025–343–41–48.