О непараметрическом восстановлении матрицы наблюдений с пропусками в задаче идентификации с шумами

Исследуется задача восстановления матрицы наблюдений «входных-выходных» переменных в задаче идентификации статических систем с помехами. Часто эта задача сводится к восстановлению регрессионных характеристик. Анализируется случай, когда измерения «входных-выходных» характеристик осуществляется с различной дискретностью. Это приводит к наличию пропусков в матрице наблюдений. Заполнение пропусков осуществляется с помощью непараметрической оценки кривой регрессии. Приводятся результаты численного исследования, иллюстрирующего эффективность работы предложенной методики.

Введение. Безусловно, проблема моделирования, идентификации надолго останется одной из центральных проблем кибернетики. При формулировке задач идентификации и управления особую роль играет уровень априорной информации. Она зависит как от априорных знаний о процессе, имеющихся средствах контроля, так и от самой технологии измерения переменных. Более того, отличие в средствах контроля неизбежно будет приводить к различным постановкам задач идентификации и моделирования даже для процессов одного и того же типа.

Приведем достаточно общую схему исследуемого процесса:

Рис. 1. Общая схема исследуемого процесса

На рис.1 приняты обозначения: А – неизвестный оператор объекта, – выходная переменная процесса, – управляющее воздействие, – векторное случайное воздействие, () – непрерывное время, , – каналы связи, соответствующие различным переменным, включающие в себя средства контроля, , – случайные помехи измерений соответствующих переменных процесса с нулевыми математическими ожиданиями и ограниченной дисперсией. Контроль осуществляется через интервал времени , контроль через , причем. Отличие дискретности измерения переменных, характеризующих состояние исследуемого процесса, обусловлено средствами контроля. В частности, измерения некоторых переменных может осуществляться электрическими средствами и быть достаточно малой величиной. Измерения же других переменных может быть проведено только в результате химического анализа, который требует значительно больше времени. Отсюда матрица данных может быть представлена, например, в виде Табл.1 («» - пропуск матрицы наблюдений).

Таблица 1

Идентификация в «узком» и «широком» смыслах. При моделировании разнообразных дискретно-непрерывных процессов в настоящее время доминирует теория идентификации в «узком» смысле [1, 2]. Ее содержание состоит в том, что на первом этапе, на основании имеющейся априорной информации, определяется параметрический класс операторов , например:

(1)

где – параметрическая структура модели, а – вектор параметров. На втором этапе осуществляется оценка параметров на основе имеющейся выборки , – объем выборки. Успех решения задачи идентификации в этом случае существенно зависит от того, насколько «удачно» определен оператор (1).

Идентификация в «широком» смысле предполагает отсутствие этапа выбора параметрического класса оператора. Часто оказывается значительно проще определить класс операторов на основе сведений качественного характера, например, линейности процесса или типа нелинейности, однозначности либо неоднозначности и др. В этом случае задача идентификации состоит в оценивании этого оператора на основе выборки в форме:

(2)

где – временные векторы.

Методика заполнения матрицы наблюдений. На практике часто возникают случаи, как мы это заметили выше, когда дискретность измерения «входных-выходных» переменных исследуемого процесса может не совпадать. В результате матрица наблюдений состоит из не полностью заполненных строк (Табл.1).

Для решения задач идентификации предпочтительно иметь выборки большего объема. Отсюда возникает проблема восстановления пропусков в незаполненных строках матрицы наблюдений. Конечно, при решении задачи идентификации можно использовать только заполненные строки матрицы наблюдений. Но в этом случае исходный объем выборки становится существенно меньше. В настоящей статье предлагается дать оценки в незаполненных строках матрицы наблюдений при известных значениях входных переменных . При этом используется выборка, состоящая из результатов заполненных строк матрицы наблюдений (Табл.1). В этом случае мы получим заполненную матрицу, представленную Табл.2, и оценку параметров класса (1) или (2) будем осуществлять уже на основании заполненной матрицы наблюдений.

Таблица 2

В качестве оценки можно использовать как параметрические оценки функции регрессии [1,2], так и непараметрические[3,4]. Такой прием, как это будет показано ниже, оказывается вполне оправданным, то есть задача идентификации в последнем случае (Табл.2) решается более точно, чем в случае, когда мы исключаем строки с пропусками из матрицы наблюдений (Табл.1).

Непараметрические оценки функции регрессии по наблюдениям. Пусть даны наблюдения случайных величин , , распределенных с неизвестными плотностями вероятности . Для восстановления используются непараметрические оценки [3,4]:

, (3)

где - ядерная функция, обладающая некоторыми свойствами сходимости [3,4]. Обозначим , тогда эти свойства примут следующий вид:

а) б) в) ₍₄₎

г) д) при ;

а – коэффициент размытости, удовлетворяющий условиям:

а) б) s = 1,2,…, в) г) . (5)

В данной работе использовалось треугольное ядро. Примеры треугольного , параболического и кубического ядер и их вид приведены ниже:

Рис. 2. Виды ядерных функций

(6)

(7)

(8)

Параметр размытости определяется путем решения задачи минимизации квадратичного показателя соответствия выхода объекта и выхода модели, основанного на «методе скользящего экзамена», когда при построении модели не учитывается i-я пара измерений:

. (9)

В случае, если каждой компоненте вектора соответствует компонента вектора , то во многих практических задачах можно принять скалярной величиной, если предварительно привести компоненты вектора , по выборке наблюдений, к одному и тому же интервалу, например, использовать операции центрирования и нормирования.

Этапы восстановления пропусков матрицы наблюдений. Алгоритм восстановления пропусков матрицы наблюдений можно разделить на три этапа [5].

На первом этапе алгоритма восстанавливается функция регрессии по наблюдениям , полностью представленным в исходной матрице измерений, то есть по полностью заполненным строкам в результате эксперимента (Табл.1). Подбирается оптимальное значение коэффициента размытости .

На втором этапе происходит заполнение пустых ячеек матрицы c использованием оценки и оптимального значения коэффициента размытости ядра , полученных на предыдущем этапе. Там, где наблюдения пропущены, в оценку подставляем значения измеренных и вычисляем соответствующую оценку , которой восполняем недостающее наблюдение (например, недостающая в представленной выше матрице наблюдений заполняется значением ). После этого этапа матрица наблюдений принимает вид, представленный в Табл.2.

Заключительный этап восстановления зависимости от состоит в построении непараметрической оценки по всей имеющейся (заполненной) матрице наблюдений (Табл.2). При этом коэффициент размытости подбирается по всей имеющейся выборке еще раз.

Алгоритмы идентификации. В зависимости от априорной информации об объекте управления различают задачи идентификации в «узком» и «широком» смысле [1,2]. Задача идентификации в «узком» смысле состоит в оценивании параметров и состояния системы по результатам наблюдения над входными и выходными переменными, полученными в условиях функционирования объекта. При этом известна структура системы и задан класс моделей, к которым данный объект относится. Априорная информация об объекте достаточно велика.

Методы параметрической идентификации чрезвычайно разнообразны [1,2]. Этот класс задач идентификации относят традиционно к идентификации в «узком» смысле, которая разбивается на два этапа. Первый – состоит в том, что на основании априорной информации каким-либо образом выбирается параметрическая структура модели исследуемого процесса. На втором этапе осуществляется оценка параметров, входящих в эту модель, на основе поступающей априорной информации о наблюдениях «входных-выходных» переменных объекта. Для решения подобного класса задач широко используется метод стохастических аппроксимаций [1].

Пусть параметрическая модель объекта определена следующим разложением:

(10)

где - выход модели, - система линейно-независимых функций. Примем критерий оптимальности в следующем виде:

. (11)

Минимизация (9) по &#; дается системой рекуррентных соотношений:

, (12)

где последовательности удовлетворяют условиям Роббинса и Монро [1]. Рекуррентный алгоритмы оценки параметров (12) позволяет получать соответствующие результаты по мере поступления наблюдений «входных-выходных» переменных .

В дальнейшем, в том числе в вычислительных экспериментах, мы используем метод наименьших квадратов (МНК). В теории идентификации критерий МНК позволяет строить параметрические модели регрессионного типа. Пусть задана функциональная зависимость с точностью до вектора параметров: . Доступна выборка измерений . Суть метода состоит в нахождении такого вектора оценки , который минимизировал бы сумму квадратов отклонений наблюдаемых значений зависимой переменной от ее теоретических значений . Для оценивания параметров модели используем критерий МНК: . Чтобы найти минимум данной функции, нужно вычислить ее частные производные по каждому из оцениваемых параметров и приравнять их к нулю, то есть .

В результате решения данной системы получаем оценки неизвестных параметров уравнения. На практике отыскание подходящей модели может быть достаточно трудной задачей даже для узкой прикладной области, поэтому параметрические методы не всегда применимы.

При идентификации в «широком» смысле априорная информация об объекте отсутствует или очень бедна, поэтому приходится предварительно решать большое число дополнительных задач. К этим задачам [2] относятся: выбор структуры системы и задание класса моделей, оценивание степени стационарности и линейности объекта и действующих переменных, оценивание степени и формы влияния входных переменных на выходные, выбор информативных переменных и др. К настоящему времени накоплен большой опыт решения задач идентификации в «узком» смысле. Методы же решения задач идентификации в «широком» смысле начали разрабатываться только в последние годы, и здесь результаты значительно скромнее, что в первую очередь можно объяснить чрезвычайной трудностью задачи.

Построение моделей с помощью непараметрической оценки функции регрессии – один из методов идентификации в «широком» смысле. Для построения моделей с использованием этой оценки необходимо иметь выборку измерений «входных-выходных» переменных объекта вида . Для случая многомерного входа (Табл.1) данная оценка имеет вид:

. (13)

При работе с непараметрической оценкой регрессии требуется определить вид ядерной функции (6, 7, 8) и подобрать оптимальный коэффициент размытости ядра по заранее выбранному критерию (9). Ядерная функция и коэффициент должны удовлетворять условиям (4, 5). Условие (г) в (5) для коэффициента примет вид , где m – размерность вектора входа.

Вычислительный эксперимент. Для численного исследования был выбран объект, имеющий три входа и один выход . Пусть нам известно лишь каждое третье от всех значений выхода, , то есть матрица наблюдений может быть представлена в виде Табл.1. Исследуемый объект описывается одним из следующих уравнений, имеющих разную степень нелинейности:

, (14)

, (15)

. (16)

Графики, показывающие проекции выхода на входы для этих структур, представлены на рис. 3А, 3Б, 3В. На графиках приняты следующие обозначения: «1» - структура (14), «2» - (15), «3» - (16).

На рис.3А показан выход объекта при фиксированных входах = 2, = 2. На рис. 3Б – выход при фиксированных = 2, = 2. На рис.3В – при фиксированных = 2, = 2. Показана различная степень нелинейности исследуемых структур.

При оценке параметров А, В, С, здесь и далее, используется метод наименьших квадратов. Истинное описание процесса осуществлялось в соответствии с зависимостями (14, 15, 16) для получения в компьютерном эксперименте соответствующих обучающих выборок. В дальнейшем, виды уравнений, описывающих исследуемые объекты, нам не известны.

Эксперимент осуществлялся в два этапа. На первом мы предположили, что «угадали» верную структуру объекта, на втором – заведомо допустили ошибку. При совпадающих структурах (модели имели структуры 17, 18, 19 соответственно изучаемым объектам), как при использовании исходной матрицы (Табл.1), так и при использовании восстановленной матрицы (Табл.2), получили одинаково хороший результат для всех исследуемых структур.

, (17)

, (18)

. (19)

На рис.4А, 4Б, 4В показаны графики, полученные при моделировании объекта (15) с использованием модели (18) при добавлении 5% помех на выход в проекциях на оси (сплошной линией обозначен выход объекта, пунктирной – выход модели). Даже при добавлении помехи параметры уравнения, описывающего изучаемый объект, оцениваются хорошо, выход модели достаточно точно повторяет выход объект.

На втором этапе мы специально допустили ошибку в выборе модели. Для эксперимента была выбрана зависимость под номером (14) и рассмотрено три ее модели:

, (20)

, (21)

. (22)

Во всех трех случаях отличие между объектом и моделью заключается лишь в коэффициенте при в аргументе синуса. При этом разница не значительная, это можно показать с помощью иллюстраций следующих функций:, , и :

Рис. 5.

Как видно из приведенного рисунка, функции и отличаются от функции незначительно, а функция практически с ней сливается.

Эксперимент проводился в условиях без помех и при наложении на выход помехи 5% и 10%. Полученные результаты приведены в Табл.3. Таблица содержит в себе значения относительной ошибки моделирования и коэффициентов уравнения модели А, В, С. Истинные значения коэффициентов объекта (14) следующие: А = 0.5, В = 1, С = 1.

Таблица 3

Относительная ошибка моделирования вычислялась по формуле (m – оценка математического ожидания выхода объекта): .

По таблице можно судить о том, что даже минимальные отличия в структурах приводят к сильным ошибкам моделирования. С увеличением помехи ошибка моделирования возрастает. Лишь при коэффициенте 0,999 в аргументе синуса ошибка составляет 1% без наложения помех.

Покажем, как выглядят графики выхода объекта (сплошная линия) и модели (пунктир) для зависимости (21) при помехе на выходе 5%:

Рис. 6.

По графику видно, что выход модели близок к выходу объекта, но с погрешностями. И ошибка моделирования, как видно из Табл.3, составляет 34%.

На рис. 7А, 7Б, 7В показаны выходы объекта и модели в разрезах на оси . На рисунках цифрой «1» обозначен выход объекта, цифрой «2» - выход модели. Модель не точно описывает исследуемый объект, особенно это выражено по входу , поскольку именно здесь была допущена ошибка выбора структуры.

Результаты данного эксперимента показывают, что выбор правильной структуры модели является очень важным этапом моделирования в «узком» смысле. Ошибка, хоть и не большая, приводит к значительному снижению качества моделирования. При серьезных отклонениях от истины модель не может дать прогноза.

При идентификации в «широком» смысле использовалась непараметрическая оценка регрессии вида :

(23)

Эксперимент осуществлялся для объема выборки . На первом этапе оценка (23) строилась по исходной матрице наблюдений (Табл.1), на втором этапе – по заполненной (Табл.2). Ниже приведен график зависимости ошибки моделирования от объема выборки (здесь и далее, сплошная линия иллюстрирует случай оценивания по исходной матрице, пунктирная линия – оценивание по заполненной матрице) для объекта, описываемого уравнением (15).

Рис.8. Зависимость ошибки моделирования от объема выборки

Пунктирная линия на всем интервале проходит под сплошной линией. Это означает, что оценивание по восстановленной матрице наблюдений дает меньшую ошибку моделирования . Так, при объеме выборки = 100, ошибка по исходной матрице с пропусками = 46%, ошибка по заполненной матрице = 30% (соответственно = 1,18, = 0,68). При = 3000 ошибки =13,5%, =13% ( = 0,42, = 0,3). График зависимости ошибки моделирования от значений коэффициента для рассматриваемой структуры при = 1000 и 5% помех представлен на рис.9А.

Рис. 9А. Рис. 9Б.

Оценке, полученной по восстановленной матрице, соответствует меньшая ошибка моделирования при оптимальном коэффициенте . Рис. 9Б показывает зависимость оптимальных коэффициентов и от объема выборки . Для всего рассматриваемого интервала выполняется соотношение .

При объеме выборки = 1000 для каждой из рассмотренных структур были получены следующие результаты. При использовании исходной матрицы с пропусками (Табл.1) ошибка моделирования составляет в среднем 15%, в то время как оценивание по заполненной матрице (Табл.2) дает ошибку в 12%. При уровне помех в 5% данное соотношение составляет в среднем 17% к 14%, при помехе в 10% - 23% к 21%.

Заключение. Рассмотрена задача восстановления матрицы наблюдений с пропусками для решения задачи идентификации стохастических, статических объектов. Предложена методика восстановления пропусков матрицы наблюдений и приведены соответствующие алгоритмы. Показано, что задача идентификации по заполненной матрице решается более точно, чем по незаполненной, что иллюстрируют численные эксперименты. В результате проведенных вычислительных экспериментов, можно утверждать, что алгоритм дает эффект, если исходная матрица наблюдений заполнена на 30-50%.

Выражаю искреннюю благодарность научному руководителю

профессору Медведеву А.В.

Литература:

1. Цыпкин, Я.З. Основы информационной теории идентификации – М.: Наука, 1984. 320 с.

2. Эйкхофф, П. Основы идентификации систем управления – М.: Мир, 1975. 683 с.

3. Медведев А.В. Непараметрические системы адаптации. – Новосибирск, Наука, 1983.174с.

4. Надарая Э.А. Непараметрические оценки плотности вероятности и кривой регрессии. – Тбилиси: изд. Тбил. ун-т, 1983. 194 с.

5. А.А.Корнеева, Н.А.Сергеева. О непараметрическом восстановлении матрицы наблюдений с пропусками в задаче оценки функции регрессии/ Материалы XV-ой Международной конференции «Решетневские чтения»// Красноярск: изд-во СибГАУ, 2011. – с. 458-459.