Математическая модель фильтрации ошибок отчетных данных вылова



Статья посвящена проблеме качества промысловой отчетности в промышленном рыболовстве. В качестве инструмента оценки качества данных о вылове, представляемых рыболовными компаниями, предлагается использование технологии, основанной на применении широкого класса стохастических авторегрессионных моделей. Оценка основана на сравнении прогностического значения улова, сделанного по модели, и аналогичного показателя, содержащегося в представленном промысловом отчете. В процессе сравнения на основе вновь поступивших данных коэффициенты модели уточняются. Применение математической модели, адаптированной к поступившим отчетным данным, позволяет уменьшить доверительный интервал ошибок отчетности и проводить эффективный контроль качества поступающих отчетных данных, что, в конечном счете, обеспечит пользователей информационной рыбопромысловой системы качественной аналитической информацией о вылове.

Ключевые слова : рыболовные участки, рыбный промысел, информационная рыбопромысловая система, промысловая отчетность, стохастическая авторегрессионная модель.

Введение

Основным объектом промышленного рыболовства на рыболовных участках Дальневосточного бассейна является семейство лососевых. Право на осуществление вылова у пользователей водных биологический ресурсов (ВБР) — рыбопромышленных предприятий — возникает на основании разрешения на добычу (вылов) водных биоресурсов, которое выдается федеральным органом по рыболовству или его бассейновыми управлениями по охране, воспроизводству рыбных запасов и регулированию рыболовства либо органом исполнительной власти субъекта РФ.

Вести промысел пользователь может только на рыболовном (рыбопромысловом, сокращенно РПУ) участке, указанном в разрешении, применять при этом только разрешенные орудия лова (ставные или закидные невода, реже ставные сети) и осуществлять добычу по графику в определенные для промысла дни. В некоторых случаях в разрешениях на добычу указывается лимит вылова, который можно сделать на данном РПУ.

Выполнение ограничений и условий промысла, содержащихся в выданном разрешении контролируется мониторингом использования водных биоресурсов путем непрерывного контроля за деятельностью на РПУ. Решение задачи контроля обеспечивается путем изучения промысловой отчетности, поступающей от пользователей участков. Показатели отчетности, наряду с другими независимыми данными, используются для оценки состояния ВБР, уровня освоения квот вылова, интенсивности промысла и его влияния на состояние рыбного запаса.

Материалы и методы

Промысловая отчетность представляет собой формализованный отчет о результатах промысловой деятельности на участке, формируемый по результатам вылова за отчетные сутки. Эти отчеты составляются и формализуются в соответствии со стандартами и требованиями к промысловой отчетности, которые регламентируются Приказами Госкомрыболовства РФ и Федерального агентства по рыболовству.

Каждый отчет представляет собой структурированную по специальным правилам написания последовательность информационных блоков, состоящих из сгруппированных по категориям показателей. Все показатели отчета — это система кодов и идентификаторов. Состав показателей промысловой отчетности в полной мере характеризует работу участка. В связи с выше изложенным, при разработке структуры и содержания отчетности был выделен ряд основных показателей, способных в совокупности передать качественную и количественную оценку результатов деятельности конкретного участка. Поэтому главными принципами её построения были обозначены логичность, единство и взаимосвязь показателей.

Эффективное государственное управление рациональным использованием водных биоресурсов, изучением и сохранением рыбных запасов требует соответствующего информационного обеспечения. Для этого была разработана отраслевая система мониторинга (ОСМ) [Проценко, 2001], в основе которой лежат данные промысловой отчетности, данные рекомендуемых объемов вылова, сведения об их распределении между промышленниками, разрешительная и прочая справочная информация. Но главными показателями работы отрасли являются, естественно, сведения об уловах.

Мониторинг водных биоресурсов ведется через ОСМ путем непрерывного наблюдения и контроля за разведкой рыбных запасов, ловом рыбы, её обработкой, транспортировкой и хранением. Слежение и контроль за промыслом судов и рыбопромышленных бригад на рыболовных участках, сбор отчетности в рамках ОСМ позволяет получить оценку состояния водных биоресурсов на основе определенных показателей: вылов на усилие, площади промысловых скоплений, изменение размеров популяции и т. д. В свою очередь, на основе этих показателей осуществляется наблюдение за интенсивностью промысла и его влиянием на состояние рыбных запасов, обеспечивается непрерывный контроль за реализацией выделенных квот вылова.

Проблеме повышения качества информационного ресурса ОСМ уделено достаточно много внимания [2; 3]. Кроме умышленного искажения поступающих сведений важно отметить высокую волатильность уловов, связанную с состоянием лососевой популяции и неравномерным подходом рыбы к участкам. В связи с этим очень сложно провести оценку величины возможного улова.

Главное для построения эффективной статистической модели оценки улова — это получение оценивателей, на основе использования методов несмещенного оценивания и максимального правдоподобия, исходя из выборочных значений вылова, и изучению их асимптотических свойств. Асимптотические свойства оценивателей служат обоснованием для статистических выводов, получаемых при выборках большего объема.

Отчетную величину улова на участке — за указанные сутки , можно рассматривать как сумму двух элементов: первой части, являющейся функцией всех значений до выбранных суток , и случайной составляющей :

(1)

В этом уравнении

— это совокупность данных вылова , полученных до момента времени , то есть ; — вектор неизвестных коэффициентов модели; — некоторая интегральная функция отчетных значений уловов с близлежащих участков; — шум, последовательность случайных величин; — детерминированная функция.

Ввод в уравнение шума отражает допущенные погрешности при случайном или умышленном искажении величины улова, а также поиске неизвестного вида функции .

Если привести уравнение (1) в векторно-матричный вид, то система уравнений для m-мерного векторного процесса будет выглядеть следующим образом:

(2)

где — мерный вектор;

— n0-мерный вектор ;

— случайные гауссовы возмущения типа «белого шума»;

— имеет размерность и составляется в виде функции из компонент векторов ;

— наблюдаемый входной вектор.

Компонентами являются уловы разных объектов промысла, например, за сутки в общем улове на РПУ присутствовали горбуша, кета, голец и т. д.

Таким образом, имеем класс моделей (2) и требуется найти значения компонент вектора .

Естественно, за счет подбора вида функции и вектора коэффициентов модели , возможно, минимизировать влияние шума:

(3)

При этом минимизация (3) для вектора даст выражение в виде [4]:

(4)

Важное преимущество метода оценивания на основе ограниченной информации состоит в том, что он позволяет находить состоятельную оценку даже в условиях отсутствия знания

. Данный метод позволяет осуществлять декомпозицию задачи оценивания на ряд автономных задач оценивания для отдельных уравнений системы, что существенно упрощает задачу в вычислительном аспекте.

Алгоритм контроля входных отчетных данных выглядит следующим образом. По модели конкретного промыслового участка делается прогноз на один шаг вперед по времени. Теперь есть 2 значения улова: фактическое , переданное в отчете, и спрогнозированное . Именно это значение сравнивается с поступившим на эту дату значением вылова в отчете. Если расхождение укладывается в доверительный интервал , то значит, поступивший отчет, скорее всего достоверен и нет причин подозревать пользователя ВБР в его искажении. Если же расхождение велико, то это прямой сигнал к проведению анализа поступивших данных на предмет их ошибочности или умышленного искажения.

Расчет по формуле (4) требует необходимости запоминания всей совокупности наблюдений до момента времени . При мониторинге, т. е. непрерывном отслеживании динамики показателей, характеризующих процесс, необходим пересчет оценки в новые оценки с использованием данных новейших наблюдений . Проведение подобных расчетов требует выполнения растущего с числом

количества суммирований, что закономерно приведет к росту затрат на поиск и отбор записей наблюдений при компьютерной реализации.

Для решения это проблемы можно воспользоваться алгоритмом, принадлежащим семейству алгоритмов фильтрации Калмана и реализующем процедуру вычислений оценки коэффициентов модели в реальном масштабе времени. Суть алгоритма, реализующего Калмановскую фильтрацию, заключается в согласовании наблюдений и физических моделей.

Если ввести в рассмотрение матрицу :

(5)

Оценку вектора коэффициентов модели при этом можно записать в виде:

(6)

При этом алгоритм вычисления оценки

, исходя из описанных соотношений, представится в следующем виде:

(7)

Из этого выражения можно получить соотношение:

(8)

Тогда выражение для в конечном итоге будет выглядеть следующим образом:

(9)

Если подставить выражение, найденное ранее примет вид:

(10)

Можно вычислить оценку дисперсии шума в реальном масштабе времени:

(11)

Значение при этом стремится к квазимаксимальноправдоподобной оценке. Эта оценка, в свое время, приближенно равна

, т. е. близка к байесовской оценке, которая основана на всей информации в момент времени . При этом имеет смысл матрицы точности оценивания параметров модели, а — это дисперсия ошибок оценивания непосредственно процесса по модели

(12)

Практически всегда при вычислениях возможность получения наблюдений по каждой компоненте вектора состояния , отсутствует. Однако, если предположить, что в некоторый момент времени имеется только часть информации о векторе состояния, а именно , где , причем

. В этом случае есть возможность проведения уточнения коэффициентов модели только в -уравнениях. При этом стоит учитывать, что компоненты вектора состояния статистически между собой связаны. Используя эту связь, можно уточнить значения тех составляющих вектора состояния, по которым информация не поступила за счет тех компонент, по которым есть измерение.

Если в момент имеется линейная оценка процесса , которая была получена в результате использования имеющихся на момент времени данных измерений, и минимизирующая функционал , то такая оценка дается условным математическим ожиданием по отношению к процессу :

(13)

Из этого уравнения, используя имеющиеся на момент времени данные измерений, можно получить линейную оценку процесса . Оптимальное оценивание состояния , с учетом полученных на момент времени измерений дается линейной оценкой в виде:

(14)

Минимизация такого выражения, в свою очередь, приводит к матричному уравнению Винера-Хопфа относительно -мерной матрицы

решение которого имеет вид:

(15)

где — ковариационная матрица ошибки оценки .

Ковариационная матрица ошибки оптимальной оценки с учетом предыдущих соотношений равна:

(16)

Для численной реализации на каждом временном шаге процедуры оптимального оценивания, производится модификация этого алгоритма, при которой осуществляется последовательное усвоение каждой компоненты вектора состояния по рекуррентным формулам:

(17)

(18)

(19)

Индекс пробегает на одном шаге по времени значения от до . Начальные условия:

.

Обсуждение

Понятно, что сохранить численность биоресурсов в размерах, необходимых для их воспроизводства и последующего использования в течение длительного срока невозможно без надежной работы ОСМ. В рамках ОСМ формируются аналитические материалы, позволяющие решать широкий комплекс задач по управлению рыболовством: осуществление контроля за промысловой деятельностью участков, отслеживание полноты и достоверности отчетности, поступающей от рыболовных участков.

Вот почему важно, чтобы ОСМ развивалась вместе с совершенствованием системы государственного управления рыболовством и соответствовала современным стандартам информационных технологий.

Разработка автоматизированной системы отчетности промысловых участков является сложной и емкой задачей, которая требует решения большого количество вопросов из различных областей знаний. Основной проблемой использования промысловых данных можно выделить их качество, а именно полноту, достоверность, точность и легитимность. Промысловые отчеты, которые формируются на рыболовных участках, при подготовке и передаче подвержены искажению, а также умышленной фальсификации. Этот фактор резко снижает качество всего информационного ресурса ОСМ, а также ставит под вопрос эффективность его использования в процессе государственного управления рыболовством.

Можно привести пример возникновения неопределенности [5]. Предположим, что среднесуточный вылов группы участков за прошедший период составил 300–500 тонн. Необходимо принять решение по оперативному управлению (ограничение или увеличение объемов вылова) в данном районе на основе величины вылова, который будет в течение следующей недели. Эта величина не определена, однако можно оценить значение вылова с большой долей уверенности, как лежащие в интервале тех же 300–500 тонн.

Интуитивно ясно, что вероятность того, что вылов будет равен нижней (300 тонн) или верхней (500 тонн) границе меньше, чем вероятность того, что вылов будет равен 400 тоннам. Следовательно, если разбить шкалу значений вылова на интервалы, то каждому такому интервалу можно сопоставить степень уверенности в том, что будущий вылов примет именно это значение. Величина прогнозируемого вылова зависит от множества случайных факторов. Это приводит к тому, что до сих пор нет системы или метода, которые бы позволили бы дать ему точную оценку. Однако, получив наилучшую в смысле достоверности оценку и точность этой оценки, можно приступать к процедурам выработки решения.

Если речь идет о сложных процессах, нельзя рассчитывать на получение удовлетворительной детерминированной модели. Однако, стоит учитывать и то, что принципиальным недостатком детерминированных моделей систем является отсутствие эффективного метода сравнения различных возможных моделей, которые могут быть разработаны на основе одних и тех же эмпирических данных. Существует ряд объективных причин, в силу которых, по истечении определенного количества времени, отличия между моделируемым и реальным процессами становятся настолько сильными, что состояние математической системы более не будет отражать основных характеристик исследуемых явлений. К числу таких причин в первую очередь следует отнести конечное количество пространства состояний, ошибки начальных данных, входных воздействий и параметров модели. Важно заметить, что ошибки начальных данных и входных воздействий носят случайный характер.

Неопределенность значения прогнозируемого вылова можно охарактеризовать с помощью понятий расплывчатости, вводя, такие термины как «норма вылова» и «доверительный интервал», которые определяются степенью близости к норме (близко, около, меньше, гораздо меньше и т. п.).

Итак, в адрес контролирующего государственного органа поступил промысловый отчет от РПУ, в котором указано значение вылова определенного объекта промысла. Пусть уже имеются достоверные отчетные данные предыдущих отчетов по этому участку и по другим близко расположенным участкам. Идея заключается в том, что можно построить математическую модель, а затем на основе модели и имеющихся в наличие данных дать прогноз на одни сутки вперед и сравнить это прогностическое значение со значением вылова в поступившем отчете.

Основными данными в ОСМ являются результаты промысловых операций, выраженные в объемах выловленной рыбы — сведения, которые предполагается ежесуточно передавать с рыболовных участков. Процесс обработки входных данных включает в себя первичную обработку, в процессе которой выполняется преобразование формата исходных данных во внутренний формат информационной системы, комплексный анализ этой информации, выполняющий синтаксический и семантических разбор данных и подготовку аналитического материала, ввода потока в базу данных и его рассылку другим пользователям.

Разработано несколько технологий, которые классифицируются по концепциям обработки данных. Хотя проблемы контроля качества входной информации широко обсуждаются на теоретическом уровне, существует ряд трудностей при их обработке. Так, например, работа [6] посвящена разработке модуля, который позволяет классифицировать поток данных и затем обрабатывать его, принимая во внимание определенные параметры, такие как: типы файлов в соответствии с расширением типа, дата, имя и размер файла, используя в доказательство определенные методы и алгоритмы. Из собранной информации необходимо извлечь и проанализировать большое количество контента, чтобы удовлетворить потребности в знаниях закономерностей физических процессов. Обработка должна фильтровать и оптимизировать качество и точность входных данных, т. е. релевантная информация должна регистрироваться методами, исключающими не нужные данные. Для поддержки этой работы используются специальные инструменты, например, ETL [7].

В статье [8] приведены результаты исследования методов параметрического прогнозирования, основанные на представлении временного ряда обобщённым многочленом по системе линейно независимых функций, а также алгоритмы прогноза, основанные на моделях авторегрессии, рассмотрены вопросы нахождения оценок прогноза посредством минимизации функции потерь, исследован метод обобщения алгоритма прогноза с помощью линейной модели, разработанной с применением технологии искусственных нейронных сетей. Эти результаты могут быть адаптированы к системе оценки качества промысловой отчетности.

Наиболее значимые результаты по увеличению точности получаемых прогнозов и передаваемых сведений, могут быть достигнуты путем комплексной автоматизации формирования и передачи промысловой отчетности в адрес органов государственного управления [9]. Это, в свою очередь, позволит значительным образом приблизиться к решению задачи контроля качества промысловой отчетности. Стоит подчеркнуть, что особую значимость имеет система контроля подготовки и представления промысловых отчетов. При правильной организации этого процесса, возможно существенно изменить результативность и эффективность рыбоохранных мероприятий. Очевидно, что это приведет к росту доказательной базы по браконьерству и нарушениям правил рыболовства. Подобная организация также позволит значительно снизить финансовые затраты на обеспечение функционирования системы промысловой отчетности со стороны рыбопромышленных предприятий и государственных органов контроля.

Заключение

Разработка автоматизированной системы отчетности промысловых участков является сложной и емкой задачей, которая требует решения большого количество вопросов из различных областей знаний. Среди этих вопросов важное место занимают проблемы контроля качества инструментальных данных, а также информации, подготовленной в ручном режиме, проблемы, связанные с подготовкой, накоплением и передачей информации от объекта мониторинга в центр мониторинга, а также проблемы качества отчетных данных и их защиты от искажения.

Без решения ряда этих вопросов, предполагающих исследование и системное проектирование, обеспечить совершенствование и развитие мониторинга рыболовства не представляется возможным.

Данное исследование имеет характер инновационного предложения к технологическому подходу по обработке входной отчетной информации. Ранее таких исследований не проводилось и пока сравнить использование математических моделей при контроле ошибок входных данных не с чем. Следующим этапом исследования, которое несомненно продолжится, будем анализ применения технологии на практике обработки промысловых отчетов информационной системы мониторинга рыболовства.

Литература:

1. Проценко И. Г. 2001. Информационная система мониторинга рыболовства // Рыбное хозяйство. Спец. выпуск. С. 3–18.
2. Мониторинг рыболовства 2005. Инструкции и рекомендации экипажам промысловых судов и судовладельцам. Под общ. ред. д.т.н. Проценко И. Г. — Петропавловск-Камч.: ФГУП «Камчатский центр связи и мониторинга», 2005. — 264 с.
3. Кошкарева Л. А. 2005. Алгоритм контроля расхода сырца при выпуске рыбной продукции на основе данных промысловой отчетности // Материалы международных научных чтений «Приморские зори — 2005». Владивосток: ТАНЭБ, 2005. — 286 с. Выпуск второй.
4. Кашьяп Р. Л., Рао А. Р. 1983. Построение динамических стохастических моделей по экспериментальным данным // Пер. с англ., — М.: Наука, 1983. 197 с.
5. Заде Л. А. Нечеткие множества // Информация и управление. 1965. Т. 8, № 3.
6. Тапе Ж., Погуда А. А. Разработка модуля, реализующего методы и алгоритмы обработки различных типов потока данных // Международный научно-исследовательский журнал № 9 (123) Сентябрь, DOI: https://doi.org/10.23670/IRJ.2022.123.28
7. Суварнамукхи Б. Концепции больших данных и методы обработки данных / Б. Суварнамукхи, М. Сешашаыее // International Journal of Computer Sciences and Engineering. — 2018. — Vol.6. — № 10.
8. Кропотов Ю. А., Белов А. А., Проскуряков А. Ю. Обработка и прогнозирование временных рядов в цифровых системах телекоммуникации и информационных системах управления // Вестник Брянского государственного технического университета № 4(57) 2017 DOI:10.12737
9. Рыбная отрасль в России перейдет на цифровой формат // Рыболовство. 08:17 21.09.2021 https://www.korabel.ru/news/comments