Обнаружение и ведение движущихся объектов на примере спортивного мероприятия



Тема статистики, а точнее, сбора статистических данных, становится наиболее субъективной и ощутимой, если объектом в сборе данных являются действия человека. Такого рода информация может быть особенно полезна в медицине, психологии, спорте и других сферах жизни человека. В данной статье будет рассмотрен сбор статистических данных о спортивных мероприятиях.

Часть данных о движениях человека, принимающего участие в спортивных мероприятиях, может быть зафиксирована с помощью специальных датчиков, которые спортсмен носит на себе. Таким образом, могут быть измерены пульс человека, температура его тела, метраж преодоленной дистанции в ходьбе или беге. Однако в наши дни такого количества показателей в сфере спорта бывает недостаточно. Для решения этой проблемы разрабатываются специальные системы, использующие видеокамеры для обнаружения и ведения объекта на спортивном мероприятии. Полученная информация используется для отчетности в журналистике, в сфере тотализаторов, для анализа действий, как отдельного спортсмена, так и команды спортсменов, с целью выявления и фиксации допущенных ошибок. К примеру, на чемпионате мира по футболу в 2006 году в четвертьфинальном матче между Германией и Аргентиной вратарь сборной Германии Йенс Леманн в серии послематчевых пенальти принес своей команде победу. Он отразил три удара с одиннадцатиметровой отметки, используя записи по статистике ударов спортсменов из команды соперника. Эти данные ему предоставил его знакомый спортивный тренер и обозреватель Андреас Кепке, который собирал их в течение последних 5 лет (рисунок 1) [1, 2].

Рис. 1. Использование вратарем сборной Германии статистических данных

Аналитика, в данном случае анализ игры и ее результатов с помощью статистики, дополняет более традиционные методы оценки игр и проведения тренировок, такие как просмотр видеозаписей или развитие физических данных.

Начало этой революции было положено в бейсболе, как утверждает Майкл Льюис в своей книге «Moneyball». Бейсбол, с точки зрения статистики, игра довольно простая. Она основана на равномерной последовательности личных противостояний бьющего и питчера. В каждом розыгрыше имеются заданные начальная и конечная позиции, которые определяют состояние системы на конкретный статистический отсчет. Учитывая этот факт, а также обилие данных о каждом розыгрыше, доступных исследователям, можно произвести расчеты для каждой из данных ситуации в игре и оценить вероятность следующего события. Например: «если у команды есть раннер на первой базе с одним аутом, то вероятность заработать очко в данном иннинге составляет 28 %» [3].

Но принципы «Moneyball» не действуют на футбольном поле. В отличие от статических действий со сменяющими друг друга состояниями в бейсболе, футбол — это игра непрерывная. Игроки переходят от нападения к защите, занимают свободную позицию на поле или же реализуют опеку соперника. В бейсболе, если игрок занимает позицию левого крайнего, вы примерно представляете, за какую область он будет отвечать в защите. В футболе же, если игрок занимает позицию форварда или полузащитника, в любой следующий момент времени он может оказаться в любом месте поля в соответствии с его субъективным анализом ситуации. В этой игре нет стабильных состояний, поэтому нельзя чисто статистически определить вероятность того или иного результата.

Решение любой задачи путем статистического анализа информации начинается с выбора типа данных входных параметров. У игроков есть сильные и слабые стороны, меняющиеся в зависимости от их расположения на поле. Вместо того чтобы сосредоточить внимание на числах, определяющих состояния как бейсболе, надо обратить внимание на расположение и перемещение объектов. В рамках данного аспекта, для анализа непрерывного случайного информационного потока с футбольного матча предлагается использование картографических данных о позициях игроков в соотношении с данными о позиции мяча.

Отследить постоянное перемещение 22 игроков не так-то просто. Но существует большое количество общедоступной информации о действиях игроков на футбольном поле, которую можно найти на фан-сайтах, в спортивных блогах и так далее. Среди этой информации наиболее важными являются данные об ударах по воротам (кто нанес удар, откуда, попал ли игрок по воротам) и данные о траектории перемещения игроков по полю во время результативных действий.

Например, на сайте ESPN.com можно обнаружить координаты ударов по воротам со статистикой каждой игры.

Разделив футбольное поле площадью, в среднем, 5400 квадратных метра на области и отмечая местоположение и частоту каждого удара в футбольном матче, можно создать карту преимуществ и слабостей любого игрока при игре в нападении и защите. Ниже представлены карты ударов самых результативных игроков в своих клубах — Уэйна Руни («Манчестер Юнайтед», Англия) и Криштиану Роналду («Реал Мадрид», Испания), созданные при помощи портала getheatmap.com на основе собранных вручную данных с сайта espn.com.

С помощью этих карт появляется возможность понять один из самых неприятных аспектов в спорте — оборону. Если отобразить только удары игроков в створ ворот и забитые голы, можно выделить наиболее «опасные» зоны, исходящие от этих игроков, для защищающихся команд (рисунки 2,3).

Рис. 2. Карты ударов Уэйна Руни в створ ворот ударов с 24.08.14 по 15.03.15 (левая часть — в створ ворот, правая часть — голы)

По картам видно, что наибольшая угроза от Уэйна Руни для ворот соперника исходит из зоны от радиуса штрафной площади до вратарской зоны. Одним из вероятных методов усиления защиты в этой зоне является персональная опека Уэйна Руни несколькими защитниками при стандартных положениях либо постоянное внимание центральных защитников к нападающему во время позиционных атак.

Рис. 3. Карты ударов Криштиану Роналду в створ ворот с 19.08.14 по 15.03.15 (левая часть — в створ ворот, правая часть — голы)

В этом же случае заметно, что Криштиану «опасен» для защищающейся команды как и в зоне штрафной площади, так и за ее пределами. Ни для кого не секрет, что нападающий отличается своим умением играть головой. Поэтому при стандартах необходимо особое внимание нескольких высокорослых защитников. На подходе к штрафной площади для большей эффективности в защите необходимо использование передних персональных защитников, которые смогут помешать дальнейшему продвижению нападающего к его наиболее «опасной» для соперника зоне.

Таким образом, можно составить простую и удобную для понимания визуальную характеристику игры футболиста в атаке и защите.

В 2012 году компания-гигант «Stats», предоставляющая статистические сведения о профессиональных спортивных событиях в США командам, лигам и СМИ, начали изучать баскетбол, работая над новым методом сбора данных под названием SportVU.

SportVU строится на базе оптической технологии с компьютерным управлением, разработанной израильскими учеными для отслеживания ракет. В 2005 году израильтяне нашли ей применение в спорте, установив три камеры над футбольным полем, чтобы наблюдать за игрой и передавать данные на центральный компьютер. Благодаря эффекту параллакса и другим хитростям при компьютерной обработке изображений, система могла отслеживать все объекты на поле, от игроков и мяча до бригады арбитров, и определять их местоположение в трехмерном пространстве 25 раз в секунду. В 2008 году Stats приобрели SportVU с целью разработать устройство из шести камер для баскетбола.

Приспособление было не из дешевых: каждая команда НБА, желавшая получить эту информацию, должна была заплатить около 100 000 долларов за установку камер и компьютеров на своей арене. К концу сезона 2012–2013 ее купили только 15 команд, и данные оказались неполными: записано было лишь около половины всех игр. Но у этих данных, казалось, был огромный потенциал.

Авторами данной статьи предлагается использование более экономичной системы, использующей уже существующие информационные ресурсы. Система, отслеживающая игроков футбольного матча и мяч, основывается на четырехступенчатом алгоритме:

1. Обнаружение футбольного поля;
2. Обнаружение игроков и мяча;
3. Распределение игроков по командам;
4. Вычисление месторасположения игроков (в метрах) на поле;

В дальнейшем используемое в процессе необходимых преобразований изображение будет именоваться в виде «I» с поясняющим индексом [4, 5].

Пусть I_RGB(x,y,t) и I_HSV(x,y,t) отображают кадр с размерами M × N, полученный с помощью камеры, установленной на стадионе, где M является шириной, N — высотой, t — момент, когда кадр был получен с камеры, RGB и HSV — цветовые модели. Первым шагом является определение футбольного поля, которое состоит из сегментации зеленых (травяных) участков для каждого кадра, используя IHSV. Это полуавтоматический процесс, в котором выбранные участки поля используются для вычисления пороговых интервалов HSV. Для футбольного поля получаются следующие интервалы: Hϵ [10 %, 23 %], Sϵ [12 %, 100 %] и Vϵ [27 %, 100 %], которые возвращают бинарное изображение I_C, с I_C= 1, что соответствует зеленым пикселям (рисунок 4) [6, 7].

Рис. 4. Пример определения границ футбольного поля (слева — оригинальное цветное изображение, справа — преобразованное черно-белое изображение)

На следующем шаге необходимо убрать из рассмотрения участки вне зоны исследуемого поля, то есть бровку, поля, трибуны и тому подобные неинформативные зоны. Это можно осуществить за несколько действий. Сначала в бинарном изображении ICвыбирается центральная точка изображения, как начальная (в большинстве кадров центральная область соответствует полю, исключением является перевод кадра в большом масштабе на игрока или на трибуну). Центральная точка должна быть зеленого цвета, и далее рекурсивно от этой точки, обходя близлежащие области размером в 3х3 пикселя, все центральные пиксели со всеми соседними зелеными пикселями обозначаются как I’_C= 1, остальным присваивается I’_C= 0. Над изображением, но только в зонах, содержащих поле (I’_C= 1), применяется оператор определения границ Кенни (Canny) (I_Ce)(рисунок 5) [8].

Рис. 5. Результат оператора определения границ Кенни

После этого для определения линий, ограничивающих поле (I_Hl), применяется преобразование Хафа (рисунок 6) [9].

Рис. 6. Результат преобразования Хафа (толстыми линиями отмечены линии разметки поля)

В конце концов, вычисляются наиболее горизонтальные линии (левая, правая, верхняя и нижняя), которые относятся к границам поля, и все, что находится вне этих границ (линий) очищается. Конечный результат содержит только сегментацию поля I_f (с некоторыми пятнами внутри).

Для обнаружения игроков используется изображение I_f. На этом изображении большая часть работы для обнаружения игроков уже сделана после ограничения области поля. Черные пятна в этой зоне скорее всего являются игроками. Тем не менее, могут возникать некоторые проблемы:

• эти пятна не являются игроками (то есть зоны с короткой травой, где проглядывается земля или резиновое покрытие);
• игроки, которых не видно из-за низкого разрешения картинки или одетые частично в зеленую форму;
• скопление большого количества игроков или скрытие одним игроком другого.

Для решения этих проблем и получения только контуров игроков можно использовать морфологические фильтры [10]. Сначала применяется фильтр дилатации (наращивания) (D), сопровождающийся фильтром эрозии (Е), а затем 9х9 фильтр замыкания (M). Результатом является изображение

     (1)

в котором игроки лучше выделяются, и удалены зоны с шумом. После этого, так как некоторые игроки до сих пор имеют несколько цветовых зон (обычно из-за экипировки, в которой они играют), применяется вертикальная маска с целью объединения этих зон.

Следующим шагом является подтверждение того, что каждое черное пятно, соответствующее возможному игроку (в I_mf) находится внутри контура из I_Ce. Наконец, идет проверка, что окончательная область каждого игрока (в I_mf) не имела больше, чем 10 % зеленых пикселей (с использованием I_H из I_HSV). Окончательное изображение после такой проверки называется I_finf. Чтобы различать игроков и мяч, все пиксели белого цвета (в I_V) должны быть обнаружены внутри I_finf. Эти пиксели могут отображать линии, принадлежащие полю, мяч, и команды, которые имеют преимущественно белую экипировку. После этого применяются пороговые значения V ∈ [75 %, 100 %] для изображения I_V, возвращающие бинарное изображение I_b, со всеми белыми областями внутри поля (I_b = 1). Сочетая предыдущую информацию с размером и формой пятен, может быть определено пятно, соответствующее мячу. Первый шаг состоит в обнаружении пятна более или менее круглой или овальной формы, которое отличается от пятна с игроком, которое имеет (обычно) более вертикальную и прямоугольную форму. Таким образом, отбрасывается большинство игроков. На втором этапе необходимо удалить области, соответствующие разметке поля, исключая участки которые соответствуют линиям, обнаруженным преобразованием Хафа в I_Hl.

Классификация игроков по командам основана на цвете экипировки. Если видео начинается с начала игры, две группы игроков справа и слева от центра поля могут быть определены автоматически. Если же видео не начинается с самого начала игры, необходимо классифицировать игроков полуавтоматически. Отдельно для каждой команды при помощи областей, определенных игроками в изображении I_finf, и изображения I_H вычисляется средний цветовой оттенок. Используя средние значения оттенка для двух команд, вычисляется граничный между ними порог для разделения команд. Классифицировать вратарей относительно легче, так как они относятся к крайним из «пятен» справа и слева на поле, и их цветовые оттенки отличаются от двух вычисляемых средних значений цветового оттенка для двух команд (важно помнить, что в большинстве случаев у вратарей отличная по цвету от полевых игроков экипировка). Основная проблема состоит в определении судей на поле. Если видео начинается с самого начала игры, судья обычно расположен близко к центральной линии поля. В этом случае «пятно», относящееся к судье, имеет отличный от игроков у центральной линии поля оттенок. В случае если видео начинается с произвольного момента матча, классификация судьи может вызвать определенные сложности, и необходимо использование вычисленных средних значений оттенков двух команд.

Все определенные оттенки запоминаются системой и могут быть изменены в случае изменения условий на видео (к примеру, освещения). При наличии интерфейса с отображением игроков на поле, необходимо соответствие номеров игроков на нем с реальными номерами игроков. Это может быть реализовано вручную.

Для того чтобы провести правильный анализ футбольного матча, важно как можно точнее знать правильное положение игроков на поле [11]. Для расчета позиции каждого игрока необходимо перспективное преобразование (гомография) каждого кадра из видео к виду на нормированном поле (рисунок 7). Для этого вычисляется ряд показателей на поле. Извлекаются линии поля из преобразования Хафа (I_Hl) и ограничители поля из I_finf.

Рис. 7. Результат перспективного преобразования области штрафной площади

Для определения позиции игрока выбирается средняя точка на нижней грани выделяющей рамки, что в большинстве случаев соответствует координатам ног игрока.

Поскольку поля имеют разные размеры (ширину и высоту), важно рассчитать размер пикселя (в нашем случае, в метрах). Для этого расчета в первых кадрах видео берутся линии центрального круга, зона пенальти или ворот, чтобы определить размер одного пикселя (так как эти зоны имеют одинаковые стандартные размеры на всех полях). Данный процесс необходимо повторять при смене кадра в большом масштабе на игрока и обратно на все поле.

Процесс обнаружения объектов на футбольном поле отображен на рисунке 8.

Рис. 8. Процесс обнаружения объектов на футбольном поле

На рисунке 9 отображены результаты тестирования для 8 кадров, взятых из записи футбольного матча.

Рис. 9. Результаты тестирования системы обнаружения и ведения объектов на футбольном поле

В результате тестирования были обнаружены и выделены полевые игроки обеих команды, попавшие в кадр, а также мяч.

По этим данным было записано перемещение игрока и мяча (на первом кадре — самый левый игрок) (рисунок 10).

Рис. 10. Отображение перемещения одного взятого игрока и мяча (красный цвет — игрок, зеленый цвет — мяч)

Данная система была реализована с использованием библиотеки алгоритмов компьютерного зрения OpenCV [12] и протестирована на реальных трансляциях футбольных матчей. Результаты тестирования подтвердили, что система собирает, классифицирует и анализирует данные о перемещениях объектов на футбольном поле для последующего предоставления их конечному пользователю в виде отчетов по запрашиваемым параметрам.

Литература:

1. Футбольная шпаргалка немецкого вратаря // URL: http://www.ntv.ru/novosti/114680 (дата обращения: 12.01.15).
2. Роль статистики в ставках // URL: http://www.sportbk.ru/articles-rates/95-articles-about-rates (дата обращения: 14.01.15).
3. Как отследить каждый бросок в НБА? // URL: http://geektimes.ru/post/245866 (дата обращения: 15.02.15).
4. Huang Y., Llach J., Bhagavathy S. Players and Ball Detection in Soccer Videos Based on Color Segmentation and Shape Analysis. 2007.
5. Wilson B. Development in video technology for coaching. Sports Technology. 2008.
6. HSV — цветовая модель // URL: https://ru.wikipedia.org/wiki/HSV_(цветовая модель) (дата обращения: 03.03.15).
7. Поиск объекта по цвету // URL: http://robocraft.ru/blog/computervision/402.html (дата обращения: 11.03.15).
8. Детектор границ Кенни // URL: http://habrahabr.ru/post/114589 (дата обращения: 03.03.15).
9. Преобразование Хафа // URL: http://cgm.computergraphics.ru/content/view/36 (дата обращения: 05.03.15).
10. Математическая морфология // URL: http://habrahabr.ru/post/113626 (дата обращения: 07.03.15).
11. Sebe N., Lew M. Robust computer vision: Theory and applications. Kluwer Academic Publishers, The Netherlands: 2003.
12. OpenCV шаг за шагом // URL: http://robocraft.ru/page/opencv (дата обращения: 20.03.15).