Системы сбора информации в аспекте кибербезопасности



Данная статья заключает в себе обзор агентов и инструментов сбора данных, для наблюдения за поведением пользователей на рабочих станциях, поиска вирусов, угроз сети и ботнетов.

Ключевые слова: системы обработки журналов, системы обнаружения атак,системы обнаружения и реагирования на конечных узлах сети,системы сбора информации о безопасности и управления событиями,OSSEC, SIEM, IDS, EDR, открытый исходный код, OSSIM, SEM, SIM, информационная безопасность.

Современные сети больших проектов никак не могут обойтись без информационной безопасности. Именно поэтому среди решений проблем, возникающих в этой области, существует множество систем, заточенных под сбор и анализ данных как сети, так и отдельных ее участников.

Для того, чтобы раскрыть основной интерес организации в информационной безопасности приведем таблицу заинтересованных сторон, на которой показано то чего они хотят от системы обеспечения безопасности.

Таблица 1

Заинтересованные стороны иих интересы

Роль заинтересованной стороны	Интересы
Менеджер отдела кибербезопасности организации	Система должна распространяться по методу open source.
Специалист отдела кибербезопасности организации	Быстрое автоматическое обнаружение с целью их устранения и противодействия: – внутренних уязвимостей корпоративной сети – внешних атак на корпоративную сеть; – внутренних атак в корпоративной сети со стороны недобросовестных сотрудников (превышение полномочий для несанкционированного доступа к данным с целями хищения и порчи, вызова сбоев и отказов в обслуживании); – внутренних атак в корпоративной сети со стороны вредоносного ПО (вирусы, ботнеты). Наглядное представление периодических отчетов и оперативной информации. Отсутствие большого количества ложноположительных предупреждений об угрозах со стороны системы. Автоматический учет постоянно меняющейся конфигурации и особенностей корпоративной сети организации без необходимости ее постоянной перенастройки. Автоматическое оповещение о поступивших угрозах, и по возможности их ликвидация.
Системный администратор	Легкость настройки системы Минимальная нагрузка системы на узлы. Универсальная система, не зависящая от ОС, используемой на узлах.

Отметим, что вышеописанные интересы будут использоваться при определении требований к системе и распространяются на все решение целиком, а решение в свою очередь может состоять из нескольких систем, описанных далее.

Системы извлечения журнальных записей

Начнем с простого, основная информация о действиях пользователей на узлах содержится в записях системных журналов. Для извлечения подобных журналов в условиях работающей сети используются системы извлечения журнальных записей.

К сожалению, при простом извлечении журналов на специалиста безопасности падает задача сортировки полученных данных, либо внутренним функционалом рассматриваемых систем, либо внешними продуктами.

К данному типу систем были выдвинуты следующие требования, исходящие из общей технической документации подобных систем:

– Система должна иметь OS независимые агенты сбора и мониторинга.

– В системе должен присутствовать Веб интерфейс.

– Система должна иметь возможность извлекать данные анализа для визуализации через API или иметь средство визуализации данных анализа.

– Система должна уметь осуществлять сегментацию или фильтрацию записей журнала.

– Система должна иметь возможность планирования загрузок журналов

– Система должна иметь многопоточность

Filebeat

Открывает список систем — Filebeat работающий в любой среде. Filebeat считывает и пересылает строки журнала, а если считывание прерывается, то вспоминает место, где был остановлен процесс, как только узел снова появится в сети. Filebeat поставляется с внутренними модулями (auditd, Apache, NGINX, System и MySQL), которые упрощают сбор, анализ и визуализацию общих форматов журналов вплоть до одной команды. Это достигается, комбинацией автоматических настроек на основе операционной системы узла, с уже определенным конвейером данных Elasticsearch Ingest Node и панелями Kibana [1].

NXlog

NXlog может собирать журналы из файлов в различных форматах, получать журналы из сети удаленно через UDP, TCP или TLS / SSL на всех поддерживаемых платформах. Он поддерживает специфические для платформы источники, такие как журнал событий Windows, журналы ядра Linux, журналы устройств Android, локальный syslog и т. д. Также поддерживается Запись и чтение журналов из баз данных для многих серверов. Собранные журналы могут быть сохранены в файлы, базы данных или перенаправлены на удаленный сервер журнала с использованием различных протоколов. В NXlog в дополнение к другим пользовательским форматам поддерживаются старый BSD Syslog и новый стандарт syslog IETF (RFC 3164 и RFC 5424–5426). Ключевой концепцией NXlog является возможность обрабатывать и сохранять структурированные журналы, поэтому нет необходимости преобразовывать все в syslog, а затем анализировать эти журналы снова на другой стороне. Он обладает мощной фильтрацией сообщений, возможностью перезаписи и преобразования журнала. Используя легкую, модульную и многопоточную архитектуру, которая может масштабироваться, NXLog может обрабатывать сотни тысяч событий в секунду [2].

Logstash

Logstash — это механизм сбора данных с открытым исходным кодом с возможностями конвейерной обработки в реальном времени. Logstash может динамически унифицировать данные из разрозненных источников и нормализовыввть их. Фильтруйте все свои данные для различных расширенных аналитических и визуализационных приложений. Любой тип события может быть обогащен и преобразован с помощью широкого набора входных, фильтрующих и выходных плагинов, причем многие родные кодеки значительно упрощают процесс приема [3].

Отличительными особенностями Logstash являются:

– Горизонтально масштабируемый конвейер обработки данных с поддержкой Elasticsearch и Kibana

– Настройка различных входов, фильтров и выходов

– Общественная расширяемая система плагинов в которой доступно более 200 модулей, а также возможность создания и внесения собственных плагинов

Fluentd

Fluentd — это бесплатный сборщик журналов с открытым исходным кодом, который может собирать лог-записи с более чем 600 систем. Система представляет данные в формате JSON и благодаря этому Fluentd может унифицировать все грани обработки лог-данных: сбор, фильтрацию, буферизацию и вывод журналов через несколько источников и получателей. Обработка данных в нисходящем потоке намного проще с JSON, поскольку она имеет достаточную структуру для доступа, сохраняя гибкие схемы. Fluentd поддерживает буферизацию на основе памяти и файлов для предотвращения потери данных между узлами. Fluentd также поддерживает надежное переключение на другой узел при ошибке и может быть настроен для обеспечения высокой доступности. Также Fluentd имеет гибкую систему плагинов, которая позволяет сообществу расширять функциональность. Около 500 плагинов, позволяют соединять десятки источников данных [4].

Rsyslog

Rsyslog — это быстродействующая многопоточная система для обработки журналов которая может:

– принимать входные данные из самых разных источников,

– преобразовать данные

– выводить результат преобразования в различные пункты назначения

Данная система имеет сильную корпоративную направленность, но также масштабируется до небольших систем. Rsyslog поддерживает: MySQL, PostgreSQL, ElasticSearch, syslog / tcp передачу, операции в очереди и имеет возможность фильтрации любой части сообщения. С полным списком функциональных возможностей можно ознакомиться в технической документации проекта [5].

Syslog-ng

Приложение syslog-ng представляет собой гибкое и масштабируемое приложение системного протоколирования, которое идеально подходит для создания централизованных и надежных решений ведения журналов. Среди прочего, syslog-ng OSE позволяет отправлять журнальные записи определенного узла на удаленные серверы с использованием последних стандартов защиты. Так же присутствует возможность собирать и хранить данные журнала централизованно на выделенных для этого серверах. Передача журнальных записей с использованием протокола TCP гарантирует их сохранность.

Большинство сообщений журнала по своей сути являются неструктурированными, что затрудняет их обработку. Чтобы преодолеть эту проблему, syslog-ng поставляется с набором встроенных парсеров, которые возможно комбинировать для структуризации журналов подходящим образом.

Данные журнала, которые организация обрабатывает, хранит и анализирует, ежедневно увеличивается, и поэтому многие организации используют большие решения для хранения своих журналов. Для того, чтобы разместить этот огромный объем данных, система syslog-ng поддерживает хранение журналов в файловой системе HDFS и кластерах Elasticsearch [6].

LOGalyze

LOGalyze — это система с открытым исходным кодом, обеспечивающее централизованное управление журналами и являющееся программным обеспечением для мониторинга сети. Он поддерживает серверы Unix, сетевые устройства, хосты Windows.

LOGalyze собирает, анализирует, индексирует и сохраняет данные журнала любого устройства, ОС или приложения [7]. С помощью LOGalyze возможно:

– обрабатывать данные журналов процессов с высокой скоростью

– разобрать любую строку журнала с помощью встроенных и настраиваемых логических определений

– анализировать журналы пользовательских приложений

– просматривать или искать журналы с помощью веб-интерфейса администрирования

– создавать многомерные статистические данные в реальном времени на основе отдельных полей журнала

– безопасно переносить данные журнала на другие обработчики LOGalyze или устройства syslog

– экспортировать отчеты в форматы CSV, XLS, PDF или HTML

– предупреждать и уведомлять пользователей или другие системы, когда генерируется событие, соответствующее одному или нескольким заданным критериям.

Вывод

Учитывая все многообразие систем извлечения журналов приведем таблицу выполнения требований составленную опираясь на техническую документацию вышеперечисленных систем.

Таблица 2

Выполнение технических требований системами загрузки логов.

	Filebeat	NXlog	Logstash	Fluentd	LOGalyze	Rsyslog	Syslog-ng
OS независимые агенты сбора и мониторинга	+	+	+	+	Только Windows	Только Linux	Только Linux
Веб интерфейс	+	-	+	+	+	-	+
Средства визуализации данных анализа	ELK	ELK	ELK	ELK	-	ELK	ELK
Сегментация или фильтрация записей журнала	+	+	+	+	+	+	+
Планирование загрузок журналов	+	+	+	Отдельные плагины	+	Cron	Cron
Многопоточность	-	+	-	+	-	-	+

Системы обнаружения вторжений

Системы межсетевых экранов (WAF) и обнаружения вторжений (IDS) — это те два класса защитных систем, которые анализируют сетевой трафик, разбирают протоколы самого верхнего уровня и сигнализируют о злонамеренной или нежелательной сетевой активности. Если первая система помогает веб-серверам обнаружить и избегать атак, специфичных только для них, то вторая, IDS, способна обнаружить атаки во всем сетевом трафике [8].

IDS, в свою очередь, обычно состоит из: системы сбора событий; системы анализа собранных событий; хранилища, в котором накапливаются собранные события и результаты их анализа; базы данных об уязвимостях (этот параметр является ключевым, так как чем больше база у производителя, тем больше угроз способна выявлять система); консоли управления, которая позволяет настраивать все системы, осуществлять мониторинг состояния защищаемой сети, просматривать выявленные нарушения и подозрительные действия.

На основании обзора, к системам обнаружения вторжений были выдвинуты следующие требования, исходящие из общей технической документации подобных систем:

– Система должна иметь OS независимые агенты сбора и мониторинга.

– Система должна производить детектирование сетевой активности узлов, документировать информацию об активности и существующих угрозах

– Система должна определять расположение источника атаки по отношению к локальной сети

– Система должна уметь прогнозировать возможные будущие атаки и выявлять уязвимости для предотвращения их дальнейшего развития

– В системе должен присутствовать Веб интерфейс.

– В системе должна присутствовать возможность оповещения администратора

– Система должна иметь возможность извлекать данные анализа для визуализации через API или иметь средство визуализации данных анализа.

– Система должна являться Open-source решением.

Snort

Snort — бесплатная IDS с открытым исходным кодом, которая является одной из самых старых систем с множеством пользователей. С правильным оборудованием пропускная способность этой IDS может достигать гигабитных скоростей. Snort является системой, ориентированной на сеть и как система идентификации вторжений она может исследовать перемещение как внутри, так и вне сети. Snort поддерживается на ряде аппаратных платформ и операционных систем, таких как Linux, open-BSD, free-BSD, Windows.

Snort логически разделен на несколько компонентов. Эти компоненты работают вместе для обнаружения конкретных атак и для генерации вывода в требуемом формате из системы обнаружения. IDS на основе Snort состоит из следующих основных компонентов:

– Snort сенсор

– Декодер пакетов

– Обработчики

– Ядро обнаружения

– Система документирования журналов и оповещения

– Модули вывода

Так же Snort может быть сконфигурирован для работы в трех режимах:

– Sniffer режим считывания пакетов из сети и их отображение в непрерывном потоке через консоль.

– Packet Logger — режим регистрирующий пакеты на диске.

– Режим обнаружения сетевых вторжений (NIDS), выполняющий обнаружение и анализ сетевого трафика. Этот режим является самым полным по предоставляемому функционалу [9].

Bro

Bro — это пассивный анализатор сетевого трафика с открытым исходным кодом. Но прежде всего это система безопасности, которая проверяет весь трафик по ссылкам на признаки подозрительной деятельности. В более общем плане, Bro поддерживает широкий спектр задач анализа трафика даже за пределами области безопасности, включая измерения производительности.

Самое непосредственное преимущество, которое получает локальная сеть от развертывания Bro это обширный набор журналов, которые записывают активность сети. Эти журналы включают в себя не только исчерпывающую запись каждого подключенного соединения, но и записи на уровне приложений, такие как, например, все сеансы HTTP с их запрошенными URI, заголовками ключей, типами MIME и ответами сервера; DNS-запросы с ответами; SSL-сертификаты; ключевое содержание SMTP-сессий; и многое другое. По умолчанию Bro записывает всю эту информацию в хорошо структурированные файлы журналов с разбиением по вкладкам, которые могут быть использованы для последующей обработки с помощью внешнего программного обеспечения. Пользователи могут выбирать из набора альтернативных выходных форматов и обработчиков для непосредственного взаимодействия с, например, с внешними базами данных.

Помимо журналов, Bro имеет встроенную функциональность для ряда задач анализа и обнаружения, включая извлечение файлов из сеансов HTTP, обнаружение вредоносных программ путем взаимодействия с внешними реестрами, предоставление отчетов о уязвимых версиях программного обеспечения, видимых в сети, определение популярной сети приложений, обнаружения SSH-перебора, проверки SSL-сертификатов и т. д. [10].

Suricata

Suricata — это бесплатный и открытый, зрелый, быстрый и надежный механизм обнаружения сетевых угроз.Ядро Suricata способно обнаруживать вторжение в реальном времени (IDS), имеет cистему предотвращения вторжений (IPS) и способно осуществлять мониторинг сетевой безопасности (NSM) вместе с автономной обработкой pcap.Suricata проверяет сетевой трафик, используя мощные и обширные правила и язык сигнатур,так же она имее поддержку сценариев Lua для обнаружения сложных угроз.

Главная особенность Suricata — то, что, кроме своих уникальных наработок, он использует практически все, что уже наработано для Snort. Так, подходят все наборы правил Snort, например, Sourcefire VRT, OpenSource Emerging Threats (ETOpen) и коммерческие Emerging Threats Pro. Унифицирован вывод, поэтому результат можно анализировать при помощи привычных средств анализа типа Barnyard2, Snortsnarf, Snorby, Aanval, BASE, FPCGUI, NSM-системы Sguil и Squert. Возможен вывод в PCAP, Syslog, файлы и подобное. Например, Suricata ведет журнал ключей и сертификатов, фигурирующих в TLS/SSL-соединениях. В последних релизах появился Eve log, формирующий вывод событий в формате JSON для предупреждений. Наличие JSON существенно упрощает интеграцию Suricata со сторонними приложениями, включая и системы мониторинга и визуализации логов (вроде Kibana).

Одним из главных преимуществ Suricata является то, что он был разработан намного позднее, чем Snort, и поэтому в этой системе существует поддержка многопоточности, доступная прямо из коробки [11].

Вывод

В идеале каждое из этих решений имеет свои уникальные преимущества. Решение, основанное на правилах, отлично подходит для известных угроз, а решение, совместимое с правилами одной из самых больших категорий публичных и частных хранилищ информации об угрозах — Snort, безусловно имеет преимущество. Suricata позволяет проводить высокоэффективную проверку трафика, что означает, что вы можете обрабатывать больше правил против больших объемов трафика. В конечном итоге, вы не можете обнаружить то, что не видите, поэтому производительность дает ощутимую выгоду.

В качестве альтернативы, объем качественных данных, предоставляемых Bro, представляет собой материал, необходимый для базовой настройки сети, профилирования хостов и сервисов, пассивной инвентаризации, обеспечения соблюдения политик сети, обнаружения аномалий и поиск угроз и создает фундамент для выявления угроз в сети, которые являются скрытыми. Он также предоставляет подробную информацию по инциденту, отвечая на важные для безопасности вопросы.

В качестве вывода приведем таблицу выполнения требований составленную опираясь на техническую документацию вышеперечисленных систем.

Таблица 3

Выполнение технических требований системами IDS

	Snort	Bro	Suricata
OS независимые агенты сбора и мониторинга	+	Только Unix системы	+
Детектирование сетевой активности узлов, документация информации об активности и угрозах	+	+	+
Определение расположения источника атаки по отношению к локальной сети	+	+	+
Прогнозирование будущих атак и выявление уязвимостей	+	-	+
Наличие веб интерфейса	Base	Splunk,ELK stack	Scirius
Оповещение администратора	+	+	+
Системы визуализации данных	Kibana/Graphana	ELK stack	ELK stack

Лучшее практическое решение для сетевого мониторинга будет включать в себя экземпляр Suricata для быстрого определения уже известных атак, в сочетании с Bro для содержания данных, которые обеспечивают контекст, необходимый для надлежащей сортировки предупреждений, генерируемых Suricata.

EndpointDetectionandResponse решения

Обнаружение и реагирование на конечных узлах (EDR) — это технология кибербезопасности, которая учитывает необходимость постоянного мониторинга и реагирования на сложные угрозы. EDR отличается от других платформ защиты конечных узлов сети (EPP), таких как, например, антивирус (AV) или другие методы защиты от вредоносных программ, поскольку основное внимание уделяется не автоматической остановке угроз на этапе предварительного исполнения на конечном узле. Скорее, EDR сосредоточен на обеспечении правильной видимости конечных узлов с правильной информацией для того, чтобы помочь аналитикам безопасности обнаружить, исследовать и отреагировать на самые сложные угрозы и опознать более широкие атаки, растягивающиеся на нескольких конечных узлах.

В целях обзора подобных решений исходя из определения систем EDR и обобщенного технического описания подобных систем [12] были выдвинуты следующие требования:

– Система должна иметь OS независимые агенты сбора и мониторинга.

– Система должна производить детектирование изменения логов Active Directory, файлов и процессов на конечном устройстве.

– Система должна иметь автоматизацию способов поиска угроз.

– В системе должен присутствовать Веб интерфейс.

– В системе должна присутствовать возможность оповещения администратора

– Система должна иметь возможность извлекать данные анализа для визуализации через API или иметь средство визуализации данных анализа.

– Система должна реагировать на обнаруженную угрозу.

– Система должна являться Open-source решением.

GoogleRapidResponse

GRR Rapid Response это платформа реагирования на инциденты, ориентированный на дистанционное прогнозирование в реальном времени.

Он состоит из Python агента и Python сервера. Агент-клиент GRR развертывается на целевых системах. На каждой такой системе клиент GRR периодически проверяет серверы GRR на наличие задач. Задача означает выполнение определенного действия: загрузка файла, вывод списка директорий и т. д. Серверная часть GRR состоит из нескольких компонентов (интерфейсов взаимодействия с агентами, рабочих, UI-интерфейсов) и предоставляет Web-интерфейс и API агента на целевой системе, которые позволяют аналитику планировать действия на клиентах, просматривать и обрабатывать собранные данные.

Основная цель GRR — быстрый прогноз и исследование, позволяющее аналитикам своевременно сортировать и выполнять анализ дистанционно [13].

Основные особенности агента клиента GRR:

– Кроссплатформенная поддержка для клиентов Linux, OS X и Windows.

– Удаленный анализ памяти в реальном времени с помощью библиотеки YARA.

– Возможность поиска и загрузки файлов файловой системы и реестра Windows.

– Доступ к ОС и файловой системе используя SleuthKit (TSK).

– Защищенная инфраструктура связи, предназначенная для развертывания в Интернете.

– Подробный мониторинг процессора, памяти, входов-выходов и установленных ограничений клиента.

Основные особенности сервера GRR:

– Полноценные возможности реагирования, отвечающие на большинство задач реагирования и прогноза.

– Поиск инцидентов по всем клиентам

– Быстрый и простой сбор сотен артефактов для прогноза.

– AngularJS Web UI и REST JSON API с клиентскими библиотеками на Python, PowerShell и Go.

– Функции экспорта данных поддерживающие различные форматы и плагины.

– Масштабируемый сервер

– Автоматическое планирование для повторяющихся задач.

– Планирование будущих задач для клиентов с большим количеством ноутбуков.

OsQuery

Osquery — это платформа из различных иструментов для операционных систем Windows, OS X, Linux и FreeBSD. Osquery представляет операционную систему как выскокопроизводительную реляционную базу данных. Это позволяет писать SQL –запросы для изучения данных операционной системы. В osquery таблицы SQL представляют собой абстрактные понятия, такие как запущенные процессы, загруженные модули ядра, открытые сетевые подключения, плагины браузера, аппаратные события или хэши файлов.

Архитектура Osquery состоит из двух частей, демона osqueryd и консоли osqueryi.

Osqueryd — это демон мониторинга хоста, который позволяет планировать запросы и записывать изменения состояния ОС. Демон собирает результаты запроса с течением времени и генерирует журналы, которые указывают изменение состояния в соответствии с каждым запросом. Демон также использует API-интерфейсы событий OS для записи отслеживаемых изменений файлов и каталогов, событий оборудования, сетевых событий и т. д.

Osqueryi — это консоль osquery служащая для интерактивных запросов. Она полностью автономна и не взаимодействует с демоном. Оболочка используется для прототипирования запросов и исследования текущего состояния операционной системы.

Следует заметить, что на основе osquery существует большое количество плагинов с открытым исходным кодом способных дополнить функционал для удовлетворения требований.

Так, например, Doorman — менеджер диспетчеризации osquery, который позволяет администраторам удаленно управлять osquery, расположенном на узлах. Администраторы могут динамически настраивать набор пакетов, запросов и цепочки отслеживания целостности файлов с помощью тегов [14].

Или менеджер Kolide Fleet использующийся для управления и масштабирования из большого количества osquery агентов. [15]

При развертывании osquery в производственной среде рекомендуется использовать базовый шаблон. [16]

Mozilla InvestiGator

MIG является платформой для проведения исследований на удаленных конечных точках. С помощью MIG можно параллельно получать информацию из большого числа систем, тем самым ускоряя поиск инцидентов. MIG придерживается модели, в которой запрашиваемая информация с конечных точек является легкодоступной и простой. Запись информации не происходит все время. Вместо этого, когда требуется часть информации, ее всегда легко получить с агентов.

Архитектура MIG состоит из следующих частей [17]:

– Агент — небольшая программа, работающая на удаленной конечной точке.

– Загрузчик — небольшая программа начальной загрузки, которая может быть использована для обновления агентов на удаленных конечных точках

– Планировщик — демон обмена сообщениями, который направляет действия и команды агентам и из них.

– Реле — сервер RabbitMQ, который размещает сообщения между планировщиками и агентами.

– База данных: база данных хранения, используемая планировщиком и api

– API — REST API, который предоставляет платформу клиентам MIG.

Исследователь использует клиент (например, MIG Console) для связи с API. Интерфейс API связан с базой данных и планировщиком. Когда действие создается исследователем, API получает его и записывает в буфер обмена планировщика (они делят его через NFS). Планировщик подбирает его, создает одну команду для каждого целевого агента и отправляет эти команды на реле (работающее на RabbitMQ). Каждый агент прослушивает свою очередь на реле. Агенты выполняют свои команды и возвращают результаты. Планировщик записывает результаты в базу данных, где исследователь может получить к ним доступ через API. Агенты также используют реле для отправки их состояния через равные промежутки времени, так что планировщик всегда знает, сколько агентов работает в данный момент времени.

CIMSweep

CimSweep — это набор инструментов на основе CIM / WMI (стандарт и сервер для описания структуры и поведения управляемых ресурсов, таких как хранилища, сети или программные компоненты), которые позволяют удаленно выполнять операции реагирования на инциденты и операции охоты во всех версиях Windows. CimSweep также может использоваться при в агрессивной разведке без необходимости осуществления нагрузки на диск. В CimSweep установлен инструментарий управления Windows, и его соответствующий сервис работает по умолчанию с Windows XP и Windows 2000 и полностью поддерживается в последних версиях Windows, включая Windows 10, Nano Server и Server 2016.

По своей сути CimSweep позволяет удаленно получать следующую информацию из любой операционной системы Windows:

– Ключи реестра, значения, типы значений и контент с дополнительной рекурсией

– Список каталогов и файлов с дополнительной рекурсией

– Записи в журнале событий

– Сервисы

– Процессы

Эта основная функциональность была разработана для облегчения разработки специфичных доменных функций для реагирования на инциденты, поиска угроз или любого другого ПО, нуждающегося в дистанционной передаче информации по WMI.

Основываясь на основном наборе функций в CimSweep, пользователи могут легко писать функции, которые позволяют им получать очень целенаправленную информацию. Примеры такой информации являются:

– Артефакты злоумышленника: запущенные ключи, элементы меню Пуск, WMI постоянные и т. д.

– Сканирование на наличие известных артефактов: поиск файлов угроз, поиск неправильных ключей или значений реестра

CimSweep позволяет искать множество артефактов для прогнозирования угроз, как это делают такие инструменты, как Sysinternals Autoruns или regripper [18].

LimaCharlie

Платформа LimaCharlie обеспечивает масштабируемость, стабильность и расширяемость. Кроссплатформенный сенсор, входящий в состав LimaCharlie, доступен для Windows, Linux и MacOS и позволяет использовать данные полученные в режиме реального времени, а также имеет в своем арсенале многие другие дополнительные возможности, например, такие как сканирование файлов Yara или памяти или изоляция сети.

LimaCharlie работает в облаке Refraction Point, которая выполняет функцию моста для датчиков, а также обеспечивает удобную среду для автоматизации обнаружения и реагирования.

Заявленный LimaCharlie функционал позволяет реализовать:

– Экспорт показаний датчиков в реальном времени через syslog, файлы, scp или даже в объектное хранилище Amazon S3.

– Составление любого фида угроз для обнаружения и принятия мер в реальном времени.

– Создание автоматических способов обнаружения и реагирования, разметка датчиков и многое другое.

– Интегрирование с многопользовательским интерфейсом REST для управления LimaCharlie.

Таким образом LimaCharlie выполняет роль промежуточного ПО с облачным размещением, и возможностью мгновенного интегрированния EDR [18].

TheHiveProject

TheHive — масштабируемая платформа анализа угроз с открытым исходным кодом и, предназначенная для облегчения жизни SOC, CSIRT, CERT и любого другого специалиста по информационной безопасности, связанного с инцидентами безопасности, которые требуется быстро изучить и на которые нужно прореагировать.

Благодаря Cortex входящему в TheHive наблюдаемые данные, такие как IP и адреса электронной почты, URL-адреса, имена доменов, файлы или хеши могут быть проанализированы с использованием веб-интерфейса. Аналитики также могут автоматизировать эти операции и отправлять большие наборы наблюдаемых из TheHive или через Cortex REST API из альтернативных платформ SIRP, настраиваемых сценариев или MISP.

Следует отметить, что платформа TheHive не является автоматизированным средством поиска угроз, а лишь предоставляет сервис, являющийся инструментом при поиске этих угроз через поступающие от разных источников, например, SIEM систем, на вход оповещения. Эти оповещения могут быть обработаны специалистами по информационной безопасности, с помощью предоставленных анализаторов, в число которых входит MISP — платформа обмена информацией об угрозах [20]. Подобный детальный осмотр оповещения аналитиком безопасности поможет определить является ли оно угрозой или нет.

Вывод

Приведем таблицу выполнения требований, составленную, опираясь на техническую документацию вышеперечисленных систем.

Таблица 4

Таблица выполнения требований системами EDR

	Google Rapid Response	OsQuery	Mozilla InvestiGator	CimSweep	LimaCharlie
OS независимые агенты	+	+	+	Только для Windows	+
Детектирование изменения логов, файлов и процессов	+	+	Частичное, требуется доработка Scribe	+	+
Web UI	+	Достигается добавлением Fleet [15]	-	-	+
Методы оповещения администратора	+	Достигается добавлением Zentral [19]	+	-	+
Методы визуализации данных	-	Достигается добавлением Zentral [19]	-	-	-
Автоматизация поиска	+	+	+	-	-
Реагирование на возможную угрозу	-	-	-	-	-

Security Information and Event Management решения

Информация о безопасности и управление событиями (SIEM) является краеугольным камнем безопасности ИТ. Все остальные сетевые решения — это просто потоки данных, которые передаются в SIEM, возможности которых могут сильно различаться.

Решение SIEM представляет собой комбинацию системы управления событиями безопасности (SEM) и системы управления информацией о безопасности (SIM). SEM контролируют серверы и сети в режиме реального времени, а SIM хранит данные. В SEM основное внимание уделяется корреляции событий в реальном времени, оповещению о тревоге, в то время как SIM система сосредоточена на вычислительном анализе объемных данных (BDCA) большого количества журналов. Другими словами, SEM предназначена для того, чтобы рассказать вам, когда что-то происходит, когда это происходит, а SIM предназначена для обнаружения тонких атак, которые SEM не смогут отловить. Таким образом, объединение двух систем в решение SIEM кажется естественным.

Требования к системам SIEM ничем не отличаются от требований к EDR решениям, оба типа систем имеют схожий функционал.

Стеки SIEM обычно состоят как минимум из трех компонентов: сбора данных, хранения данных и анализа данных. Данные, о которых идет речь, часто являются журнальными файлами, но также могут быть сетевым трафиком или другими каналами передачи данных в реальном времени. На рынке существует множество инструментов SIEM, как с открытым исходным кодом, так коммерческого типа. Приведенные SIEM решения являются системами с открытым исходным кодом.

OSSEC

OSSEC — популярная система обнаружения вторжений на целевом узле (IDS), которая работает с Linux, Windows, MacOS и Solaris, а также с OpenBSD и FreeBSD. OSSEC состоит из двух компонентов: главного агента (ответственного за сбор журналов) и основного приложения OSSEC (отвечающего за обработку журналов).

Также в системе присутствует устаревший графический интерфейс, но поскольку другие решения с открытым исходным кодом выполняют работу по визуализации данных лучше, сообщество OSSEC рекомендует использовать решения Kibana и Grafana.

OSSEC напрямую отслеживает ряд параметров на хосте. Например, такие параметры как файлы журналов, целостность файлов, обнаружение руткитов и мониторинг реестра Windows. OSSEC также может выполнять анализ журналов из других сетевых сервисов, включая большинство популярных FTP-серверов с открытым исходным кодом, почтовых серверов, серверов DNS, баз данных, сетей, брандмауэров и сетевых решений IDS. OSSEC также может анализировать журналы из ряда коммерческих сетевых сервисов и решений для обеспечения безопасности.

OSSEC имеет ряд вариантов оповещения и может использоваться как часть автоматизированного обнаружения вторжений или решений активного реагирования. Так же существует примитивный механизм хранения журнала. По умолчанию сообщения журнала от агентов-хозяев не сохраняются и после анализа OSSEC удаляет эти журналы, если параметр не включен в файл ossec.conf менеджера OSSEC. Однако, если этот параметр включен, OSSEC сохраняет входящие журналы от агентов в текстовом файле, который ежедневно обновляется.

OSSEC лежит в основе ряда других решений SIEM и является частью любого количества стеков приложений, которые соединяют это решение с более совершенной долгосрочной системой хранения журналов и расширенными возможностями визуализации [21].

Prelude

Prelude — это SIEM платформа, которая объединяет различные инструменты с открытым исходным кодом. К тому же это решение является открытой версией коммерческого инструмента с тем же именем. Prelude направлена на то, чтобы заполнить роли, которые не учитывают такие инструменты, как OSSEC и Snort. Prelude принимает журналы и события из нескольких источников и сохраняет их все в одном месте с использованием формата обмена сообщениями обнаружения вторжений (IDMEF). Он обеспечивает возможности фильтрации, корреляции, оповещения, анализа и визуализации. Версия Prelude с открытым исходным кодом значительно ограничена по сравнению с коммерческим предложением во всех этих возможностях [22].

Prelude состоит из 5 компонентов:

– Prelude Manager — является ядром системы и отвечает за прием нормализованных событий от LML-агентов, модуля корреляции, сторонних систем или подчиненных менеджеров. Полученные сообщения записывает в базу данных. Также отвечает за оповещения через email.

– Libprelude — база данных, где хранятся все события, обработанные системой.

– Prelude-LML — агент системы и основной поставщик событий. Осуществляет прием логов от различных систем (через локальный файл или через syslog на UDP-порт). Полученные журналы разбирает/нормализует на основе набора правил, состоящих из регулярных выражений. Нормализованные события отдаёт Prelude Manager. LML может работать как локально, так и удаленно.

– Prelude Corellator — модуль корреляции. Подключается к Prelude manager как агент и производит корреляцию поступивших в Manager событий на основе плагинов, реализованных в виде скриптов на языке Python.

– Prewikka — официальный веб интерфейс пользователя (GUI) для системы Prelude.

OSSIM

OSSIM объединяет свои собственные хранилища журналов и возможности взаимодействия с многочисленными проектами с открытым исходным кодом для создания полного SIEM. OSSIM, включает в себя такие продукты как:

– PRADS, используемый для определения хостов и служб путем мониторинга сетевого трафика.

– OpenVAS, используемый для оценки уязвимости и для взаимной корреляции.

– Snort, используемый в качестве системы обнаружения вторжений (IDS), а также он используется для взаимодействия с Nessus.

– Suricata, используемая в качестве системы обнаружения вторжений (IDS), начиная с версии 4.2, это IDS, используемый в конфигурации по умолчанию

– Tcptrack, используется для сбора информации данных о сеансе для определения типа атаки.

– Nagios, используемый для мониторинга информации о доступности хоста и службы на основе базы данных основных ресурсов.

– OSSEC, система обнаружения вторжений на основе хоста (HIDS).

– Munin, для анализа трафика и обслуживания.

– NFSen / NFDump, используемый для сбора и анализа информации NetFlow.

– FProbe, используемый для генерации данных NetFlow из захваченного трафика.

– OSSIM также включает самостоятельные инструменты, наиболее важным из которых является общий механизм корреляции с поддержкой логических директив и интеграция журналов с плагинами.

Как и Prelude, OSSIM с открытым исходным кодом не так богат, как его коммерческий брат. Оба решения отлично подходят для небольших развертываний, но имеют серьезные проблемы с производительностью в масштабе, в конечном итоге приводя организации к коммерческим предложениям [23].

Вывод

Приведем таблицу выполнения требований системами SIEM, составленную, опираясь на техническую документацию вышеперечисленных систем.

Таблица 5

Таблица выполнения требований системами SIEM

	OSSEC	Prelude	OSSIM
OS независимый сбор информации	+	+	+
Детектирование изменения журналов, файлов и процессов	+	+	+
Web UI	Kibana/Grafana	+	+
Методы оповещения администратора	+	+	+
Методы визуализации данных	Kibana/Grafana	+	+
Автоматизация поиска, отложенные задачи	+	+	+
Реагирование на возможную угрозу	-	-	-

Заключение

Проведенный обзор и сравнительный анализ систем наглядно показывает, количество различных решений, каждое из которых направлено на устранение тех или иных проблем кибербезопасностисетей предприятия. Безусловно, ни одна из них является панацеей в информационной безопасности, но некоторые определенно стремятся к этому титулу.

Среди систем сбора журналов явно выделяется NXlog, поскольку именно эта система удовлетворяет большинству требований несмотря на отсутствие Web интерфейса.

Системы обнаружения вторжений в основном представлены Surricata, из-за богатого функционала, затмевающего, а кое-где даже заимствующего исполнение аналогов IDS систем.

Системы обнаружения и реагирования на конечных узлах сети представлены огромным количеством решений, однако по настоящему пригодным для использования в производственном цикле является OsQuery. Именно эта система, благодаря своей расширяемости многочисленными модулями выполняет большинство исследовательских требований, выдвинутых к данным типам EDR.

Среди SIEM систем в плане функционала нет явно выделяющихся решений. Однако системы Prelude и OSSIM хорошо подходят только для небольших развертываний, в то время как OSSEC не имеет проблем с производительностью при использовании в больших проектах.

Литература:

1. Filebeat overview [Электронный ресурс]. — Режим доступа: https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-overview.html
2. NXlog documentation [Электронный ресурс]. — Режим доступа: https://nxlog.co/products/nxlog-community-edition
3. Logstash documentation [Электронный ресурс]. — Режим доступа: https://www.elastic.co/guide/en/logstash/current/introduction.html
4. Fluentd achitecture [Электронный ресурс]. — Режим доступа: https://www.fluentd.org/architecture
5. Rsyslog documentation [Электронный ресурс]. — Режим доступа: https://www.rsyslog.com/features/
6. Syslog-ng documentation [Электронный ресурс]. — Режим доступа: https://syslog-ng.com/documents/html/syslog-ng-ose-3.14-guides/en/syslog-ng-ose-guide-admin/html/index.html
7. LOGalyze documentation [Электронный ресурс]. — Режим доступа: http://www.logalyze.com/product/feature-details
8. IDS meaning on wikipedia [Электронный ресурс]. — Режим доступа: https://en.wikipedia.org/wiki/Intrusion_detection_system
9. Rafeeq Ur Rehman Intrusion Detection Systems with Snort Advanced IDS Techniques Using Snort, Apache, MySQL, PHP, and ACID. Pearson Education, New Jersey, 2003.
10. Bro IDS documentation [Электронный ресурс]. — Режим доступа: https://www.bro.org/sphinx/intro/index.html#overview
11. Suricata IDS documentation [Электронный ресурс]. — Режим доступа: https://suricata-ids.org/features/all-features/
12. EDR essentials [Электронный ресурс]. — Режим доступа: https://www.carbonblack.com/2016/01/25/13-essential-questions-to-guide-your-endpoint-detection-and-response-edr-evaluation/
13. GRR EDR documentation [Электронный ресурс]. — Режим доступа: https://grr-doc.readthedocs.io/en/latest/what-is-grr.html
14. Doorman documentation [Электронный ресурс]. — Режим доступа: https://github.com/mwielgoszewski/doorman
15. Kolide fleet documentation [Электронный ресурс]. — Режим доступа: https://github.com/kolide/fleet
16. Osquery documentation [Электронный ресурс]. — Режим доступа: https://github.com/palantir/osquery-configuration
17. MIG documentation [Электронный ресурс]. — Режим доступа: https://github.com/mozilla/mig/blob/master/doc/concepts.rst
18. CimSweep documentation [Электронный ресурс]. — Режим доступа: https://github.com/PowerShellMafia/CimSweep
19. LimaCharlie documentation [Электронный ресурс]. — Режим доступа: https://github.com/btelles/limacharlie/tree/master/doc
20. Zentral documentation [Электронный ресурс]. — Режим доступа: https://github.com/zentralopensource/zentral/wiki
21. MISP project [Электронный ресурс]. — Режим доступа: http://www.misp-project.org/
22. OSSEC documentation [Электронный ресурс]. — Режим доступа: http://www.ossec.net/docs/manual/index.html
23. Prelude SIEM documentation [Электронный ресурс]. — Режим доступа: https://www.prelude-siem.org/projects/prelude/wiki/ManualUser
24. OSSIM documentation [Электронный ресурс]. — Режим доступа: https://www.alienvault.com/documentation/usm-anywhere-user-guide.htm