В сегодняшних реалиях необходимо понимать, что технология работы с данными имеет первостепенное значение для процессов и операций банков. Правильно выстроенная система работы с данными является ключом к цифровому преобразованию. Без графовой аналитики, банки и финансовые учреждения, использующие реляционные базы данных и общепринятые подходы, рискуют потерять конкурентное преимущество и понести серьезные финансовые затраты, подвергая себя рискам, которые можно было предвидеть и предотвратить заблаговременно.
Ключевые слова: граф, AML, сетевой анализ, реляционная база данных, теория графов, графовая база данных, противодействие мошенничеству, кибербезопасность, банк, кредитная организация, финансовый анализ, банковские технологии
Введение в теорию графов и сетевой анализ
Всего одно наглядное изображение может заменить тысячу слов. Но граф — это гораздо больше, чем просто изображение. Графы — это математические структуры, используемые для изучения парных отношений между объектами. Это раздел дискретной математики, который нашел множество применений в области информатики, химии, лингвистики, социологии и т. д.
Происхождение теории можно проследить до проблемы Кенигсбергского моста (около 1730-х годов). Проблема заключается в том, можно ли пересечь семь мостов в городе Кенигсберг при следующих ограничениях:
‒ нельзя пройти один мост дважды
‒ путь заканчивается в том же месте, где он начался
Это то же самое, что построить, мультиграф из 4 вершин и 7 ребер, который имеет эйлеров цикл (путь, который начинается и заканчивается в той же самой вершине) и эйлеров путь (путь в графе, который проходит через каждое ребро ровно один раз). Эта проблема привела к концепции Эйлерова графа. В случае проблемы мостов Кенигсберга ответ — нет, и на него первым ответил, как вы уже догадались, Эйлер.
Представление данных в форме графов помогает нам визуализировать идеи и принимать более обоснованные решения на основе графически интерпретируемых данных.
Но чтобы по-настоящему понять, что такое графы и почему они используются, нам нужно понять концепцию, известную как теория графов.
Для понимания основ этой концепции, достаточно одного простого примера графа (см. Рис. 1).
Рис. 1. Пример представления данных в виде графа
На этом графе представлены места в городе, которые обычно посещают люди, и путь, по которому они при этом следуют.
При этом:
V = {v1, v2, v3, v4, v5} — конкретные места в городе (множество вершин графа);
E = {(v1,v2), (v2,v5), (v5, v5), (v4,v5), (v4,v4)} — пути из одного места в другое (множество ребер или размер графа).
Основные концепции теории графов:
‒ если существует различие между (u, v) и (v, u), то грань графа называют дугой (задается направление пути), если различия нет — это ребро.
‒ граф — это пара наборов. G = (V, E). V — множество вершин. E — это множество ребер. E состоит из пар элементов из V (неупорядоченная пара)
‒ диграф также пара наборов. D = (V, A). V — множество вершин. А — это множество дуг. A состоит из пар элементов из V (упорядоченная пара)
‒ Средняя длина пути — среднее значение длины кратчайшего пути для всех возможных пар узлов. Дает меру «плотности» Графа и может использоваться, чтобы понять, как быстро происходит перемещение по этой сети [3,46].
‒ Ширина первого поиска (Breadth first search) а также Глубина первого поиска (Depth first search) два разных алгоритма, используемых для поиска узлов в графе. Они обычно используются, чтобы выяснить, можем ли мы достичь узла Х с заданного узла. Эти понятия также характеризуют Обход графа (Graph Traversal). Целью BFS является прохождение Графа как можно ближе к корневому узлу, в то время как алгоритм DFS стремится отойти как можно дальше от корневого узла.
‒ Центральность — один из наиболее широко используемых и важных концептуальных инструментов для анализа сетей. Целью является поиск наиболее важных узлов в сети. Могут быть разные понятия «важные», и, следовательно, существует много классификаций мер центральности.
Почему графы?
Применения графов в анализе данных многочисленны и обширны. Вот лишь несколько направлений их использования:
‒ Маркетинг— графы могут быть использованы для определения наиболее влиятельных людей в социальной сети. Рекламодатели и маркетологи могут оценить наибольшую отдачу от маркетингового бакса, направив свое сообщение через самых влиятельных людей в социальной сети.
‒ Банковские операции— графы можно использовать для поиска необычных шаблонов, помогающих смягчить мошеннические транзакции. Были примеры, когда террористическая деятельность была обнаружена путем анализа потока денег через взаимосвязанные банковские сети.
‒ Логистика— графы помогают определить оптимальные маршруты, места для складов и центров доставки
‒ Телеком— Телекоммуникационные компании обычно используют графы (диаграммы Вороного), чтобы понять количество и расположение вышек сотовой связи, чтобы обеспечить максимальное покрытие
Вот некоторые примеры, которые показывают целесообразность использования графов в решении повседневных задач работы с данными:
- Графы обеспечивают лучший способ работы с абстрактными понятиями, такими как отношения и взаимодействия. Они также предлагают интуитивно визуальный образ мышления об этих концепциях. Графы также формируют естественную основу для анализа отношений в социальном контексте.
- Графовые базы данных стали распространенными вычислительными инструментами и альтернативами базам данных SQL и NoSQL.
- Графы используются для моделирования аналитических рабочих процессов в форме DAG (Направленные ациклические графы)
- Некоторые макеты нейронных сетей также используют DAG для моделирования различных операций на разных уровнях
- Концепции теории графов используются для изучения и моделирования социальных сетей, моделей мошенничества, моделей энергопотребления, вирусности и влияния в социальных сетях. Анализ социальных сетей (SNA), вероятно, является самым известным применением теории графов для Data Science
- Используется в алгоритмах кластеризации, в частности, метод k-средних
- Системная динамика также использует некоторые концепции теории графов — в частности, циклы
- Оптимизация пути в рамках общей оптимизации, также подразумевает использование концепции графа
- С точки зрения компьютерных наук — графы предлагают вычислительную эффективность. Сложность некоторых алгоритмов делает преимущественным структурирование данных в виде графов (по сравнению с табличными данными). [17]
Мошеннические связи— как качественная графовая аналитика защищает банки от фрода.
Развитию системы международных финансов естественным образом сопутствует рост разнообразия мошеннических схем и их усложнение. Безопасность финансового учреждения в настоящее время находится под ударом из-за широкого спектра угроз, включая сговор инсайдеров с торговыми партнерами или деятельность по отмыванию денег. Графовая аналитика может повысить защиту банков как от внутренних угроз, так и от киберпреступников.
Разумеется, все чаще именно киберпреступники попадают в заголовки новостей, взламывая считавшиеся безопасными системы с целю кражи или вымогательства. Объем данных и постоянно меняющихся переменных, которые необходимо отслеживать и исследовать, чтобы противостоять этим быстроразвивающимся угрозы, огромен.
В мире высокоскоростной торговли, сложных финансовых инструментов и всё усложняющихся нормативных требований выявление подозрительных связей и моделей среди огромного количества разных типов данных является задачей, которую обычные реляционные базы данных не способны выполнять достаточно эффективно.
Итак, на что же способна современная графовая система управления базами данных:
1. Моделирование связей
Графовая аналитика при работе на суперкомпьютерной платформе позволяет устанавливать соединения и быстро и точно выявлять аномалии с удивительно низким уровнем ложных срабатываний, не затрачивая много времени. Методы реляционной аналитики практически бессильны, когда такое предприятие, как банк или страховая компания, вынуждено запрашивать большие объемы структурированных и неструктурированных данных. Если бы надзор включал только данные в таблицах, реляционных методов было бы достаточно. Но в реальном мире обнаружение зависит от установления подозрительных ссылок и связей со всеми видами информации в различных форматах.
Столкнувшись с этими проблемами, даже Hadoop, инфраструктура распределенного хранения и обработки, не сотворит чуда, которое ей приписывают разработчики. Граф же показывает хорошую результативность при высоких уровнях сложности и плотности взаимосвязей и, определенно, не имеет конкуренции в моделировании взаимосвязей между различными типами данных. Что может привести к полному провалу обычной аналитики, аналитика графов может выполнить за считанные секунды.
На простом примере: инвестиционный банк, обеспокоенный инсайдерской торговлей, может пожелать раскрыть всех сотрудников, которые использовали мгновенные сообщения, чтобы связаться с третьей стороной, которая, в свою очередь, является другом на Facebook, с кем-то, кто имеет доступ к системе расчетов в бэк-офисе. Для графа это простой вопрос трех скачков, в отличие от обычных методов, которые требуют объединения трех наборов данных.
2. Предотвращение киберугроз
Точно так же при защите финансовых учреждений от кибератак графовая аналитика будет опираться на данные из дюжины или более источников, чтобы выявить мошеннические схемы и подозрительную активность, с которой необходимо немедленно бороться. Вся сетевая инфраструктура и все ее связи с третьими сторонами могут быть представлены в виде графа, устанавливая связи с шаблонами предыдущих инцидентов киберприступности и с технической информацией государственных баз киберпрбезопасности.
Это уровень сложности, на котором информацию способен обработать только граф, учитывая, что объемы данных, требуемые для кибер-обнаружения, могут быть огромными, включая веб-блоги, телеметрию, электронную почту, брандмауэр и данные IP. На большом предприятии такие данные могут легко составить до 20 терабайт в день, некоторые из них структурированы в виде таблиц, но большая часть практически неструктурирована.
Кибер-аналитика, используя способность графа объединять данные в широком масштабе, дает пользователям гораздо более полную картину. Несколько аналитических рабочих процессов могут быть запущены одновременно на одной платформе, используя скорость суперкомпьютеров для выявления взаимосвязей и поиска поведенческих паттернов из данных, которые теперь генерируются и хранятся с гораздо большей скоростью, чем их возможно анализировать. Без этой защиты вредоносный контент может действовать незамеченным внутри ИТ-системы организации. Эта способность выявлять связи на основе необработанных данных делает граф превосходным средством в обнаружении новых моделей мошенничества.
Граф дает возможность может защитить организацию, создав новый свод правил, которые распространяются на все операционные системы, определяя, когда должно быть запущено предупреждение об угрозе, и немедленно отмечая подозрительные цепочки событий. Например, цепочка может быть такой: трейдер звонит коллеге в ИТ, а затем в конце торгов технология защиты дверей указывает, что они вышли вместе в течение минуты, после чего другой источник показывает, что ИТ-сотрудник произвел покупку акций.
3. Снижение стоимости AML
В операциях по борьбе с отмыванием денег (AML) графическая аналитика на основе суперкомпьютеров также может привести к дополнительным затратам.
Обычный AML может задействовать тысячи сотрудников в крупном многонациональном инвестиционном банке и часто требует дорогостоящей блокировки транзакций во время проведения расследований.
С графом время, необходимое для таких исследований, будет сокращено с 3–4 часов до 20 минут.
4. Усиленная безопасность и большой ROI
Действительно, во всем диапазоне вариантов использования комбинации графовой аналитики и суперкомпьютинга обеспечивает значительную окупаемость инвестиций для финансовых учреждений всех размеров с поразительной быстротой, экономя время и дорогостоящие человекочасы. [18]
Решение ключевых проблем вфинансовой сфере на примере базы Neo4j
В сегодняшней регулятивной среде фирмы, предоставляющие финансовые услуги, начинают осознавать эффективность использования графовых баз данных для ряда функций, начиная от борьбы с финансовыми преступлениями, предотвращения киберугроз и реагирования на них и обеспечения соответствия. Между тем, поскольку непрерывная оцифровка процессов требует от компаний, оказывающих финансовые услуги, развития своих стратегий привлечения клиентов, чтобы соответствовать растущим клиентским ожиданиям, графические базы данных помогают компаниям финансового сектора получать конкурентные преимущества от оцифровки. Это, в свою очередь, помогает стимулировать новые продажи, снижать затраты и строить более тесные отношения с клиентами.
Далее в статье будет рассмотрено, как финансовые организации используют графовые системы управления базами данных, в частности одну из наиболее успешных на сегодня разработок Neo4j — базу с открытым кодом, реализованную на Java, для эффективного решения этих проблем. [19]
Графы активов
Финансовый кризис 2008 года показал, что финансовые активы невероятно сложны и становятся еще более сложными, так как они объединены и разделены на различные субактивы, которые формируют различные деривативы и перепродаются. Организация может иметь фонд, который владеет акциями и хедж-фондами, и при этом у нее могут быть опционные позиции на те же акции и так далее. Это приводит к созданию невероятно сложных взаимозависимых систем, в которых автоматически возникает угроза несоблюдения нормативных требований. На первый взгляд может показаться, что в портфеле компании десятки различных активов с высокой степенью диверсификации, но при детализации до корневого актива, можно обнаружить, что все они на 90 % подвержены одному конкретному фактору влияния, просто это воздействие неочевидно.
Финансовые организации создают с помощью Neo4j графы активов, чтобы получить полное, четкое и прослеживаемое понимание взаимосвязей между различными видами финансовых активов. Такой граф активов дает пользователю полное понимание риска. Кроме того, фирмы также используют такие графы для оценки цен деривативов в режиме реального времени, где формула расчета цены учитывает множество взаимозависимостей между активами и, следовательно, точно отражает соотношение риска и прибыли.
Предотвращение и обнаружение финансового мошенничества
Финансовым организациям стало трудно выявлять и пресекать мошенническую деятельность. Стандартные технологии борьбы с мошенничеством, такие как отклонение от нормальных моделей покупок, используют дискретные данные. Это полезно для поимки отдельных преступников, действующих в одиночку, но дискретные методы не позволяют обнаружить фродовые сети. Кроме того, многие дискретные методы подвержены ложным срабатываниям, которые могут повлиять на удовлетворенность клиентов и привести к потере дохода.
Изощренные преступники постоянно меняют свои стратегии, чтобы обойти обнаружение с помощью традиционных решений. Например, они используют синтетические учетные записи для выполнения действий, которые кажутся несвязанными, хотя на самом деле они хорошо скоординированы. Преступник может украсть идентификационную информацию у десяти разных людей. Затем преступник смешивает и сопоставляет номера социального страхования, адреса, номера телефонов и адреса электронной почты, чтобы создать «новые» искусственные удостоверения личности, которые затем используются для открытия банковских счетов и счетов кредитных карт, а также личных кредитных линий. Традиционные решения для обнаружения мошенничества не помечают эти учетные записи. Фирмам нужен способ проследить путь от одного счета к другому, чтобы определить, как действия, которые на поверхности кажутся несвязанными, на самом деле связаны.
Рис. 2. Моделирование фродовой сети на графе.
Для раскрытия мошеннических сетей с помощью традиционных технологий реляционных баз данных необходимо смоделировать граф в виде набора таблиц и столбцов, а затем выполнить серию построения сложных связей зависимостей. Такие запросы очень сложны в создании и дороги. Масштабирование их способом, обеспечивающим доступ в режиме реального времени, создает значительные технические проблемы, причем производительность снижается экспоненциально не только по мере увеличения размера фродовой сети, но и по мере роста общего набора данных. Напротив, графовые базы данных являются идеальным инструментом для преодоления этих препятствий. Интуитивно понятные языки запросов, такие как Cypher, обеспечивают простую семантику для обнаружения сетей в графе, навигации по соединениям в памяти и в реальном времени, чтобы уловить активность, как это происходит. Модель данных графа выше представляет, как данные на самом деле выглядят в базе данных графа, и иллюстрирует, как можно найти сети, просто пройдясь по графу.
Расширение существующей инфраструктуры противодействия мошенничеству для повышения эффективности обнаружения фрод-сигналов может быть выполнено путем запуска соответствующих запросов анализа связей объектов с использованием базы данных графов и выполнения проверок на ключевых этапах жизненного цикла клиента и учетной записи:
‒ во время создания учетной записи
‒ во время проверки
‒ когда достигнут порог кредитного баланса
‒ когда происходит овердрафт
Обход графа в реальном времени, привязанный к нужным видам событий, может помочь компаниям, предоставляющим финансовые услуги, выявлять вероятные случаи мошенничества в момент или даже до совершения мошеннической транзакции.
Все большее число ведущих мировых финансовых учреждений в области платежей используют Neo4j для моделирования и мониторинга данных о клиентах, учетных записях, устройствах, местах и других атрибутах для выявления мошеннических действий с использованием искусственных и украденных идентификаторов.
Несмотря на то, что банкам необходимо искать новые способы работы с цифровыми данными, финансовые учреждения зачастую обходятся устаревшими системами и архитектурой. В сегодняшних реалиях необходимо понимать, что технология работы с данными имеет первостепенное значение для процессов и операций банков. Ее инфраструктура выступает в роли центральной артерии, которая обслуживает бизнес-подразделения, функции бэк-офиса и, в конечном счете, клиентов.
На данном этапе развития финансовой системы становится очевидным, что правильно выстроенная система работы с данными является ключом к цифровому преобразованию. Без графовой аналитики, банки и финансовые учреждения, использующие реляционные базы данных и общепринятые подходы, рискуют потерять конкурентное преимущество и понести серьезные финансовые затраты, подвергая себя рискам, которые можно было предвидеть и предотвратить заблаговременно.
Литература:
- Too Big to Ignore: The Business Case for Big Data / Phil Simon. — Boston: Willey, 2015–256 p.
- Storytelling with Data: A Data Visualization Guide for Business Professionals / Cole Nussbaumer Knaflic. — Boston: Willey, 2015–246 p.
- Quantitative Graph Theory. Mathematical Foundations and Applications / Dehmer M., Emmert-Streib F. — N-Y:Taylor & Francis, 2015. — 493 p.
- Handbook of Graph Theory / Edited by Gross J. L., Yellen J., Zhang P. — CRC Press, 2014. — 1632 p.
- Big Data at Work: Dispelling the Myths, Uncovering the Opportunities / Thomas H. Davenport —Harvard Business Reviews Press, 2014–240 p.
- Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking / Foster Provost и Tom Fawcett.— O”Reilly Media, 2013–414 p.
- Кормен Т. и др. Алгоритмы: построение и анализ, 3-е изд. / Кормен Т. и др.— М.: Вильямс, 2013. — 1328 с.
- Modern Graph Theory / Bollobas B. — Springer, 2013. — 394 p.
- Handbook of Graph Drawing and Visualization / Tamassia R. — CRC Press, 2013. — 862p.
- Graph Theory and Complex Networks: An Introduction / Steen M.— Maarten Van Steen, 2010— 300 p.
- Managing and Mining Graph Data / Aggarwal C. C., Wang H. — Springer, 2010. — 610 p.
- Зыков А. А. Основы теории графов. — М.: Вузовская книга, 2004. — 664 с.
- Algebraic Graph Theory / Godsil C., Royle G. F.— Springer, 2001.— 443 p.
- Emil Eifrem, Graph databases helping banking with digital transformation / Emil Eifrem// Global Banking and Finance.— URL: https://www.globalbankingandfinance.com/graph-databases-helping-banking-with-digital-transformation/
- Srivatsa, An Introduction to Graph Theory and Network Analysis / Srivatsa // Analytics Vidhya. — URL: https://www.analyticsvidhya.com/blog/2018/04/introduction-to-graph-theory-network-analysis-python-codes/
- Использование графов для раскрытия планов инсайдеров // Habr. — URL: https://habr.com/company/iticapital/blog/249697
- Евгений Хлызов, Управление данными на основе графов знаний / Евгений Хлызов// Открытые Системы. — URL: https://www.osp.ru/os/2018/03/13054405
- Phil Filleul, Criminal connections — how supercharged graph analytics protect banks / Phil Filleul // Information Age. — URL: https://www.information-age.com/graph-analytics-protect-banks-123462546/
- Utpal Bhatt, Addressing Key Challenges in Financial Services with Neo4j / Utpal Bhatt // Neo4j.— URL: https://go.neo4j.com/rs/710-RRC-335/images/Neo4j-in-Financial %20Services-white-paper.pdf?_ga=2.206137811.1345179939.1544730576–582712124.1544626725
- Печенкин В. В., GRaph INterface (GRIN) / Печенкин В. В. // ЭСМ.— URL: http://www.ecsocman.edu.ru/db/msg/324869.html
