Этапы и методы автоматического извлечения ключевых слов | Статья в журнале «Молодой ученый»

Отправьте статью сегодня! Журнал выйдет 23 ноября, печатный экземпляр отправим 27 ноября.

Опубликовать статью в журнале

Автор:

Рубрика: Технические науки

Опубликовано в Молодой учёный №22 (156) июнь 2017 г.

Дата публикации: 02.06.2017

Статья просмотрена: 1000 раз

Библиографическое описание:

Недильченко О. С. Этапы и методы автоматического извлечения ключевых слов // Молодой ученый. — 2017. — №22. — С. 60-62. — URL https://moluch.ru/archive/156/44044/ (дата обращения: 12.11.2019).



Рассмотрим общий подход к автоматическому выделению ключевых слов из текстов. Современные алгоритмы извлечения ключевых слов обычно включают в себя 3 последовательных этапа [1]:

1) нахождение кандидатов в ключевые слова;

2) выделение признаков;

3) ранжирование и отсечение.

На этапе нахождения кандидатов в ключевые слова решаются две задачи.

Первая из них — предварительная обработка слов, включающая в себя такие процедуры, как стемминг, лемматизация, выделение коллокаций, устранение неоднозначностей. Стеммингом называется усечение слова до его образующей основы путем отбрасывания суффиксов, приставок и т. д., а лемматизацией — приведение слова к его нормальной форме. Отличие этих двух процедур может проиллюстрировать следующий пример. Словосочетание «ключевые слова извлеклись» после процедуры стемминга будут преобразованы в словосочетание «ключев слов извле». Аналогичное сочетание после процедуры лемматизации будет преобразовано к «ключевое слово извлекаться». Обе эти операции над словами являются языкозависимыми, поскольку требуют знаний о морфологических особенностях языка.

Выделение коллокаций необходимо для того, чтобы алгоритм поиска ключевых слов не разделял семантически связанные устойчивые словосочетания на отдельные составляющие. Задача поиска коллокаций в тексте может быть как языкозависимой (при использовании различных словарей), так и языконезависимой (при использовании статистических методов). Вариант использования различных лингвистических ресурсов исключает возможность неправильного распознавания коллокаций, но обладает следующими проблемами. Составление словарей коллокаций является трудоемкой задачей, требующей найма профессиональных лингвистов. Кроме того, подобные сборники необходимо регулярно обновлять в связи с появлением новых устойчивых словосочетаний. Довольно часто для поиска коллокаций применяют статистические методы, которые в общем случае требуют следующие входные данные:

1) большой неразмеченный корпус текста на требуемом языке;

2) максимальная длина возможной коллокации;

3) минимальная частота совместного появления слов в корпусе при которой их можно считать устойчивым словосочетанием.

Устранение неоднозначностей необходимо в том случае, когда задача подразумевает возможность появления омонимов и необходимость их различия.

Второй частью этапа нахождения кандидатов в ключевые слова является непосредственное разделение текста на отдельные слова и словосочетания для их последующей проверки. Для решения этой подзадачи используют несколько основных подходов. Самый простой из них — процедура токенизации, с помощью которой весь текст разбивается на отдельные слова (в общем случае без выделения словосочетаний). Более сложный способ, который зачастую используется алгоритмами, учитывающими лексический контекст встречающихся рядом слов, называется «скользящим окном». В нем словосочетания образовываются из стоящих рядом слов, попадающих в окно заданной ширины (например, 3 слова). Такой способ порождает большое количество кандидатов в ключевые слова, на что необходимо обращать внимание при выборе алгоритма извлечения ключевых слов. Еще один метод генерации словосочетаний связан с разделением предложений по стоп-словам (малозначащим словам, которые часто являются союзами, предлогами и пр.) и пунктуации. Такой способ позволяет наиболее быстро выделить кандидатов в ключевые словосочетания, но без предварительного этапа объединения коллокаций может срабатывать неправильно. Например, словосочетание «Маша и медведь» будет разбито по стоп-слову «и» на отдельные слова. Кроме того, этот способ является языкозависимым.

На втором этапе для каждого найденного кандидата в ключевые слова выделяются признаки, по которым можно будет оценить степень его важности. Выделяемые признаки можно разбить на 3 категории [2]: синтаксические признаки, статистические признаки, структурные признаки. К синтаксическим признакам относят признак части речи, получаемый с помощью POS-разметки (part-of-speech tagging) и признаки, полученные с помощью различных онтологий и словарей. Извлечение этих признаков является языкозависимым.

К статистическим признакам относят вычисление частоты встречаемости слова в документе и в корпусе документов, длину слова или словосочетания, их схожесть с другими кандидатами. Очевидно, что чем чаще встречается слово внутри документа, тем оно более важно для его описания. С другой стороны, чем чаще слово встречается в других документах, тем менее оно важно для текущего документа. Метрика, учитывающая оба эти условия, называется TF-IDF (Term Frequency — Inverse Document Frequency) и вычисляется следующим образом [3]:

где – количество вхождений термина в документ , – общее количество слов в документе .

где – корпус документов, - количество документов в корпусе, - количество документов, в которые входит термин .

Основание логарифма при вычислении не имеет значения, потому что метрика TF-IDF является относительной. Кроме того, вычисление можно осуществлять заранее в offline-режиме, так как эта метрика не зависит от конкретного документа, а является характеристикой термина. Часто для больших корпусов используют распределенное вычисление TF-IDF.

Применение структурных признаков обусловлено тем, что важность термина для данного документа зависит от его местоположения. Отмечают, что чаще всего ключевые слова находятся в заголовке и первом параграфе тела документа. В качестве численного структурного признака можно использовать нормализованное расстояние между словом и началом документа (отношение длины цепочки слов от начала документа до текущего слова, деленное на количество слов в документе).

Третьим этапом извлечения ключевых слов является ранжирование и отсечение. На данном этапе с помощью полученных признаков кандидатов в ключевые слова осуществляется их отбор. Обычно применяют один из двух подходов — или использование каких-либо эвристических формул, которые позволяют определить, является ли слово ключевым, или использование методов машинного обучения. Стоит отметить, что для машинного обучения с учителем необходим предварительно размеченный корпус документов с выделенными ключевыми словами. Изначально применение машинного обучения для выделения ключевых слов сводилось к решению задачи бинарной классификации путем различных подходов к обучению классификатора [2]. Использовались наивные байесовские классификаторы, деревья принятия решений, бустинг. Однако такой подход не позволял сравнивать найденные ключевые слова друг с другом и выбирать лучшие из них. Поэтому, впоследствии стали применяться алгоритмы, позволяющие ранжировать ключевые слова попарно (например, алгоритм KEA).

Позднее методы извлечения ключевых слов стали разрабатываться на базе алгоритмов ранжирования из других областей. В качестве примера можно привести графовый алгоритм извлечения ключевых слов TextRank, разработанный как продолжение алгоритма PageRank для ранжирования веб-страниц [5].

Описанные выше этапы работы алгоритмов выделения ключевых слов приведены на рисунке.

Рис. 1. Этапы извлечения ключевых слов

Качество работы алгоритмов извлечения ключевых слов часто оценивается с помощью F-меры (F1). На эту метрику влияют два параметра — точность и полнота. В контексте задачи извлечения ключевых слов точность (precision) является отношением правильно найденных ключевых слов ко всем найденным ключевым словам. Полнота (recall) является отношением правильно найденных ключевых слов ко всем ключевым словам, которые должны были быть найдены. F-мера объединяет эти две метрики в одну:

где – точность, – полнота, – F-мера, – количество верно распознанных ключевых слов (True Positive), – количество неверно распознанных ключевых слов (False Positive), – количество нераспознанных ключевых слов (False Negative), – параметр приоритета точности или полноты.

Если параметр находится в диапазоне , то приоритет при вычислении F-меры отдается точности, при приоритет отдается полноте. Таким образом, F-мера позволяет избегать проблем с оценкой качества, когда какая-то одна метрика является очень высокой, а вторая очень низкой. Например, если алгоритм нашел лишь одно слово, которое действительно является ключевым, то точность алгоритма будет составлять 100 %, тогда как полнота будет весьма низкой. В этом случае F-мера так же будет низкой.

Таким образом, большинство алгоритмов извлечения ключевых слов состоят из трех последовательных этапов, включающих в себя предварительную обработку данных и выявление кандидатов в ключевые слова, выделение признаков и ранжирование найденных ключевых слов. На выбор алгоритма извлечения ключевых слов должны влиять следующие параметры: доступность размеченных корпусов данных, словарей и онтологий, объемы данных и требующиеся вычислительные ресурсы, наличие специфических особенностей языка. При этом, алгоритм извлечения ключевых слов необходимо оценивать как со стороны точности, так и со стороны полноты, в чем может помочь использование метрики F1.

Литература:

  1. NLP keyword extraction tutorial with RAKE and Maui // Airpair. URL: https://www.airpair.com/nlp/keyword-extraction-tutorial (дата обращения: 30.05.2017).
  2. Kazi Saidul Hasan, Vincent Ng. Automatic Keyphrase Extraction: A Survey of the State of the Art. University of Texas at Dallas, Human Language Technology Research Institute. URL: http://acl2014.org/acl2014/P14–1/pdf/P14–1119.pdf (дата обращения 30.05.2017).
  3. Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze. Introduction to Information Retrieval, Cambridge University Press. 2008.
  4. Ванюшкин А. С., Гращенко Л. А. Методы и алгоритмы извлечения ключевых слов. URL: http://cyberleninka.ru/article/n/metody-i-algoritmy-izvlecheniya-klyuchevyh-slov (дата обращения 30.05.2017).
  5. Rada Mihalcea, Paul Tarau. TextRank: Bringing Order into Texts, University of North Texas, 2004. URL: http://www.aclweb.org/anthology/W04–3252 (дата обращения 30.05.2017).
Основные термины (генерируются автоматически): слово, TF-IDF, документ, словосочетание, признак, машинное обучение, общий случай, выделение признаков, выбор алгоритма извлечения, KEA.


Похожие статьи

Анализ методов тематического моделирования текстов на...

Наиболее популярным направлением извлечения информации из текстов на данный момент

Значением ячейки данной матрицы является вес данного слова в документе, способ

с помощью алгоритма tf-idf, построение весовой матрицы, разложение матрицы методом...

Применение методов text mining для классификации информации...

0. Алгоритм TF*IDF не подходит для решения исходной задачи, т. к. он учитывает редкие слова и отбрасывает самые часто употребляемые.

Заключение. В ходе исследования были выбраны алгоритмы для извлечения ключевых слов и классификации документов.

Методы выделения ключевых слов в контексте электронных...

В работе рассматриваются методы выделения ключевых слов из текстовых документов.

У ключевого слова есть ряд определенных характерных признаков.

Гибридный метод использует статистические методики извлечения ключевых слов в совокупности с некоторыми...

Сравнение методов оценки тональности текста | Статья в журнале...

Мера TF (term frequency) — отношение частоты некоторого слова к общему числу слов в документе.

Основные термины (генерируются автоматически): IDF, TFIDF, матрица неточностей, машинное обучение, таблица, оценка системы, экспертная оценка...

Анализ применения гомоморфных схем шифрования...

Ключевые слова: гомоморфное шифрование, ГОСТ 28147–89, машинное обучение.

Общая схема работы алгоритма обучения по прецедентам над конфиденциальными данными состоит из двух фаз: обучения и применения, на которой алгоритм работает над вектором признаков...

Метод автоматической классификации документов в задаче...

2. Проведение операции выделения основы слова с помощью алгоритма Портера [3], то есть получение термов.

5. Нормализация матрицы M для учета важности каждого терма в том или ином блоке компетенций с использованием меры TF-IDF [4], которая позволяет увеличить вес...

Алгоритмы распознавания объектов | Статья в сборнике...

Ключевые слова: распознавание образов, обработка изображений, компьютерное зрение, машинное обучение.

Для решения задач, связанных с распознаванием удобно использовать достаточно простые алгоритмы получения признаков, к примеру, использование алгоритмов...

Анализ методов тематического моделирования текстов на...

Наиболее популярным направлением извлечения информации из текстов на данный момент

Значением ячейки данной матрицы является вес данного слова в документе, способ

с помощью алгоритма tf-idf, построение весовой матрицы, разложение матрицы методом...

Методы определения объектов на изображении

‒ Использование бустинга (бустинга — это общий метод повышения производительности алгоритмов обучения) для выбора наиболее подходящих признаков для искомого объекта на данной части изображения. В OpenCV используется алгоритм машинного обучения AdaBoost.

Применение методов text mining для классификации информации...

0. Алгоритм TF*IDF не подходит для решения исходной задачи, т. к. он учитывает редкие слова и отбрасывает самые часто употребляемые.

Заключение. В ходе исследования были выбраны алгоритмы для извлечения ключевых слов и классификации документов.

Анализ тональности отзывов пользователей в мета-области...

Существуют два основных подхода к задаче автоматического извлечения тональности — подход, основанный на использовании словарей сентиментов и подход, основанный на машинном обучении.

Методы выделения ключевых слов в контексте электронных...

В работе рассматриваются методы выделения ключевых слов из текстовых документов.

У ключевого слова есть ряд определенных характерных признаков.

Гибридный метод использует статистические методики извлечения ключевых слов в совокупности с некоторыми...

Сравнение методов оценки тональности текста | Статья в журнале...

Мера TF (term frequency) — отношение частоты некоторого слова к общему числу слов в документе.

Основные термины (генерируются автоматически): IDF, TFIDF, матрица неточностей, машинное обучение, таблица, оценка системы, экспертная оценка...

Анализ применения гомоморфных схем шифрования...

Ключевые слова: гомоморфное шифрование, ГОСТ 28147–89, машинное обучение.

Общая схема работы алгоритма обучения по прецедентам над конфиденциальными данными состоит из двух фаз: обучения и применения, на которой алгоритм работает над вектором признаков...

Метод автоматической классификации документов в задаче...

2. Проведение операции выделения основы слова с помощью алгоритма Портера [3], то есть получение термов.

5. Нормализация матрицы M для учета важности каждого терма в том или ином блоке компетенций с использованием меры TF-IDF [4], которая позволяет увеличить вес...

Алгоритмы распознавания объектов | Статья в сборнике...

Ключевые слова: распознавание образов, обработка изображений, компьютерное зрение, машинное обучение.

Для решения задач, связанных с распознаванием удобно использовать достаточно простые алгоритмы получения признаков, к примеру, использование алгоритмов...

Методы определения объектов на изображении

‒ Использование бустинга (бустинга — это общий метод повышения производительности алгоритмов обучения) для выбора наиболее подходящих признаков для искомого объекта на данной части изображения. В OpenCV используется алгоритм машинного обучения AdaBoost.

Анализ тональности отзывов пользователей в мета-области...

Существуют два основных подхода к задаче автоматического извлечения тональности — подход, основанный на использовании словарей сентиментов и подход, основанный на машинном обучении.

Похожие статьи

Анализ методов тематического моделирования текстов на...

Наиболее популярным направлением извлечения информации из текстов на данный момент

Значением ячейки данной матрицы является вес данного слова в документе, способ

с помощью алгоритма tf-idf, построение весовой матрицы, разложение матрицы методом...

Применение методов text mining для классификации информации...

0. Алгоритм TF*IDF не подходит для решения исходной задачи, т. к. он учитывает редкие слова и отбрасывает самые часто употребляемые.

Заключение. В ходе исследования были выбраны алгоритмы для извлечения ключевых слов и классификации документов.

Методы выделения ключевых слов в контексте электронных...

В работе рассматриваются методы выделения ключевых слов из текстовых документов.

У ключевого слова есть ряд определенных характерных признаков.

Гибридный метод использует статистические методики извлечения ключевых слов в совокупности с некоторыми...

Сравнение методов оценки тональности текста | Статья в журнале...

Мера TF (term frequency) — отношение частоты некоторого слова к общему числу слов в документе.

Основные термины (генерируются автоматически): IDF, TFIDF, матрица неточностей, машинное обучение, таблица, оценка системы, экспертная оценка...

Анализ применения гомоморфных схем шифрования...

Ключевые слова: гомоморфное шифрование, ГОСТ 28147–89, машинное обучение.

Общая схема работы алгоритма обучения по прецедентам над конфиденциальными данными состоит из двух фаз: обучения и применения, на которой алгоритм работает над вектором признаков...

Метод автоматической классификации документов в задаче...

2. Проведение операции выделения основы слова с помощью алгоритма Портера [3], то есть получение термов.

5. Нормализация матрицы M для учета важности каждого терма в том или ином блоке компетенций с использованием меры TF-IDF [4], которая позволяет увеличить вес...

Алгоритмы распознавания объектов | Статья в сборнике...

Ключевые слова: распознавание образов, обработка изображений, компьютерное зрение, машинное обучение.

Для решения задач, связанных с распознаванием удобно использовать достаточно простые алгоритмы получения признаков, к примеру, использование алгоритмов...

Анализ методов тематического моделирования текстов на...

Наиболее популярным направлением извлечения информации из текстов на данный момент

Значением ячейки данной матрицы является вес данного слова в документе, способ

с помощью алгоритма tf-idf, построение весовой матрицы, разложение матрицы методом...

Методы определения объектов на изображении

‒ Использование бустинга (бустинга — это общий метод повышения производительности алгоритмов обучения) для выбора наиболее подходящих признаков для искомого объекта на данной части изображения. В OpenCV используется алгоритм машинного обучения AdaBoost.

Применение методов text mining для классификации информации...

0. Алгоритм TF*IDF не подходит для решения исходной задачи, т. к. он учитывает редкие слова и отбрасывает самые часто употребляемые.

Заключение. В ходе исследования были выбраны алгоритмы для извлечения ключевых слов и классификации документов.

Анализ тональности отзывов пользователей в мета-области...

Существуют два основных подхода к задаче автоматического извлечения тональности — подход, основанный на использовании словарей сентиментов и подход, основанный на машинном обучении.

Методы выделения ключевых слов в контексте электронных...

В работе рассматриваются методы выделения ключевых слов из текстовых документов.

У ключевого слова есть ряд определенных характерных признаков.

Гибридный метод использует статистические методики извлечения ключевых слов в совокупности с некоторыми...

Сравнение методов оценки тональности текста | Статья в журнале...

Мера TF (term frequency) — отношение частоты некоторого слова к общему числу слов в документе.

Основные термины (генерируются автоматически): IDF, TFIDF, матрица неточностей, машинное обучение, таблица, оценка системы, экспертная оценка...

Анализ применения гомоморфных схем шифрования...

Ключевые слова: гомоморфное шифрование, ГОСТ 28147–89, машинное обучение.

Общая схема работы алгоритма обучения по прецедентам над конфиденциальными данными состоит из двух фаз: обучения и применения, на которой алгоритм работает над вектором признаков...

Метод автоматической классификации документов в задаче...

2. Проведение операции выделения основы слова с помощью алгоритма Портера [3], то есть получение термов.

5. Нормализация матрицы M для учета важности каждого терма в том или ином блоке компетенций с использованием меры TF-IDF [4], которая позволяет увеличить вес...

Алгоритмы распознавания объектов | Статья в сборнике...

Ключевые слова: распознавание образов, обработка изображений, компьютерное зрение, машинное обучение.

Для решения задач, связанных с распознаванием удобно использовать достаточно простые алгоритмы получения признаков, к примеру, использование алгоритмов...

Методы определения объектов на изображении

‒ Использование бустинга (бустинга — это общий метод повышения производительности алгоритмов обучения) для выбора наиболее подходящих признаков для искомого объекта на данной части изображения. В OpenCV используется алгоритм машинного обучения AdaBoost.

Анализ тональности отзывов пользователей в мета-области...

Существуют два основных подхода к задаче автоматического извлечения тональности — подход, основанный на использовании словарей сентиментов и подход, основанный на машинном обучении.

Задать вопрос