Классификация заявок пользователей с помощью нейросети | Статья в журнале «Молодой ученый»

Отправьте статью сегодня! Журнал выйдет 1 февраля, печатный экземпляр отправим 5 февраля.

Опубликовать статью в журнале

Автор:

Рубрика: Информационные технологии

Опубликовано в Молодой учёный №32 (270) август 2019 г.

Дата публикации: 13.08.2019

Статья просмотрена: 35 раз

Библиографическое описание:

Баранов Л. Л. Классификация заявок пользователей с помощью нейросети // Молодой ученый. — 2019. — №32. — С. 7-10. — URL https://moluch.ru/archive/270/61924/ (дата обращения: 23.01.2020).



В статье рассмотрен вариант решения классификации задач, поступающих от пользователей системы, на основе текстовой информации. Инструментом классификации выступает нейронная сеть. В статье рассмотрены этапы построения нейросети, а также процесс подготовки обучения.

Ключевые слова: нейронная сеть, нейрон, классификация текста

Введение

Современная техническая поддержка является единой точкой входа для любых запросов пользователей. Но запросы могут быть настолько разнообразны, что их решение требует разного уровня компетенции сотрудников. Поэтому перед решением запросы или проблемы классифицируют. Разбивая проблемы по разным “воронкам”, заявки распределяются на пользователей, исходя из компетенций сотрудников. Данное действие должно привести к уменьшению времени решения проблемы. Для распределения можно использовать отдельного сотрудника или программное обеспечение. Если использовать программное обеспечение сократятся расходы и время, затрачиваемое на прочтение и распределение заявок.

Выбор инструмента классификации

В настоящий момент времени есть различные способы классификации. Наиболее подходящие для нашей задачи: наивный байесовский классификатор и нейронная сеть.

Воронцов отмечает, что “Основные его преимущества простота реализации и низкие вычислительные затраты при обучении и классификации. В тех редких случаях, когда признаки действительно независимы (или почти независимы), наивный байесовский классификатор (почти) оптимален. Основной его недостаток относительно низкое качество классификации в большинстве реальных задач. Чаще всего он используется либо как “примитивный” эталон для сравнения различных моделей алгоритмов, либо как элементарный “строительный блок” в алгоритмических композициях” [1]. Для нас важно использовать инструмент применимый на практических вещах. Т. е. текущий недостаток будет для нас существенным. Основным недостатком нейронных сетей является переобучение. Суть данного недостатка в том, что нейросеть “запоминает” ответы. В то время как преимуществом нейросети является успешная практика в классификации, подкрепленная реальными примерами.

Проектирование нейронной сети

В качестве архитектуры мы будем использовать персептрон. Он достаточно прост в проектировании и использовании. После определения модели необходимо определиться с количеством слоев и нейронов на каждом слое.

Количество нейронов на входе должно быть заранее известным и равным такому значению, чтобы весь текст можно было передать на входной слой. Поэтому размер входного слоя зададим равным количеству слов в словаре. Словарь — это заранее составленный список слов. Есть два варианта получить словарь. Взять уже готовый словарь русского языка или создать свой. Новый словарь русского языка автор Ефремова Т. Ф. содержит около 160 000 слов [2]. Большой толковый словарь русского языка автор С. А. Кузнецов содержит около 130 000 слов. [3]. Эти числа нам не подходят. Во-первых, размер входного слоя получается слишком большой, из-за чего растут ресурсы, затрачиваемые на построение нейронной сети. Во-вторых, не все слова используются в заявках и в словаре могут отсутствовать слова профессионального диалекта. Поэтому необходимо составить свой словарь из используемых слов. Словарь будем составлять из имеющихся текстов заявок. При составлении словаря для большей унификации применяем процедуру стемминг. Для вариативности и возможно лучшего понимания смысла текста применим N-грамм, точнее, будем составлять словарь как униграммами, так и биграмами. Впоследствии сравним результаты на одинаковых текстах.

Количество нейронов на выходном слое должно соответствовать количеству категорий. После предварительного анализа текстов были выделены следующие категории:

− Не работает интернет.

− Низкая скорость соединения.

− Не работает VPN-канал.

− Потери в канале связи. Разрывы соединения.

− Не работает телефон полностью.

− Не работает только исходящая связь.

− Не работает только входящая связь.

− Проблемы продукта Облачная телефония.

Эти 8 групп заявок и будут выходным слоем.

Скрытые слои были рассчитаны исходя из соображения, что каждый последующий слой уменьшал количество нейронов в четыре раза.

В итоге у нас получилось две нейронные сети параметры которых представлены в Таблице 1.

Таблица 1

Униграмма

Биграмма

Кол-во в словаре.

Входной слой нейросети

3569

14474

Выходной слой

8

8

Кол-во скрытых слоев

3

4

Первый скрытый слой

892

3619

Второй скрытый слой

223

905

Третий скрытый слой

56

226

Четвертый скрытый слой

-

56

Подготовка данных для обучения

Для обучения необходимо собрать достаточно большое количество данных. Были проверены и переклассифицированы 10000 заявок человеком. После классификации необходимо определить, как передать текст на входной слой. Для этого будем использовать вектор текста. Вектор текста получается путем складывания векторов слов в фразе. Вектор слова вычислен для каждого слова в словаре. Например, в словаре есть набор слов: “заявка”, “клиент”, “работает”, “включен”. И есть текст “Клиент не работает с 6 утра.” Вектор этого текста будет иметь вид: 0 1 1 0.

Для каждой из 10000 заявки был рассчитан вектор текста. Также впоследствии будет определяться вектор текста всегда перед тем, как передать на вход данные.

Результаты

После обучения было проведено тестирование на 100 заявках.

Нейросеть на основе униграм показала точность определения 86 %, а на основе биграм — 63 %.

Точность определения была рассчитана следующим образом:

− заявка проверялась на нейросети;

− за ответ от нейросети брался самый высокий процент;

− если ответ нейронной сети совпадал с ответом человека, заявка считалась определена верна;

− считался процент заявок, которые были определены верно от общего числа;

− каждая заявка проверялась на обоих вариантах (юниграма и биграма).

Чем больше процент верно определенных заявок, тем выше точность.

Заключение

Таким образом мы можем говорить о том, что классификация заявок с помощью нейросети позволит освободить человеческие ресурсы. В дальнейшем на основе данной классификации можно запускать автоматическую диагностику проблем. Тем самым мы увеличим скорость решения вопроса.

Литература:

1. К. В. Воронцов, Лекции по метрическим алгоритмам классификации.

2. Толковый словарь Ефремовой // Gufo.me — словари и энциклопедии. URL: https://gufo.me/dict/efremova (дата обращения: 30.06.2019).

3. Толковый словарь Кузнецова // Gufo.me — словари и энциклопедии. URL: https://gufo.me/dict/kuznetsov (дата обращения: 30.06.2019).

4. Лакман И. А., Альхамов Р. Р. Информационная поддержка классификации заявок в организации/ И. А. Лакман, Р. Р. Альхамов// Математические модели современных экономических процессов, методы анализа и синтеза экономических механизмов. Актуальные проблемы и перспективы менеджмента организаций в России: сб. ст. XII Всерос. науч.-практ. конф. / Ин-т проблем упр. им. В. А. Трапезникова Рос. акад. наук.; Самар. нац. исслед. ун-т им. С. П. Королева, под ред. Д. А. Новикова –Самара: Изд-во СамНЦ РАН, 2018. -С. 63–67.

5. Головко В. А. Нейронные сети: обучение, организация и применение. Книга 4. — М.: ИПРЖР, 2001. — 256 с.

Основные термины (генерируются автоматически): нейронная сеть, вектор текста, скрытый слой, словарь, русский язык, слово, выходной слой, заявка, входной слой, наивный байесовский классификатор.


Похожие статьи

Анализ методов распознавания образов | Статья в журнале...

Классификатор — устройство, которое в качестве входных данных получает набор признаков объекта, а в качестве результата выдающий метку класса. Верификация — процесс сопоставления экземпляра объекта с одной моделью объекта или описанием класса.

Применение нейронных сетей в экономике | Статья в журнале...

Для синхронных нейронных сетей в каждый момент времени меняет только один нейрон свое состояние.

Слой — один или несколько нейронов, на вход которым подается один общий сигнал.

Скрытый нейрон — это нейрон, находящийся в скрытом слое нейронной сети.

Применение нейронных сетей в распознавании рукописного текста

При обучении сети входное множество сигналов рассматривается как вектор. Обучение осуществляется путем последовательного представления

Попова В. В. Распознавание рукописного текста на китайском языке на основе ключей при помощи нейронных сетей...

Распознавание речи на основе искусственных нейронных сетей

А на выходном слое только один нейрон, выход которого соответствует желаемому значению распознавания сигнала.

Нейронная сеть, которая имеет максимальное выходное значение, и является

И слово, распознанное нейронной сетью, является результатом распознания.

Контролируемые методы машинного обучения как средство...

Байесовская сеть (BN) представляет собой модель, которая кодирует вероятностные отношения между переменными.

Moore и Zuev [3] использовали контролируемый Наивный Байесовский классификатор и 248 потоков функций чтобы дифференцировать между...

Методы распознавания речи | Статья в журнале «Молодой ученый»

Нейронные сети. Нейронная сеть — это математическая модель, построенная на принципах работы человеческого мозга. Нервная система и мозг человека состоят из нейронов, соединенных друг с другом нервными волокнами, которые способны передавать электрические...

Распознавание английского текста сверточной нейронной сетью

Четвертый слой, как и второй слой нейронной сети, являлся слоем субдискретизации.

Пятый слой реализованной нейронной сети – сверточный слой. На вход данному слою

В статье представлен опыт изучения нейронных сетей, их реализации с помощью языка...

Распознавание сарказма в задаче определения тональности...

Основой наивного байесовского классификатора является соответствующая теорема (2). В формуле

‒ наличие в тексте слов, которые чаще всего используются в сочетании с сарказмом для

Сравнение методов оценки тональности текста. Ключевые слова:классификация текста...

Анализ тональности высказываний в Twitter | Статья в журнале...

Чтобы оценить вероятность , Наивный Байесовский метод раскладывает её на величины и таким образом получается Наивный Байесовский классификатор: где количество признаков в обучающем корпусе данных, количество встретившихся признаков в документе d.

Похожие статьи

Анализ методов распознавания образов | Статья в журнале...

Классификатор — устройство, которое в качестве входных данных получает набор признаков объекта, а в качестве результата выдающий метку класса. Верификация — процесс сопоставления экземпляра объекта с одной моделью объекта или описанием класса.

Применение нейронных сетей в экономике | Статья в журнале...

Для синхронных нейронных сетей в каждый момент времени меняет только один нейрон свое состояние.

Слой — один или несколько нейронов, на вход которым подается один общий сигнал.

Скрытый нейрон — это нейрон, находящийся в скрытом слое нейронной сети.

Применение нейронных сетей в распознавании рукописного текста

При обучении сети входное множество сигналов рассматривается как вектор. Обучение осуществляется путем последовательного представления

Попова В. В. Распознавание рукописного текста на китайском языке на основе ключей при помощи нейронных сетей...

Распознавание речи на основе искусственных нейронных сетей

А на выходном слое только один нейрон, выход которого соответствует желаемому значению распознавания сигнала.

Нейронная сеть, которая имеет максимальное выходное значение, и является

И слово, распознанное нейронной сетью, является результатом распознания.

Контролируемые методы машинного обучения как средство...

Байесовская сеть (BN) представляет собой модель, которая кодирует вероятностные отношения между переменными.

Moore и Zuev [3] использовали контролируемый Наивный Байесовский классификатор и 248 потоков функций чтобы дифференцировать между...

Методы распознавания речи | Статья в журнале «Молодой ученый»

Нейронные сети. Нейронная сеть — это математическая модель, построенная на принципах работы человеческого мозга. Нервная система и мозг человека состоят из нейронов, соединенных друг с другом нервными волокнами, которые способны передавать электрические...

Распознавание английского текста сверточной нейронной сетью

Четвертый слой, как и второй слой нейронной сети, являлся слоем субдискретизации.

Пятый слой реализованной нейронной сети – сверточный слой. На вход данному слою

В статье представлен опыт изучения нейронных сетей, их реализации с помощью языка...

Распознавание сарказма в задаче определения тональности...

Основой наивного байесовского классификатора является соответствующая теорема (2). В формуле

‒ наличие в тексте слов, которые чаще всего используются в сочетании с сарказмом для

Сравнение методов оценки тональности текста. Ключевые слова:классификация текста...

Анализ тональности высказываний в Twitter | Статья в журнале...

Чтобы оценить вероятность , Наивный Байесовский метод раскладывает её на величины и таким образом получается Наивный Байесовский классификатор: где количество признаков в обучающем корпусе данных, количество встретившихся признаков в документе d.

Задать вопрос