В данной статье рассматривается создание модуля сбора информации, основные цели разработки, выбор технологии, работа модуля.
Ключевые слова: модуль сбора, парсинг.
Он-лайн магазин автозапчастей для иномарок имеет большое количество поставщиков с разнообразной номенклатурой деталей. Для предоставления этой информации на сайте магазина рассматривалось несколько способов: во-первых, магазин может раскрыть ссылки на сайты своих поставщиков, что крайне нецелесообразно, или же можно непосредственно отображать данные о товарах на своем сайте. Для последнего случая и принято решение создания модуля сбора информации. В его основу можно положить базу данных, которая будет содержать весь ассортимент товаров поставщиков. Это будет бесполезной тратой ресурса, так как у каждого поставщика уже есть база данных с информацией о товарах, а эта информация обновляется очень часто: меняется количество товара на складе, следовательно, изменяются сроки его доставки покупателю, в зависимости от привоза меняется цена. Для того чтобы информация в нашей базе была актуальной, обновлять ее пришлось бы очень часто.
Для решения вышеописанной проблемы выбрана универсальная технология парсинга. Парсинг — это автоматизированный сбор контента или данных с какого-либо сайта или сервиса с возможностью обработки его или их в соответствии с поставленной задачей [1]. При его использовании не требуется хранить данные в базе, вся необходимая информация берется сразу с сайтов поставщиков и отображается на сайте магазина для иномарок.
Два основных плюса использования данной технологии:
вся необходимая информация собрана вместе — каталог товаров от всех поставщиков содержится на сайте магазина, пользователь имеет полную картину возможных вариантов заказа;
всегда актуальная информация — сбор данных осуществляется прямо с сайта поставщика, нет промежуточного хранения, а значит, не требуется дополнительное время на повторное обновление.
Поэтому в основу модуля легла технология парсинга.
На рис.1 представлен принцип работы технологии.
Рис.1. Принцип работы сайта с применением данной технологии.
С сайтов поставщиков берем только необходимую пользователю информацию, то есть он вводит код запчасти, по этому коду отправляется запрос к поставщикам, от них берутся данные по запросу и возвращаются на сайт магазина, здесь они обрабатываются, и покупатель видит информацию о запрошенном коде с разных сайтов в одной таблице.
Отличие от того, если бы человек сам искал необходимый товар на разных сайтах, и работы модуля сбора информации состоит:
в скорости — работа модуля во много раз быстрее ручного поиска (если искать все варианты, а не удовлетвориться первым найденным);
человеческий фактор — модуль безошибочно отберет нужную информацию и отобразит ее в удобном виде, в то время как человек может пропустить несколько вариантов заказа или же просто не посетить сайты одного или нескольких поставщиков.
Вывод: технология удобна как для самого магазина, так и для покупателя.
Модуль объединяет все разнообразие товаров, предоставляемых поставщиками товаров, поэтому покупателю предоставляется возможность выбора оптимального решения по заказу требуемой автозапчасти. Также планируется предоставить пользователю просмотр статуса заказа.
Разрабатываемый модуль будет полезен не только покупателю и магазину. Также он дает несомненные плюсы поставщикам, которые только выходят на рынок: предоставляется возможность анализа предложения уже предоставляемых товаров, их цен и спроса.
Система будет проста в использовании, и содержать четыре блока:
форма поиска;
вывод в табличном виде результатов поиска;
просмотр «корзины» предполагаемого заказа;
отображение статуса заказа.
На рис.2 представлена диаграмма вариантов использования модуля, здесь представлены возможные пользователи модуля сайта и их запросы к системе. Рассмотрим работу пользователей с сайтом пошагово. Покупатель вводит код (артикул) требуемой автозапчасти. По нажатию на кнопку поиск происходит процесс парсинга сайтов поставщиков, с помощью которого осуществляется сбор информации о запрошенном товаре, также происходит обработка полученных данных (выбирается только необходимая информация). Результат вышеописанного процесса выводится на сайте магазина в виде таблицы, которая содержит информацию о товаре и его аналогах (артикул автозапчасти, ее наименование, стоимость, время доставки). Из данной таблицы покупатель выбирает товары, наиболее полно удовлетворяющие его по приведенным характеристикам, и отправляет понравившийся товар в корзину. После просмотра всего ассортимента продукции, покупатель заходит в корзину и формирует заказ из выбранных им товаров, который и отправляет магазину. Менеджер просматривает заказ покупателя и формирует заказы поставщикам. Через какое-то время они отправляют заказанные автозапчасти в магазин. По мере продвижения заказа менеджер обновляет статус заказа на странице сайта. При получении товаров — статус меняется на «выполнен» и покупатель может их забрать со склада магазина.
Рис. 2. Диаграмма вариантов использования модуля
Модуль облегчит поиск и заказ товаров покупателям, следовательно, он усилит конкурентоспособность магазина на рынке: магазин, предлагая товары разных фирм-поставщиков с разными условиями доставки и ценой, привлечет к себе большее количество покупателей.
Теперь немного о законности. Единственный закон, который может противостоять данной технологии, — это закон об авторском праве.
Интеллектуальные права на произведения науки, литературы и искусства являются авторскими правами. Автору произведения принадлежат следующие права:
В случаях, предусмотренных настоящим Кодексом, автору произведения наряду с указанными правами принадлежат другие права, в том числе право на вознаграждение за использование служебного произведения, право на отзыв, право следования, право доступа к произведениям изобразительного искусства. [2]
В магазине автозапчастей при парсинге берется лишь общедоступная информация — информация о товаре, которую они предоставляют на своем сайте, а не что-то уникальное, например не структура самого сайта. То есть с разных сайтов выбирается информация, но ее обработка ведется по собственному разработанному алгоритму. Также существует договоренность с поставщиками: они разрешают использовать данные со своего сайта по своему желанию.
В итоге модуль сбора информации от поставщиков в режиме он-лайн упростит поиск автозапчастей покупателям, увеличит им выбор, повысит конкурентоспособность магазина на рынке, и все это совершенно законно!
Литература:
- WestSEO [электронный ресурс]: электронный журнал для блоггеров и веб-мастеров — режим доступа: http://westseo.ru/article/parsing/.
- Гражданский кодекс РФ от 18.12.2006 N 230-ФЗ — Часть 4