Кейс: Автоматизация сбора данных и загрузки товаров для интернет-магазина обуви и одежды
Узнайте, как розничный продавец автоматизировал процесс добавления товаров в свой интернет-магазин с сайта поставщика.
Задача
Заказчик продает товары от поставщиков находящихся за границей через свой интернет магазин.
Один из крупных поставщиков, товарная база которого насчитывает до миллиона sku, не имеет своего API для обмена данными с заказчиками интернет-магазинами. Работать с такими объемами в ручном режиме невозможно, а получать товары, их цены и наличие необходимо.
Основные детали проекта
- Цены и скидки на товары у поставщика меняются часто.
- Наличие товаров и размеров у поставщика меняется часто.
- Получать свежие данные нужно оперативно.
- Сайт показывает различные товары и цены в зависимости от страны, из которой пользователь зашел на сайт.
- На сайте поставщика есть защита, которая не позволяет часто обходить страницы с одного ip-адреса.
- У поставщика в зависимости от страны бренда разная одежда и обувь имеют разные размерные сетки.
Решение
Разработка программного комплекса для ежедневного, автоматического сбора и преобразования данных о товарах их ценах и наличии.
Этапы проекта
-
1
Сбор требований
Сбор требований заказчика и изучение сайта поставщика
-
2
Написание парсера
Создание программы, которая собирает нужные данные
-
3
Преобразование данных
Написание программы для преобразования размеров
-
4
Настройка передачи данных
Интеграция с хранилищем данных заказчика для передачи данных
-
5
Тестирование и запуск
Тестирование стабильности системы и коммерческий запуск
Реализация
Для решения поставленной задачи был применен ряд технических решений, а именно:
- Написан парсер работающий с минимумом обращений к сайту поставщика, это позволяет не нагружать сайт и при этом получать всю необходимую информацию.
- Поскольку цены и наличие товара меняется часто, то заказчику необходимо так же часто обновлять данные. Мы настроили наше инфраструктурное решение для парсинга таким образом, чтобы получать данные обо всем каталоге и тратить на эту задачу минимум времени. Время сбора данных рассчитывается таким образом, чтобы свежие данные были у заказчика к тому моменту, когда он обновляет свой каталог.
- Поскольку сайт поставщика является мультиязычным магазином, на который заходят посетители из разных стран, и цены и наличие товара меняется в зависимости от локации посетителя. Мы настроили сбор данных с нужной для заказчика географической локации.
- Для того, чтобы сайт не блокировал сбор данных, и мы могли соблюсти сроки, в которые нужно предоставить обновленные цены, была настроена аккуратная работа парсера, не нагружающая работу сайта поставщика и применен ротатор ip-серверов, исключающий возможность блокировки.
- Одна из проблем, с которой столкнулся заказчик – наличие разных размеров одежды и обуви. Если оставить все как есть, пользователям пришлось бы самостоятельно по таблицам сравнения находить нужный товар, что не удобно и может привести к ошибкам и как следствие к возвратам товара. Необходимо было привести размерные сетки сотен тысяч товаров к размерам одежды и обуви принятой в России. Для решения этой задачи была написана программа преобразующая размеры в понятные покупателям, заказчик получает данные сразу в нужном формате.
- Собранные данные передаются заказчику в их систему хранения данных в необходимом формате.
Результаты проекта
- Разработано гибкое решение, которое может быть перенастроено в соответствии с изменившимися требованиями.
- Весь процесс загрузки и обновления товаров в интернет-магазин полностью автоматизирован.
- Заказчик регулярно получает свежую информацию о ценах и наличии товаров которые продает.
- iDatica осуществляет полную техническую поддержку существующего решения.
Как увеличить прибыль интернет-магазина?
iDatica – сервис для мониторинга цен конкурентов.
Помогаем увеличивать прибыль за счет оптимизации ценообразования.
Закажите решение для автоматизации сбора данных в iDatica
Нажимая отправить Вы соглашаетесь с
Политикой обработки персональных данных