Мониторинг цен на продукты питания

Мониторинг цен на продукты питания 2022

Мониторинг цен на продукты питания, с усилением конкуренции становится все более востребованной услугой. Различные тенденции: консолидация и увеличение доли крупных сетей, развивающиеся новые форматы дистанционной продажи, экспресс доставка усиливают конкуренцию между участниками. При этом, остается уверенно высок запрос покупателей на покупку товаров повседневного спроса по невысоким ценам. Эти тенденции вынуждают компании бороться за покупателя, в том числе предлагать более привлекательные цены.

Чтобы находится в рынке и предлагать конкурентоспособные цены компаниям необходимо знать как меняются цены конкурентов. Для решения этой и других смежных задач используют мониторинг цен на продукты питания, аналитика полученных данных позволит:

• установить конкурентоспособные цены;
• увеличить объемы продаж;
• прогнозировать продажи;
• узнать ценовую стратегию конкурентов;
• узнать наполнение категорий конкурентов;
• реализовать динамическое ценообразование;
• обосновать цену для покупателя.

Характеристики рынка FMCG

FMCG (Товары повседневного спроса) Рынок / CPG (потребительские товары в упаковке) охватывает продукты, которые покупатели регулярно покупают по относительно низким ценам и быстро потребляют. Самыми популярными товарами в этой категории являются:

• Упакованные продукты
• Напитки

Что характерно для этого рынка?

• В продажах FMCG товаров наблюдается тенденция на увеличение доли интернет продаж в общем объеме продаж между 2017 и 2018 годах 19%:

• Пандемия COVID повлияла на поведение клиентов. По данным PwC «Global Consumer Insights Service», 63% клиентов покупают больше продуктов в Интернет / через приложения, чем до социального дистанцирования:

Такую же тенденцию мы наблюдаем и в России, 34% потребителей, покупающих в интернете товары повседневного спроса в период карантина, не совершали регулярно такие покупки до начала пандемии COVID-19.

• Тенденция на здоровое питание, все большее значение приобретают качественные продукты — осведомленность потребителей растет, что также ускорилось во время пандемии. Согласно вышеупомянутому исследованию, за период пандемии больше людей стали заботится о своем питании. McKinsey делает аналогичные выводы в отношении британских клиентов — они утверждают, что 50% из них сознательно едят здоровые продукты, эта тенденция так же справедлива и для России.
• Согласно исследованию McKinsey средние темпы роста прибыли значительно снизились в последние годы, рост составил 3,2% CAGR в 2010-2018 сравнению 10,8% в 1994-2009 гг. Это означает, что компании, работающие в индустрии CPG, должны продумать свою ценовую стратегию, чтобы удерживать рост.
• Малые и средние бренды потребительских товары повседневного спроса приобретают большее значение по сравнению с ведущими брендами.
• Согласно исследованию покупатели собираются после пандемии COVID-19 совершать больше покупок в Интернете:

Онлайн рынок товаров повседневного спроса (FMCG) в цифрах

по данным Nielsen*

Рост онлайн продаж по категориям

Как реализовать мониторинг цен на продовольственные товары?

Почему мониторинг данных в iDatica

Парсинг цен, акций, скидок и других данных на продукты питания

Парсинг — процесс позволяющий в автоматическом режиме получать данные о ценах, акциях, скидках, и любые другие данные, которые вы можете видеть на сайте. Самое главное преимущество парсинга – за небольшой промежуток времени программа может собрать сотни тысяч или даже миллионы строк данных, что в ручном режиме сделать невозможно.

Не всегда источник выводит все данные в интерфейс сайта или приложения, например, бывает, что магазины передают количество остатков товара в данный момент, в коде, в отдельных случаях эти данные можно получить, а это уже позволит вам узнать объемы продаж отдельных товаров, брендов, товарных категорий, что согласитесь весьма полезная информация.

Для сбора данных программист пишет специальную программу, которая ходит по сайту или приложению и собирает нужную информацию. Для каждого отдельного сайта или приложения необходимо написать свою программу, тут нет универсального решения, исключением могут быть сайты, построенные на одной технологии – одинаковой cms и одинаковом шаблоне, но как правило конструкторы сайтов используются для небольших проектов или для создания сайтов-визиток.

Факторы влияющие на возможность, время и стоимость сбора данных

В зависимости от источника меняются условия сбора данных — разные сайты/приложения применяют различные подходы к защите данных или обновляют цены в разное время. От условий зависит время, которое будет затрачено на сбор и стоимость работ.

Защита от парсинга и методы обхода

Популярные сайты стремятся защитится от программ, которые собирают данные, это связано с рядом факторов – затруднить конкурентам получение информации, снизить лишнюю нагрузку на сайт. Так как программа может переходить по страницам сайта с огромной скоростью, недоступной человеку, то один из методов защиты — ограничение времени перехода от одной страницы к другой, или количество одновременных запросов. Если сайт понимает, что какой-то посетитель за доли секунды перемещается по страницам, то он просто блокирует доступ такому посетителю, это приводит нас к тому, что скорость парсинга может быть ограничена искусственно.

Прокси серверы для парсинга

Если данных много, да еще и нужно их собирать в нескольких регионах, с ограничением скорости их можно собирать несколько дней или даже недель, что делать в таком случае? Решение — собирать данные в несколько потоков, другими словами, программа делает не один запрос к сайту, а сразу несколько, как будто сразу несколько посетителей ходят по сайту, их может быть от двух-трех, до нескольких десятков. В реальности несколько посетителей не могут зайти под одним и тем же ip адресом, это означает, что программе-парсеру также нужно для отдельного потока заходить на сайт под отдельным ip. Для этого необходимо приобрести или взять в аренду ip-адреса. Более подробно про ip-адреса и их применение в парсинге мы писали в этой статье, познакомьтесь, это отдельная тема со своими нюансами. В результате получаем фактор, влияющий на стоимость мониторинга цен на продукты – необходимость использовать прокси сервера.

Стоит отметить, прокси-сервера могут потребоваться не только для многопоточного парсинга, бывает, что сайт с подозрением относиться к посетителю методично и с одинаковой скоростью перебирающего его страницы, в таком случае после нескольких запросов необходимо заходить сменив ip-адрес, для сайта это выглядит как один человек вышел – другой зашел, в таком случае блокировка не происходит.

Несколько одновременно работающих серверов

В случае когда для парсинга необходимо большое количество потоков или несколько программ-парсеров выполняющих разные задачи, нагрузка на вычислительные мощности сервера возрастает, в некоторых масштабных случаях требуется отдельный сервер для  задачи. Дополнительный сервер так же влияет на стоимость конечных работ.

В большинстве случаев программа для сбора данных работает с кодом сайта, не загружая графический интерфейс (то, что видит пользователь заходя на сайт), это позволяет снизить нагрузку на сервер и существенно увеличить время сбора данных, но некоторые сайты сделаны таким образом, что собирать данные из кода затруднительно или попросту не возможно, для таких случаев применяется система которая загружает графический интерфейс и даже эмулирует поведение человека — движения мышки, прокручивание страницы и другие действия. Парсинг таким методом снижает скорость, повышает требования к вычислительным ресурсам сервера, а для увеличения количество потоков, часто требуется развернуть несколько серверов, что приводит к удорожанию проекта.

Решение капчи

Еще сильнее повлиять на стоимость парсинга может наличие капчи, часто запрос ввести капчу идет после того как сайт на котором проводят мониторинг цен на продовольственные товары «заподозрит», что его обходит программа, а не человек, системы позволяющие успешно решать капчу удорожают стоимость сбора данных и часто увеличивают время сбора.

Необходимость работы с пользовательским интерфейсом

Программы парсеры могут получать данные из кода не загружая пользовательский интерфейс (сайт или экран приложения который вы видите когда заходите в него), такой подход позволяет уменьшать нагрузку на сайт-источник, загружать меньше лишних данных, это ведет к увеличению скорости сбора данных и в случае использования прокси к уменьшению стоимости. Бывают ситуации когда для проведения мониторинга цен не возможно работать с кодом, например — сложный закодированный скрипт или когда нужно намеренно загружать интерфейс, например — для создания скриншота страницы. В таких случаях программа вместо килобайт будет загружать мегабайты данных, плюс нужно ждать, когда страница полностью прогрузится, умножаем одну страницу на количество товаров конкурентов, умножаем на количество регионов, а если конкурентов несколько, то проделываем эту операцию со всеми конкурентами, в итоге получаем десятки, сотни тысяч, а то и миллионы страниц с данными. Такой подход к получению данных кратно увеличивает трафик, диктует необходимость использования мощного сервера или нескольких серверов в зависимости от задачи и в конечном итоге существенно увеличивает стоимость.

Матчинг или сопоставление товаров

Матчинг — сопоставление товарных позиций из вашего каталога с каталогами конкурентов. Эта услуга является востребованной у большинства компаний которые мониторят цены на продукты у конкурентов. В результате вы получите соответствия товаров которые позволят сравнивать цены и строить различные отчеты.

Сам процесс сопоставления довольно трудоемок, товар может содержать несколько характеристик которые могут отличать его от аналогичного в другом магазине. Под одним артикулом могут продаваться товары с различными характеристиками (цвет, вес …), типы упаковок могут отличаться (картон, пластик …), могут отличаться десятки характеристик и не всегда у конкурента есть полная информация о товаре. Название может не включать необходимую для идентификации товара информацию, не всегда приводятся полные характеристики, не всегда есть фотографии товаров — это часть кейсов с которыми неизбежно придется столкнуться специалисту по матчингу.

В нашей компании применяется комбинированный метод сопоставления товаров, мы используем несколько программных модулей которые позволяют сравнить товары в автоматическом режиме, часть товаров которую не удалось сопоставить обрабатывает менеджер в специально созданной нами программной платформе для матчинга. Наши решения позволяют существенно ускорить процесс сопоставления товаров.

Визуализация данных

Для того, чтобы было удобно сравнивать данные и следить за динамикой цен, строят визуализации — дешборды которые в наглядном виде представляют полученные данные. Такие дешборды позволяют в режиме реального времени делать различные срезы, фильтровать и структурировать данные по нужным параметрам.

В нашей компании для построения отчетов используются Bi инструменты от Microsoft и Google обладающие очень большими возможностями. Эти инструменты позволяют настроить отчет-визуализацию в соответствии с вашими потребностями. Пример простого отчета вы можете посмотреть ниже.

Скачайте примеры парсинга данных