Бесплатный парсер сайтов iDatica с готовыми шаблонами
Бесплатное расширение браузеров для парсинга сайтов – собирает данные с сайтов в автоматизированном режиме и сохраняет в файл.
Готовые шаблоны
Шаблоны – файлы с готовыми настройками для парсинга. Вы можете загрузить готовую настройку и быстро начать сбор данных с нужного сайта без предварительной настройки. Вы можете сохранять свои настройки в качестве шаблонов.
Парсинг с пагинацией
Парсинг каталога с пагинацией – возможность программы самостоятельно переходить на следующую страницу в каталоге, вам нужно только запустить парсинг на первой странице.
Парсинг отдельных url
Парсинг карточек товаров и отдельных url – с помощью этой опции вы сможете парсить список нужных вам товаров.
Предпросмотр
Предпросмотр собираемых данных и их количества – инструмент позволяющий быстро оценить правильность настройки парсинга. При нажатии на соответствующую кнопку программа покажет данные которые нашла на странице на которой вы находитесь и их количество.
Настраиваемый вид таблицы
Настраиваемый вид столбцов таблицы – программа позволяет добавлять нужное вам количество столбцов, удалять не нужные, задавать названия заголовков таблицы.
Настраиваемая скорость
Настраиваемая скорость перехода на страницу – данная опция позволяет задавать время через которое начинается парсинг после перехода на новую страницу, это позволяет избегать блокировок со стороны сайта из-за частых обращений и дает время загрузиться новой странице.
Работа с xPath и CSS
Возможность работы с xPath и CSS – вы можете привязываться к данным на странице с помощью языка запросов xPath и CSS селекторов. Если вы не знакомы с возможностями xPath ищите в разделе информации наши обучающие статьи, за несколько минут вы научитесь основам и сможете настраивать сбор данных даже на сложных сайтах.
Настройка разделителя csv
Возможность задать нужный разделитель в csv – удобная опция позволяющая выбрать нужный символ в качестве разделителя.
Просмотр лога
Просмотр лога – информационное поле в котором отображается каждый шаг – на какой странице идет парсинг в настоящий момент, количество собранных элементов и другое.
Возможности бесплатного парсера данных iDatica
Парсер iDatica – бесплатный и простой инструмент для сбора данных с сайтов. Парсер может работать в режиме “point-and-click” с сайтами на которых не сложная иерархическая система построения страницы, или можно вручную указать к какому элементу обратиться, это позволяет собирать данные на “сложных” сайтах.
Преимущества расширения
Благодаря тому, что сбор данных запускается в браузере парсер не требует установки на ваш компьютер. Еще одно достоинство использования парсера в браузере – удобство работы, находясь на сайте с которого вы хотите собрать данные, достаточно запустить расширение и вы готовы к настройке и сбору. Кроме того, вы можете использовать программу на любом компьютере на котором есть браузер.
Как работает парсер?
Парсер iDatica работает с Xpath запросами и CSS селекторами для идентификации информации на странице, у такого подхода в противовес полностью автоматическим парсерам есть возможность более гибко влиять на настройку сбора данных и получать информацию с сайтов с которыми полностью автоматизированные решения не справятся.
После настройки или загрузки шаблона и запуска парсинга, программа извлекает нужную информацию и предлагаем вам скачать результат в виде структурированных данных, которые вы можете сохранить в файл csv или json, а затем открыть в электронной таблице excel, google sheets, numbers, calc или другой. Программа поддерживает UTF-8 кодировку, поэтому будет работать с разными языками, русским, английским, китайским, любыми другим. Чтобы собирать данные, вам не нужно знать языки программирования, такие как Python, JavaScript.
Для тех кто не знаком с парсингом, работа с программой может показаться не понятной, но научится обращаться к нужным данным через Xpath и/или CSS на уровне достаточном для парсинга большинства сайтов совсем не сложно, посмотрите наши обучающие материалы.
Для каких задач можно использовать бесплатный парсер от iDatica?
Наши пользователи автоматизируют множество задач. Вот несколько примеров областей и данных которые собирают:
- Лидогенерация – почта, номер телефона, другие контактные данные;
- Электронная коммерция – характеристики товаров, цены, скидки, акции, описания, url изображений и т.д;
- Новости – данные с новостных порталов, блогов, форумов;
- Мониторинг розничной торговли – остатки товара, объемы продаж, цены конкурентов или поставщиков;
- Мониторинг репутации – обзоры, отзывы о товарах, рейтинги и прочее;
- Бизнес-аналитика – собирайте данные для принятия ключевых бизнес-решений, исследуйте конкурентов;
- Большие данные для машинного обучения, маркетинга, разработки бизнес-стратегий, исследований;
- И многое другое.
С чего начать парсинг?
3 простых шага
1. Установите расширение
Установите расширение из магазина поддерживаемого браузера и откройте окно расширения на сайте данные с которого вы хотите собирать.
2. Настройте парсер
Настройте парсер на сбор нужных данных. Создайте таблицу, укажите какие значения собирать, как переходить по страницам или загрузите готовый шаблон.
3. Запустите парсер
Запустите сбор данных, дождитесь окончания и экспортируйте полученные данные в нужном формате. 3 несложных шага, этой действительно просто!
Установите расширение iDatica
Вы можете использовать расширение в других браузерах на движке Chromium.
Например, Opera или Яндекс.Браузер – нажмите “Установить в Chrome”
Как работать с расширением
Описание функциональных возможностей.
Кликните на зеленое поле для получения справки.
Название
Название столбца в экспортируемом файле с данными.
Удалить столбец
Опция удаления столбца, без возможности восстановления.
Добавление столбца
Опция добавления нового столбца
Выбор селектора
Тип селектора применяемого для поиска данных на странице Xpath или CSS.
Запрос к данным
Поле для кода выбранного типа селектора xpath или css. Узнайте как написать запрос в нашей статье.
Путь к данным
Функция которая в автоматическом режиме составляет путь к данным, xpath или css.
Для использования нажмите на пиктограмму, а затем кликните на данные на сайте которые хотите собрать в этом столбце.
Опция ищет путь только к тому элементу который выбран, если нужно собирать несколько однотипных элементов, то запрос потребуется отредактировать или написать самостоятельно.
Опция подходит для парсинга в режиме "Список URL".
Подсветить данные
Опция при клике на пиктограмму подсвечивает на странице найденные по указанному пути данные.
Список данных
Опция выводит список и количество найденных по указанному пути элементов на странице.
Поиск в блоке данных
Опция ограничивающая поиск заданным блоком данных. Применяется когда необходимо ограничить сбор данных в нужной части страницы, или для парсинга повторяющихся данных на странице (например, карточки товаров).
Если блок данных не выбран поиск происходит по всей странице, а если выбран, то только в выбранном/выбранных блоках. При поиске в блоке парсер считает блок - одной строкой.
Заказать парсинг
Заказ платный парсинга у специалистов компании "iDatica".
Скачать пресет
Скачать готовый пресет для парсинга сайтов.
Справка
Описание функциональных возможностей расширения.
Список ссылок
Режим парсинга набора ссылок. В этом режиме парсер собирает данные только с тех страниц которые добавлены. Поместите ссылки одна под другой.
Задержка парсинга
Пауза при переходе на следующую страницу. Необходима, чтобы избежать блокировки, если сайт блокирует парсинг увеличите значение.
Автоматический режим парсинга
Автоматический режим парсинга для каталогов с пагинацией.
Укажите путь до кнопки "Далее" и парсер будет самостоятельно переходить на следующую страницу.
Старт парсинга
Кнопка старта/остановки парсинга.
Экспорт данных в файл
Кнопки экспорта результатов парсинга в файл csv или json. Csv файл можно открыть в табличном редакторе excel, numbers и других.
Csv позволяет задать нужный вам разделитель строк, по умолчанию используется ;
Сброс настроек
Сброс всех настроек.
Пресеты
Загрузка и сохранение пресетов для парсинга.
Консоль
Консоль, в которой отображается информация о всех выполненных действиях.
Позволяет отслеживать статус парсинга, ошибки и многое другое.
Как использовать XPATH и CSS для парсинга данных
Пример парсинга интернет-магазина
Часто задаваемые вопросы
В каких браузерах можно использовать расширение?
Расширение адаптировано для браузеров на движке chromium и доступно в магазинах Google chrome и Microsoft edge. Полный список поддерживаемых браузеров можно посмотреть тут.
Наиболее популярные браузеры:
- Brave
- Microsoft Edge
- Opera
- Vivaldi
- Яндекс браузер
Как установить расширение в браузере?
Если вы используете Google chrome или Microsoft edge, перейдите в соответствующий магазин. Если используете другой совместимый браузер перейдите в магазин Chrome или по этой ссылке.
Какие есть ограничения у расширения?
Расширение не собирает данные из тегов html кода, например ссылки записанные в тег <a></a>.
Расширение может обходить защиту от парсинга?
Да, у парсера есть функциональность для обхода защиты. Для сайтов посещение страницы парсером выглядит как будто на нее зашел человек, так как расширение работает с открытой в браузере вкладкой, то воспринимается сайтом как естественное. Это позволяет работать даже с очень сложными для парсинга сайтами. Для того, чтобы не нагружать сильно сайт и не попасть под блокировку рекомендуется правильно выбрать значение задержки. ВАЖНО! Соблюдайте политику сайтов в отношении автоматического сбора информации, помните вы можете собирать только общедоступную информацию.
Расширение платное?
Нет, полностью бесплатно для использования.
Вы можете настроить расширение для нужного мне сайта?
Нет, мы не оказываем поддержку в части настройки расширения для сбора данных с сайтов.
У меня сложный случай, как мне собрать нужные данные?
Вы можете обратиться к нам за коммерческой услугой.