Чтобы запросы парсера не забанили, нужно делать пошаговый импорт. На многих сайтах есть контроль активности пользователей, который может временно заблокировать посетителей, сделавших большое количество хитов в единицу времени. Так вот, делая интервалы между хитами, мы с меньшей вероятностью попадем в стоп-лист, а значит, сможем успешно получить нужные данные.
Выбор за вами, можно заниматься рутиной, скачивать картинки и тексты вручную или же автоматизировать этот процесс и написать парсер контента.
Если требуется получить данные со стороннего ресурса и загрузить их на ваш сайт, обращайтесь.
Примеры из портфолио
Парсинг каталога товаров с сайта kamaz.ru
Клиенту потребовалось загрузить на сайт каталог техники с сайта kamaz.ru. Заполнять вручную несколько сотен товаров с картинками, описанием и характеристиками было бы долго, поэтому приняли решение запросить файл экспорта у поставщика. Поскольку у Камаза сайт на CMS 1С Битрикс, их программисты сделали экспорт в csv формате и прислали выгрузку. Часть данных была взята из выгрузки, остальное парсили с сайта.
Подробнее..
Стоимость: от 20 000 ₽
ЗАКАЗАТЬ УСЛУГУ: Парсинг контента
Семен Голиков - сертифицированный программист.
Более 7 лет разрабатываю и поддерживаю сайты на 1С Битрикс.
У меня Вы можете заказать программные работы или проконсультироваться по сайту. Напишите мне или позвоните
по телефону +7(904) 589-06-04