Чтобы запросы парсера не забанили, нужно делать пошаговый импорт. На многих сайтах есть контроль активности пользователей, который может временно заблокировать посетителей, сделавших большое количество хитов в единицу времени. Так вот, делая интервалы между хитами, мы с меньшей вероятностью попадем в стоп-лист, а значит, сможем успешно получить нужные данные.
Выбор за вами, можно заниматься рутиной, скачивать картинки и тексты вручную или же автоматизировать этот процесс и написать парсер контента.
Если требуется получить данные со стороннего ресурса и загрузить их на ваш сайт, обращайтесь.
Перенос контента со старого сайта для solidea-russia.ru
После покупки 1С Битрикс и установки шаблона "BXReady: Флагман. Универсальный интернет-магазин", клиент заказал услугу переноса контента со старого сайта. Вернее даже, парсинг контента за разумную цену был условием покупки шаблона.
Подробнее..
Парсинг каталога товаров с сайта kamaz.ru
Клиенту потребовалось загрузить на сайт каталог техники с сайта kamaz.ru. Заполнять вручную несколько сотен товаров с картинками, описанием и характеристиками было бы долго, поэтому приняли решение запросить файл экспорта у поставщика. Поскольку у Камаза сайт на CMS 1С Битрикс, их программисты сделали экспорт в csv формате и прислали выгрузку. Часть данных была взята из выгрузки, остальное парсили с сайта.
Подробнее..