Задача: Получение минимальной цены и количества офферов по каждому уникальному market hash name раз в час. Текущий подход: 1) нашёл api, который подгружает продаваемые предметы 2) https://api.youpin898.com/api/homepage/pc/goods/market/queryOnSaleCommodityList Вот по этому url в body лежат все данные. 3) Минимальная цена в data[0] (см. скрин) 4) Кол-во офферов в корне (TotalCount: 1366 - см. скрин) 5) Опытным путём понял, что одно устройство (один curl) может получить 25-30 данных, а далее блокировка. 6) Это не IP блок, т.к. бан не снимается при использовании ***, а снимается при открытии вкладки в инкогнито режиме. 7) Блокировка вероятнее всего идёт по хэдерам, поэтому я решил что нужно использовать Selenium и собирать уникальные абсолютно новые хэдеры, чтобы менять сессию каждые 25-30 запросов после получения блокировки. 8) Также для сбора новых хэдеров я использую библиотеку fake-useragent. 9) ****** пока что не использую, потому что убедился что не по IP блокировка. По итогу: я застрял на моменте, как мне обходить детект сайта. В этой теме я новичёк, буквально дня 3-4 изучаю парсинг. Буду рад вашей помощи, спасибо!
Lologhh, Нашёл видео, наверно поможеь) - Парсинг сайтов на Python | Обходим обнаружение парсера с Selenium Stealth
sunshine, Слушай, ну я пару дней этим занимаюсь. Ты мне говори что делать, не задавай вопросы. Вопросов у меня самого много)