Сап,лолз, хотел бы попросить у вас помощь. Занимаюсь парсингом стим профилей на наличие предметов в инвентаре под мои критерии. Но не удаётся брать большие масштабы из-за блокировки ip после пары сотен проверок профилей и по итогу я получаю за ~15ч парсинга 10-15 профилей. Код на js в VSC , проблема в том что парсер воркает в Chromium , как бы я не пытался подтянуть ***, после попытки смены ip парсер падает. Может кто сталкивался с таким и как решить данную проблему?
Я конечно не кодер нихуя, но разве ***'ом кто-то меняет айпи? Автоматически хоть или ручками каждый раз тыкаешь?
Erna, автоматически. Я тоже не кодер,нужна была софтина,чел продавал дико корявый и простой за 2к. Решил немного покопаться и написал ,плюсом я могу его переписывать полностью под себя. Вот столкнулся с проблемкой , не понимаю как решить.
10-15 профилей?) Может как-то оптимизировать сам парсинг? Я так понимаю через puppeteer работает, добавь туда плагины, ****** прикрутить, а то 10-15 профилей звучит совсем печально...
Amura, ну я уверен есть более оптимизированные способы это сделать. Под "кликать" имеешь в виду заходить на каждый предмет?
caedes, да, он нажимает на предмет и вылазит окно с информацией о предмете. Я общался с типами которые писали парсера для скама , у них такая же проблема мол тут и стопиться. Пытался с выгрузкой инфы со страницы стима ,но стим лежит очень часто особенно в нынешнее время.
Amura, в стиме всё можно получить через запросы (список игр, список предметов). На всякий случай можно юзать ******, но браузер тут лишний, т.к. в стиме нет cloudflare