Сап,лолз, хотел бы попросить у вас помощь. Занимаюсь парсингом стим профилей на наличие предметов в инвентаре под мои критерии. Но не удаётся брать большие масштабы из-за блокировки ip после пары сотен проверок профилей и по итогу я получаю за ~15ч парсинга 10-15 профилей. Код на js в VSC , проблема в том что парсер воркает в Chromium , как бы я не пытался подтянуть ***, после попытки смены ip парсер падает. Может кто сталкивался с таким и как решить данную проблему?
Я конечно не кодер нихуя, но разве ***'ом кто-то меняет айпи? Автоматически хоть или ручками каждый раз тыкаешь?
Erna, автоматически. Я тоже не кодер,нужна была софтина,чел продавал дико корявый и простой за 2к. Решил немного покопаться и написал ,плюсом я могу его переписывать полностью под себя. Вот столкнулся с проблемкой , не понимаю как решить.
10-15 профилей?) Может как-то оптимизировать сам парсинг? Я так понимаю через puppeteer работает, добавь туда плагины, ****** прикрутить, а то 10-15 профилей звучит совсем печально...
caedes, я охватываю только 0lvl профиля, хочу подтянуть с первого по пятый lvl. Проблем с парсингом профиля нету. 6 000 за одну ночь выдал. Но после того как сделал проверку инвентаря под нужные мне предметы стим банит ip на пару часов и по итогу допустим из 15 часов парсер работает реально 1-3 часа от силы,а парсинг продолжается и я теряю 90% профилей т.к парсер при заходе в инвентарь получает "Вы совершили слишком много запросов" выходит и так до момента пока инвентарь снова не станет доступным для проверки.
caedes, заходит в инвентарь -> заходит в профиль игры в инвентаре -> начинает кликать на каждый предмет и если название совпадает то профиль сохраняется. Мне выдает ссылку на профиль и все предметы из списка которые были найдены.