Загрузка...

Parsing Steam

Thread in Node.js created by Amura Oct 3, 2023. 256 views

  1. Amura
    Amura Topic starter Oct 3, 2023 0 Apr 25, 2023
    Сап,лолз, хотел бы попросить у вас помощь.

    Занимаюсь парсингом стим профилей на наличие предметов в инвентаре под мои критерии.
    Но не удаётся брать большие масштабы из-за блокировки ip после пары сотен проверок профилей и по итогу я получаю за ~15ч парсинга 10-15 профилей.

    Код на js в VSC , проблема в том что парсер воркает в Chromium , как бы я не пытался подтянуть ***, после попытки смены ip парсер падает.
    Может кто сталкивался с таким и как решить данную проблему?
     
    1. NovaTeam
      Amura, puppeteer?

      Если он, то с ним адекватно работает только ****** socks5
  2. Erna
    Erna Oct 3, 2023 :love2: TRX&ENERGY(FROM 100₽/66.000) - lzt.lol/trx :love2: 108,679 May 10, 2019
    Я конечно не кодер нихуя, но разве ***'ом кто-то меняет айпи?
    Автоматически хоть или ручками каждый раз тыкаешь?
     
    1. Amura Topic starter
      Erna, автоматически. Я тоже не кодер,нужна была софтина,чел продавал дико корявый и простой за 2к. Решил немного покопаться и написал ,плюсом я могу его переписывать полностью под себя. Вот столкнулся с проблемкой , не понимаю как решить.
    2. View the next comments (1)
  3. caedes
    caedes Oct 3, 2023 Faded 201 Dec 2, 2019
    10-15 профилей?) Может как-то оптимизировать сам парсинг? Я так понимаю через puppeteer работает, добавь туда плагины, ****** прикрутить, а то 10-15 профилей звучит совсем печально...
     
    1. View previous comments (1)
    2. caedes
      Amura, а как, собственно, проверка инвентаря сделана?
    3. Amura Topic starter
      caedes, заходит в инвентарь -> заходит в профиль игры в инвентаре -> начинает кликать на каждый предмет и если название совпадает то профиль сохраняется. Мне выдает ссылку на профиль и все предметы из списка которые были найдены.
    4. caedes
      Amura, ну я уверен есть более оптимизированные способы это сделать. Под "кликать" имеешь в виду заходить на каждый предмет?:kitwtf:
    5. View the next comments (2)
Loading...
Top