Загрузка...

Возможно ли работать с селениумом в многопотоке?

Тема в разделе Python создана пользователем Critiquable 28 мар 2025. 146 просмотров

  1. Critiquable
    Critiquable Автор темы 28 мар 2025 Заблокирован(а) 1 15 мар 2025
    Хотелось бы работать хотя бы с 10-15 потоками,но жрет он я как понял не мало,даже когда работает в фоновом режиме. Возможно ли настроить его так,чтобы он работал на таком количестве потоков и чтобы кушал относительно немного
     
  2. nazavod
    nazavod 28 мар 2025 Разработка - https://zelenka.guru/threads/3867068/ 61 7 окт 2020
    Да, использовать запросы
     
    1. Critiquable Автор темы
      nazavod, Сделал ошибку начав на селениуме,понимаю. Назад уже пути нет
  3. ketaminedream
    из очевидного - параметр headless.
    если хедлес не вариант для твоего ресурса - последний год в хроме существует режим энергосбережения понижающий герцовку, тоже можешь испытать.

    сам не работаю с селениумом, посоветовал первое, что в голову пришло.
     
    28 мар 2025 Изменено
    1. Посмотреть предыдущие комментарии (6)
    2. Critiquable Автор темы
      madjoker787, та еба а сколько он стоит то
    3. madjoker787
      Critiquable, купил на озоне мать, 32 оперативы, 1 проц = 11 200р, в будущем хочу купить мать на 2 проца, ну и процессоры чуть по свежее
  4. gcc_machine
    есть куча настроек по оптимизации процесса работы на selenium, disable gpu, no-sandbox, headless - это самые банальные и общепринятые флаги, можно по гуглить и думаю будет еще с десяток таких, можно еще оптимизировать запросы на загрузку медиа, шрифтов и прочей хуйни - просто банить входящие роуты
     
    1. Critiquable Автор темы
  5. fl1pper
    fl1pper 29 мар 2025 1632 10 авг 2020
    используй хром вместо файрфокс в селениуме
     
    1. fl1pper
      fl1pper, по возможности перепиши все на playwright
    2. gcc_machine
      fl1pper, в чем разница, если используется тот же chromedriver, топик не про это
    3. fl1pper
      gcc_machine, селениум старый как минимум
    4. Посмотреть следующие комментарии (1)
  6. doublepurpose
    doublepurpose 29 мар 2025 117 27 мар 2025
    ставь асинхронный playwright + ФФ, оптимизируй запуск (headless и т.п.) и будет тебе счастье
     
Top
Загрузка...