Загрузка...

Возможно ли работать с селениумом в многопотоке?

Тема в разделе Python создана пользователем Critiquable 28 мар 2025. 155 просмотров

  1. Critiquable
    Critiquable Автор темы 28 мар 2025 Заблокирован(а) 1 15 мар 2025
    Хотелось бы работать хотя бы с 10-15 потоками,но жрет он я как понял не мало,даже когда работает в фоновом режиме. Возможно ли настроить его так,чтобы он работал на таком количестве потоков и чтобы кушал относительно немного
     
  2. nazavod
    nazavod 28 мар 2025 Разработка - https://zelenka.guru/threads/3867068/ 61 7 окт 2020
    Да, использовать запросы
     
    1. Critiquable Автор темы
      nazavod, Сделал ошибку начав на селениуме,понимаю. Назад уже пути нет
  3. ketaminedream
    из очевидного - параметр headless.
    если хедлес не вариант для твоего ресурса - последний год в хроме существует режим энергосбережения понижающий герцовку, тоже можешь испытать.

    сам не работаю с селениумом, посоветовал первое, что в голову пришло.
     
    28 мар 2025 Изменено
    1. Посмотреть предыдущие комментарии (1)
    2. ketaminedream
      Critiquable, тогда только избавляться от браузера. ты уверен что он вообще нужен для твоего ресурса?
    3. Critiquable Автор темы
      ketaminedream, как понять избавиться от браузера? запросами делать?
    4. Посмотреть следующие комментарии (5)
  4. gcc_machine
    есть куча настроек по оптимизации процесса работы на selenium, disable gpu, no-sandbox, headless - это самые банальные и общепринятые флаги, можно по гуглить и думаю будет еще с десяток таких, можно еще оптимизировать запросы на загрузку медиа, шрифтов и прочей хуйни - просто банить входящие роуты
     
    1. Critiquable Автор темы
  5. fl1pper
    fl1pper 29 мар 2025 1645 10 авг 2020
    используй хром вместо файрфокс в селениуме
     
    1. Посмотреть предыдущие комментарии (1)
    2. gcc_machine
      fl1pper, в чем разница, если используется тот же chromedriver, топик не про это
    3. fl1pper
      gcc_machine, селениум старый как минимум
    4. gcc_machine
      fl1pper, на оптимизацию это не влияет
  6. doublepurpose
    doublepurpose 29 мар 2025 120 27 мар 2025
    ставь асинхронный playwright + ФФ, оптимизируй запуск (headless и т.п.) и будет тебе счастье
     
Top
Загрузка...