Загрузка...

Возможно ли работать с селениумом в многопотоке?

Тема в разделе Python создана пользователем Critiquable 28 мар 2025. 153 просмотра

  1. Critiquable
    Critiquable Автор темы 28 мар 2025 Заблокирован(а) 1 15 мар 2025
    Хотелось бы работать хотя бы с 10-15 потоками,но жрет он я как понял не мало,даже когда работает в фоновом режиме. Возможно ли настроить его так,чтобы он работал на таком количестве потоков и чтобы кушал относительно немного
     
  2. nazavod
    nazavod 28 мар 2025 Разработка - https://zelenka.guru/threads/3867068/ 61 7 окт 2020
    Да, использовать запросы
     
    1. Critiquable Автор темы
      nazavod, Сделал ошибку начав на селениуме,понимаю. Назад уже пути нет
  3. ketaminedream
    из очевидного - параметр headless.
    если хедлес не вариант для твоего ресурса - последний год в хроме существует режим энергосбережения понижающий герцовку, тоже можешь испытать.

    сам не работаю с селениумом, посоветовал первое, что в голову пришло.
     
    28 мар 2025 Изменено
    1. Посмотреть предыдущие комментарии (3)
    2. Critiquable Автор темы
      ketaminedream, ну я уже начал и в целом почти закончил на селениуме,не думал что он столько жрать будет,назад пути нет
    3. madjoker787
      Critiquable, я купил зеон 16 ядерный, нормально выдерживает 15 экземпляров браузеров нагруженных
    4. Посмотреть следующие комментарии (3)
  4. gcc_machine
    есть куча настроек по оптимизации процесса работы на selenium, disable gpu, no-sandbox, headless - это самые банальные и общепринятые флаги, можно по гуглить и думаю будет еще с десяток таких, можно еще оптимизировать запросы на загрузку медиа, шрифтов и прочей хуйни - просто банить входящие роуты
     
    1. Critiquable Автор темы
  5. fl1pper
    fl1pper 29 мар 2025 1637 10 авг 2020
    используй хром вместо файрфокс в селениуме
     
    1. Посмотреть предыдущие комментарии (1)
    2. gcc_machine
      fl1pper, в чем разница, если используется тот же chromedriver, топик не про это
    3. fl1pper
      gcc_machine, селениум старый как минимум
    4. gcc_machine
      fl1pper, на оптимизацию это не влияет
  6. doublepurpose
    doublepurpose 29 мар 2025 117 27 мар 2025
    ставь асинхронный playwright + ФФ, оптимизируй запуск (headless и т.п.) и будет тебе счастье
     
Top
Загрузка...