Загрузка...

Bypassing the endless loop of cloudflare protection

Thread in Python created by XIMERA Jan 7, 2025. (bumped Jan 9, 2025) 573 views

  1. XIMERA
    XIMERA Topic starter Jan 7, 2025 Black—White Shop: lolz.live/threads/7822186 209 Aug 1, 2023
    Для быстрого решения реализуйте в вашем коде вот эти команды (которые я предоставил чуть ниже), на самом деле не видел еще решения
    На форумах были решения по типу переустановок и очистки кеша, но это все мимо меня почему то прошло, либо я косячник и что то не туда пихал, либо разработчики cloudflare говно пишут(что кстати очень верятно),
    ну в общем пусть будет, как минимум очень полезно для тех кто занимается парсингом

    модули:
    import selenium
    import undetected_chromedriver
    import random
    from fake_useragent import UserAgent

    Python
    ua = UserAgent()
    random_user_agent = ua.random

    options = uc.ChromeOptions()
    options.add_argument(f"--user-agent={random_user_agent}")
    options.add_argument("--no-sandbox")
    options.add_argument("--disable-dev-shm-usage")
    options.add_argument("--disable-blink-features=AutomationControlled")
    options.add_argument("--disable-extensions")
    options.add_argument("--lang=ru-RU")
    options.add_argument("--incognito")

    ps.: если у вас просто стоит модуль undetected_chromedriver - это не значит что защиту вы обошли, потому что при частом парсинге все равно появится бесконечный цикл, который просто перезапустив браузер - не обойти
    ну и если вы добавите еще смену user agent при обнаружении браузера - будет заебись, только делайте на количество попыток(например: если три раза вылезает защита cloudflare - меняем user agent)
    Можете для полноценного скрытия ещё посетить тему вот этого человека: https://lolz.live/threads/7366846/ (Его способ просто сломал проверку и тем самым проверка на робота не была исполнена должным образом)
    Я проверил - отлично работает, следов не оставляет
    Также не менее важно советую брать ******, если работайте на качество

    Если вы считаете что тема не рабочая - напишите, потому что я возможно реально косячник слепой и когда писал свой код мог где то прое*аться
    всем спасибо :duck_love:
     
    1. Окулист
      XIMERA,
      тут точно undetected_chrome, а не undetected_chromedriver?
  2. sotru
    sotru Jan 7, 2025 мы многих ограбили, чтобы попить чая с ништяками 436 Nov 24, 2017
    еще между запросами с этими модулями можно какой-нить time.sleep(random.uniform(2, 5)) добавить
     
    1. XIMERA Topic starter
      sotru, да, тож можно добавить
  3. lvnlvn
    селениум для слабых, давай разбор js кода и всех нужных запросов для полной эмуляции реального прохождения проверки
     
    1. XIMERA Topic starter
      lvnlvn, ахах, я только дал идею - дорабатывайте :babyyoda:
  4. el9in
    el9in Jan 7, 2025 lolz.live/threads/7387449 — USDT TRC без комиссии
    Ну тут не только Selenium нужен, зачастую при очень быстром Парсинге требуются еще и нормальные ******. Обойдя CF примерно 400к раз, Я понял что есть ****** из за которых CF вообще не проходится.
     
    1. XIMERA Topic starter
      el9in, а тут от user agent зависит, сейчас проверил и генерация нового ua дает плоды, сейчас реализую еще систему, чтобы при CF браузер брал новый ua и продолжал парсинг, работает лучше некуда
      вопрос что на долго ли это потому что хз что за уровни защиты там еще CloudFlare подготовил
    2. XIMERA Topic starter
      el9in, я просто свой айпи насилую сейчас сижу - хз на скок хватит
  5. Nekro3
    Nekro3 Jan 7, 2025 Закажи разработку тут - lolz.live/threads/7578402/
    неплохо, многим пригодится
     
    1. XIMERA Topic starter
  6. Окулист
    Окулист Jan 7, 2025 Мы вас пока лечим 249 Nov 18, 2022
    [IMG]

    Вот эту штуку обойти можно?

    Python
    import time

    import selenium
    import undetected_chromedriver as uc
    import random
    from fake_useragent import UserAgent

    ua = UserAgent()
    random_user_agent = ua.random

    options = uc.ChromeOptions()
    options.add_argument(f"--user-agent={random_user_agent}")
    options.add_argument("--no-sandbox")
    options.add_argument("--disable-dev-shm-usage")
    options.add_argument("--disable-blink-features=AutomationControlled")
    options.add_argument("--disable-extensions")
    options.add_argument("--lang=ru-RU")
    options.add_argument("--incognito")
    options.add_argument("--disable-background-timer-throttling")
    options.add_argument("--disable-backgrounding-occluded-windows")
    options.add_argument("--disable-renderer-backgrounding")

    driver = uc.Chrome(options=options)
    driver.get('https://www.browserscan.net/ru/bot-detection')
    time.sleep(500)
     
    1. XIMERA Topic starter
      Окулист, можно, есть у типа целый разбор по этому, я сам чуть позже чекну, может решение по легче найду
    2. XIMERA Topic starter
      Jan 7, 2025 Edited
Top
Loading...