Загрузка...

Парсер ****** (перезалив)

Тема в разделе Python создана пользователем YOROKOSAMA 12 фев 2025. 127 просмотров

  1. YOROKOSAMA
    YOROKOSAMA Автор темы 12 фев 2025 Собираю на операцию 3100/150000 16 13 май 2023
    Всем привет :colobok_hi:

    Недавно столкнулся с такой проблемой, что нужны ******, причем чем больше - тем лучше, но ничего годного на github найти не смог, в топе находились:
    1. ProxyBroker - вроде классный, но у меня тупо не запускался и вылетал с ошибкой (я не один, в issues решения не нашел)
    2. ProxyHub - который оказался судя по всему копией ProxyBroker (тот же код и та же ошибка)
    3. ProxyScrape - последнее обновление 6 лет назад (не рабочий)
    4. fp (Free-proxy) - задачу свою выполняет, но выдает обычно очень мало ****** (мне максимум попадалось 3-4 штуки без всяких ограничений по типу страны или протокола)

    Все это привело меня к тому, что я решил создать свой проект, с которым и хотел бы поделиться.

    Много здесь рассказывать не буду, все что глубже чем я расскажу находиться на Github.

    Проект получает ****** пока что всего с 3 сайтов:


    В среднем за 1 раз, получилось спарсить 16697 ****** (за время около 4-5 сек), и проверка всех ****** заняла около 3 сек, и получилось 7.6 секунд собрать 432 рабочих ******, из них 41 полностью анонимные (проверка через - https://httpbin.org/ip)

    Код написан на python, и для запросов на получение ****** использует aiohttp (для скорости), так же используются такие библиотеки как tqdm (прогресс бар - logging), bs4, fake_useragent, numpy.
    Всем спасибо за просмотр статьи, жду предложений что еще добавить :duck_like:
    ОРИГ ТЕМА: https://lolz.live/threads/8235374/

     
  2. tishavabe
    tishavabe 12 фев 2025 18 5 сен 2022
    и че это нахуй, зачем копипастить?
     
    1. YOROKOSAMA Автор темы
      tishavabe, я просто конченый еблан
Top
Загрузка...