Загрузка...

Обход кэширования сайта для парсинга информации (заголовки и тд)

Тема в разделе Frontend создана пользователем antick2 14 ноя 2024. 285 просмотров

  1. antick2
    antick2 Автор темы 14 ноя 2024 0 23 авг 2018
    Интересуют возможности обхода кэширования и ускорения получения данных с сайта, новостей за считаную секунду без задержек, кто разбирается и может подсказать? Если что выдам больше инфы, что и как.
     
  2. Апатия
    Апатия 14 ноя 2024 444 1208 15 июн 2021
    headers = {'Cache-Control': 'no-cache', 'Pragma': 'no-cache'}
    А скорость все равно будет зависеть от сервера, ты не заставишь его никак давать информацию быстрее чем он способен, разве что использовать api
     
    1. antick2 Автор темы
      Апатия, api binance или upbit вроде не позволяется заниматься такими вещами)
    2. Kirill0671
      Апатия, речь идёт про то, что когда открываешь сайт или делаешь запрос на него, в заголовках ответа есть такие вещи:
      date и
      x-cache-date:
      Хочется сделать так, чтобы делая запрос к сайту, получать супер свежую информацию, а не кешированную CDN(ом) или самим ****** сервером

      Или другой вариант, заголовок тоже есть
      cf-cache-status:
      По нему хочется всегда получать REVALIDATED
      а не HIT с Age 4
    3. Апатия
      antick2, а, ну новости вряд ли по api они отдадут, но вот ускорить чуть можно попробовать сжатием ответа, если сайт такое поддерживает
      Accept-Encoding: gzip, deflate
      ну и не закрывать соединение
      Connection: keep-alive
      хоть не сильно но чуть может дать скорости
    4. Посмотреть следующие комментарии (6)
Загрузка...
Top