Всем привет, вопрос для тех кто работал с большими объемами данных. 1) Как лучше хранить данные на время получения всей информации. 2) Как быстро получать нужную информацию (+- 12000 уникальных строк) 3) Как обходить методы защиты сайта (блок по ip при 5 и больше запросов в секунду) 4) Куда сохранять полученную информацию. Буду очень благодарен, если будет ответ хотя бы на один из вопросов
3- подкрутить прокски 4. в txt писать (как простой вариант) 2. async/awair Tasks+ Baground worker 1. писать через StreamWriter, тк более функциональный.