Как правильнее будет читать большую базу строк? Строк более 5 миллионов, они в txt файле, как я понимаю, нужно обязательно в sql перенести. Как лучше запросы строить к ней и в целом работать? python Заранее спасибо, да хороший ответ, накину чут чут на лолз)
derkown, https://stackoverflow.com/questions/6475328/how-can-i-read-large-text-files-line-by-line-without-loading-them-into-memory
derkown, выдаст ошибку(5кк строк выйдет за рамки)Базу нужно разбить на более мелкие и если нужно все соединить то потом через математические выражния выполнить и вывести если это не обходимо.
для начала sqlite, потом postgresql/mysql для больших данных. executemany юзаешь для массовой вставки строк из файла ну и для запросов, создаешь индексы для ускорения поиска