Загрузка...

How to read a large database correctly?

Thread in Python created by V0tson Dec 29, 2024. 185 views

Sort
  1. V0tson
    V0tson Topic starter Dec 29, 2024 https://lolz.live/threads/7685889/ <= CODE 784 Sep 20, 2022
    Как правильнее будет читать большую базу строк?
    Строк более 5 миллионов, они в txt файле, как я понимаю, нужно обязательно в sql перенести.
    Как лучше запросы строить к ней и в целом работать? python
    Заранее спасибо, да хороший ответ, накину чут чут на лолз)
     
    Dec 29, 2024
    1. Локет
      V0tson, бля ну попроси гпт тебе на с или ++ сделать залупу эту, по хуйне же задача
      Dec 29, 2024
  2. el9in
    el9in Dec 29, 2024 lolz.live/threads/7387449 — USDT TRC без комиссии
    Разбить базу на несколько файлов самый очевидный вариант.
     
    Dec 29, 2024
    1. View previous comments (3)
    2. 005
      el9in, на моем любимом php откроется все , если я выделю больше памяти
      Dec 29, 2024
    3. el9in
      005, компьютер сгорит если на php открыть)
      Dec 29, 2024
    4. 005
      el9in, пруфы или нуб
      Dec 29, 2024
    5. View the next comments (3)
  3. derkown
    derkown Dec 29, 2024 https://lolz.live/threads/7694027/ 8621 Apr 27, 2021
    with open("base.txt") as file:
    for line in file:
    print(line)
     
    Dec 29, 2024
    1. derkown
      Dec 29, 2024
    2. КонфеточныйБум
      derkown, выдаст ошибку(5кк строк выйдет за рамки)Базу нужно разбить на более мелкие и если нужно все соединить то потом через математические выражния выполнить и вывести если это не обходимо.
      Jan 2, 2025
  4. противоположник
    противоположник Dec 29, 2024
    для начала sqlite, потом postgresql/mysql для больших данных.

    ⁡
    ⁡executemany
    ⁡ юзаешь для массовой вставки строк из файла

    ну и для запросов, создаешь индексы для ускорения поиска
     
    Dec 29, 2024
Top
Loading...