Разворачиваем нейросеть локально/у себя на машине. LLM Local

На дворе 2025 и не удивишь никого способностями машинного обучения, искусственным интеллектом и нейросетями. С их помощью начиная от простых пользователей до ученых достигают все новых и новых знаний о нашем мире, они помогают совершенствоваться в своей деятельности и решают сложные задачи.
Это все конечно хорошо, но, важно помнить одно, ваши запросы, промты в облачных моделях, которые вы используете на сайтах, могут быть скомпрометированы злоумышленниками, как это было с DeepSeek, когда в сеть утекли личные данные пользователей и эти данные активно могут быть использованы против вас по ту сторону интернета.
Поэтому, сегодня мы будем говорить о защищенности/конфидециальности ваших запросов, а именно, будем разворачивать подобные модели у себя локально. Локальная модель позволит вам забыть об утечках ваших запросов, ведь никто, кроме вас ей не владеет и также.

Первым делом, нам нужно зайти на сайт https://lmstudio.ai/ и скачиваем ПО

Сайт и скачивание

Кто-то использует Python для этого, кто-то JS, мы же пойдем простым путем и скачаем установочный файл.

Запускаем оболочку

Важно помнить, что, для запуска модели, требуются мощности графического вычисления (GPU/видеокарта), у меня мак, а это значит, что, для запуска мне потребуется лишь ОЗУ.
Выбор модели у нас под четвертым пунктом и там же происходит загрузка модели.

Выбор модели

Программа сама вам будет подсказывать какая модель у вас будет корректно работать, а какой лучше пренебречь.

Опции

Префикс GGUF означает, что, данная модель сжата путем квантизирования. Это как с книгой, вот у вас есть большая книга и вам лень ее полностью читать, вместо этого вы выписываете самое необходимое.

Битность квантования

Если использовать базовое квантование моделей Q4, то, вы особо не заметите разницы в выдаче ответов, а вес и использование мощностей заметно ниже.
Вам также будут встречаться префикс MLX - это специальная модель для запуска на устройствах Apple (M series), но GGUF на маке тоже можно запустить.
Скачиваем модель и запускаем.

Запуск модели

После запуска можно уже вводить ваши запросы, внизу отображается ваше потребление. Остановить модель - жмем Eject.

Ресурсы и ввод

Удаление.