На дворе 2025 и не удивишь никого способностями машинного обучения, искусственным интеллектом и нейросетями. С их помощью начиная от простых пользователей до ученых достигают все новых и новых знаний о нашем мире, они помогают совершенствоваться в своей деятельности и решают сложные задачи. Это все конечно хорошо, но, важно помнить одно, ваши запросы, промты в облачных моделях, которые вы используете на сайтах, могут быть скомпрометированы злоумышленниками, как это было с DeepSeek, когда в сеть утекли личные данные пользователей и эти данные активно могут быть использованы против вас по ту сторону интернета. Поэтому, сегодня мы будем говорить о защищенности/конфидециальности ваших запросов, а именно, будем разворачивать подобные модели у себя локально. Локальная модель позволит вам забыть об утечках ваших запросов, ведь никто, кроме вас ей не владеет и также. Первым делом, нам нужно зайти на сайт https://lmstudio.ai/ и скачиваем ПО Сайт и скачивание Кто-то использует Python для этого, кто-то JS, мы же пойдем простым путем и скачаем установочный файл. Запускаем оболочку Важно помнить, что, для запуска модели, требуются мощности графического вычисления (GPU/видеокарта), у меня мак, а это значит, что, для запуска мне потребуется лишь ОЗУ. Выбор модели у нас под четвертым пунктом и там же происходит загрузка модели. Выбор модели Программа сама вам будет подсказывать какая модель у вас будет корректно работать, а какой лучше пренебречь. Опции Префикс GGUF означает, что, данная модель сжата путем квантизирования. Это как с книгой, вот у вас есть большая книга и вам лень ее полностью читать, вместо этого вы выписываете самое необходимое. Битность квантования Если использовать базовое квантование моделей Q4, то, вы особо не заметите разницы в выдаче ответов, а вес и использование мощностей заметно ниже. Вам также будут встречаться префикс MLX - это специальная модель для запуска на устройствах Apple (M series), но GGUF на маке тоже можно запустить. Скачиваем модель и запускаем. Запуск модели После запуска можно уже вводить ваши запросы, внизу отображается ваше потребление. Остановить модель - жмем Eject. Ресурсы и ввод Удаление.
Проверьте кто-то на хуйню пеже, мне впадлу, если нормально, поставлю себе и буду всякие непотребности делать там же можно задавать правила и цензуру?
PersonOfInterest, так а сейчас же есть ИИ-агенты аля помощники, которые работает с жирой, конфлюенсом, гитом и уходят в ИДЕ. Как-то даже тест проводили, заменили работника моделями, которые выполняют его работу, тест показал 24% эффективности
beginner13, запускать более полные версии, они поддерживают большое количество токенов и отключать думающую версию
SDN, Так ты читал сам? (без наезда), никогда ничего не утекло. Wiz Research протестили сайт и нашли эту ебать тупую уязвимость, сообщили в дипсик и они пофиксили. Дальше виз ресерча данные не продвинулись
Lyvironix, то, что они нашли и переданные данные об уязвимости, не значит, что, этим никто не воспользовался, тем более, что БД была в открытом доступе, достаточно зайти по ту сторону интернета и я более чем уверен, что, эти данные там есть. Когда ты выводишь сайт, машину в сеть интернет с белой адресацией, она автоматически подвергается ****форсу или сканером портов, достаточно посмотреть **** и сам поймешь об этом, тут тоже самое и это как минимум план действий, который я расписал.
Lyvironix, Что ты вообще несешь , твое сообщение к цитате никак не относится. Я говорил, что, q4 можно запустить, так как вес модели 4-5 гб, что позволяет запустить рядовому пользователю