Загрузка...

Скрипт QIYANAChat | Помощник написания кодов | Разворачивание модели с huggingface без мам, пап и кредитов

Тема в разделе Python создана пользователем Киана 16 ноя 2024. (поднята 30 дек 2024) 1970 просмотров

  1. Киана
    Киана Автор темы 16 ноя 2024 Реклама от Кианы - lolz.live/threads/7756293/
    [IMG]

    Привет. Частенько вижу что люди ищут аналог чата гпт и тд и тп.
    Ну а чем мы хуже, если можем развернуть локальную модель для написания кода? Ну я и взялся, помогу другим и прокачаю навыки.


    Вот создал красивое GUI.
    Модель Qwen 0.5B. Базовая модель для начала программирования.

    (Ну она еще и ест мало ресурсов для поддержки)

    [IMG]
    [IMG]
    Локальное выполнение
    Поддержка GPU
    Оптимизированная обработка запросов
    Логирование операций
    Отправляем запрос и ждем, пока ответит.
    [IMG]
    [IMG]
    [IMG][IMG][IMG]
    [IMG]
    https://github.com/qiyanaitsme/QIYANASCHAT/
    python -m venv venv
    .\venv\Scripts\activate
    pip install -r requirements.txt​
     
    16 ноя 2024 Изменено
    1. Посмотреть предыдущие комментарии (1)
    2. Киана Автор темы
  2. ToSa
    ToSa 16 ноя 2024 гость, боже, храни кьют-рок. :beer::beer::beer: 24 040 18 дек 2021
    теперь не только с настоящей, но и с виртуальной киянкой помощником общаться можно, главное чтоб не говнокодила
     
    1. Киана Автор темы
      ToSa, на 14B можно скачать модель. Там люто создает. А 0,5 чисто для начала. Плюс все легко менять в config.py просто изменив название
  3. MALWARE
    MALWARE 16 ноя 2024 мяукаю 12 042 12 мар 2021
    это конечно очень круто, но неудобно использовать в терминале. сделай пожалуйста его в виде апи, чтобы можно было использовать в интерфейсах, во всяких LobeChat, BetterChatGPT, тогда будет вообще имба
     
    16 ноя 2024 Изменено
    1. Посмотреть предыдущие комментарии (6)
    2. Киана Автор темы
      MALWARE, почти 0. Как тот же SpiderGPT и DarkWorm
    3. MALWARE
      Киана, в чём заключается "почти"? поддерживает ли она изображения, файлы?
      16 ноя 2024 Изменено
    4. Киана Автор темы
      MALWARE, костыльно обходить с учетом напиши мне код такой, а потом надо уже свое пожелание выдавать
  4. September
    September 16 ноя 2024 :thomas: 11 823 16 мар 2023
    :thomas:Не думал, что буду использовать QIYANAChat вместо ChatGPT... Куда-то картинка с двумя девушками пропала.
     
    1. Киана Автор темы
      September, я бы обозвал qiyanagpt
    2. September
    3. Киана Автор темы
  5. akkaunt310
    akkaunt310 16 ноя 2024 15 25 янв 2024
    Нихуя
    Круто :2011_like:
     
  6. antifront_inactive716913
    интересно время ответа такого ии на реальной машине на сколько быстро отвечает?
     
    1. Киана Автор темы
      antifront_inactive716913, большой вопрос - долго ждать. все зависит от видеокарты.
    2. antifront_inactive716913
      Киана, уже написал на его основе телеграм бота , коротко о его работе короткие сообщения обрабатывает практически мгновенно на большие около минуты у вас в коде ошибка и модель загружается в кеш от того его работа замедлена если переделать код и загружать модель и локального хранилища то скорость его работы возрастает
      16 ноя 2024 Изменено
    3. Киана Автор темы
      antifront_inactive716913, так не я обучал )). Она лежит на huggingface уже обученная и можно качать другие модели
  7. antifront_inactive716913
    [IMG]
    --- Сообщение объединено с предыдущим 16 ноя 2024
    в общем рабочая тема не ясно как обучается данная модель чтоб бот был обучаем на основе диалога с ним так бы и обучение в код прилепил бы , если есть об этом информация дайте знать, а так только контекст могу прилепить не более, поигравшись еще с этой моделью понял одно она слабая очень а ресурсов жрет как не в себя переделал код под gemma 2 2b жрет меньше и дает более развернутые ответы, спасибо вам за толчок а то всегда хотелось попробовать сделать но было лень делать ))))))
     
    16 ноя 2024 Изменено
    1. Киана Автор темы
  8. nikitaromp
    nikitaromp 7 дек 2024 Читай правила и все будет хорошо :cat_eat: 103 18 апр 2023
    А там есть ограничения как в чат гпт который на «некоторые вопросы» не отвечает?
     
    1. Киана Автор темы
      nikitaromp, на момент 7.12.2024 нету такого пока.
    2. nikitaromp
    3. Посмотреть следующие комментарии (1)
  9. детектив
    детектив 21 дек 2024 elvis has left the building 278 19 ноя 2019
    в виде телеграм бота сделай
     
  10. LunarMoon
    LunarMoon 29 дек 2024 Заблокирован(а) 261 7 окт 2024
    [IMG]

    какая то она конченная хз
     
    29 дек 2024 Изменено
Top
Загрузка...