Загрузка...

Скрипт QIYANAChat | Помощник написания кодов | Разворачивание модели с huggingface без мам, пап и кредитов

Тема в разделе Python создана пользователем Киана 16 ноя 2024. (поднята 30 дек 2024) 1969 просмотров

  1. Киана
    Киана Автор темы 16 ноя 2024 Реклама от Кианы - lolz.live/threads/7756293/
    [IMG]

    Привет. Частенько вижу что люди ищут аналог чата гпт и тд и тп.
    Ну а чем мы хуже, если можем развернуть локальную модель для написания кода? Ну я и взялся, помогу другим и прокачаю навыки.


    Вот создал красивое GUI.
    Модель Qwen 0.5B. Базовая модель для начала программирования.

    (Ну она еще и ест мало ресурсов для поддержки)

    [IMG]
    [IMG]
    Локальное выполнение
    Поддержка GPU
    Оптимизированная обработка запросов
    Логирование операций
    Отправляем запрос и ждем, пока ответит.
    [IMG]
    [IMG]
    [IMG][IMG][IMG]
    [IMG]
    https://github.com/qiyanaitsme/QIYANASCHAT/
    python -m venv venv
    .\venv\Scripts\activate
    pip install -r requirements.txt​
     
    16 ноя 2024 Изменено
    1. Посмотреть предыдущие комментарии (1)
    2. Киана Автор темы
  2. ToSa
    ToSa 16 ноя 2024 гость, боже, храни кьют-рок. :beer::beer::beer: 24 040 18 дек 2021
    теперь не только с настоящей, но и с виртуальной киянкой помощником общаться можно, главное чтоб не говнокодила
     
    1. Киана Автор темы
      ToSa, на 14B можно скачать модель. Там люто создает. А 0,5 чисто для начала. Плюс все легко менять в config.py просто изменив название
  3. MALWARE
    MALWARE 16 ноя 2024 мяукаю 12 042 12 мар 2021
    это конечно очень круто, но неудобно использовать в терминале. сделай пожалуйста его в виде апи, чтобы можно было использовать в интерфейсах, во всяких LobeChat, BetterChatGPT, тогда будет вообще имба
     
    16 ноя 2024 Изменено
    1. Посмотреть предыдущие комментарии (7)
    2. MALWARE
      Киана, в чём заключается "почти"? поддерживает ли она изображения, файлы?
      16 ноя 2024 Изменено
    3. Киана Автор темы
      MALWARE, костыльно обходить с учетом напиши мне код такой, а потом надо уже свое пожелание выдавать
  4. September
    September 16 ноя 2024 :thomas: 11 823 16 мар 2023
    :thomas:Не думал, что буду использовать QIYANAChat вместо ChatGPT... Куда-то картинка с двумя девушками пропала.
     
    1. Киана Автор темы
      September, я бы обозвал qiyanagpt
    2. September
    3. Киана Автор темы
  5. akkaunt310
    akkaunt310 16 ноя 2024 15 25 янв 2024
    Нихуя
    Круто :2011_like:
     
  6. antifront_inactive716913
    интересно время ответа такого ии на реальной машине на сколько быстро отвечает?
     
    1. Киана Автор темы
      antifront_inactive716913, большой вопрос - долго ждать. все зависит от видеокарты.
    2. antifront_inactive716913
      Киана, уже написал на его основе телеграм бота , коротко о его работе короткие сообщения обрабатывает практически мгновенно на большие около минуты у вас в коде ошибка и модель загружается в кеш от того его работа замедлена если переделать код и загружать модель и локального хранилища то скорость его работы возрастает
      16 ноя 2024 Изменено
    3. Киана Автор темы
      antifront_inactive716913, так не я обучал )). Она лежит на huggingface уже обученная и можно качать другие модели
  7. antifront_inactive716913
    [IMG]
    --- Сообщение объединено с предыдущим 16 ноя 2024
    в общем рабочая тема не ясно как обучается данная модель чтоб бот был обучаем на основе диалога с ним так бы и обучение в код прилепил бы , если есть об этом информация дайте знать, а так только контекст могу прилепить не более, поигравшись еще с этой моделью понял одно она слабая очень а ресурсов жрет как не в себя переделал код под gemma 2 2b жрет меньше и дает более развернутые ответы, спасибо вам за толчок а то всегда хотелось попробовать сделать но было лень делать ))))))
     
    16 ноя 2024 Изменено
    1. Киана Автор темы
  8. nikitaromp
    nikitaromp 7 дек 2024 Читай правила и все будет хорошо :cat_eat: 103 18 апр 2023
    А там есть ограничения как в чат гпт который на «некоторые вопросы» не отвечает?
     
    1. Киана Автор темы
      nikitaromp, на момент 7.12.2024 нету такого пока.
    2. nikitaromp
    3. nikitaromp
      Киана, если че я про цензуру
  9. детектив
    детектив 21 дек 2024 elvis has left the building 278 19 ноя 2019
    в виде телеграм бота сделай
     
  10. LunarMoon
    LunarMoon 29 дек 2024 Заблокирован(а) 261 7 окт 2024
    [IMG]

    какая то она конченная хз
     
    29 дек 2024 Изменено
Top
Загрузка...