ИИ прямо в вашем терминале (huggingface)

Приветик гость!

сегодня хотел бы поделиться кодом, как использовать ИИ прямо в вашем терминале с помощью API huggingface

1. Итак, все просто, надо зарегистрироваться на сайте huggingface, после чего зайти в настроки и получить апи ключ
2. Надо установить библиотеку huggingface, знатоки знают как это делать, но для новичков напишу

pip install huggingface

Код

pip install huggingface

После чего создаем файл с рандом названием, вставляем туда мой код, и пишем в поле HF_TOKEN свой токен от хаггингфейса

Запускаем и готово!

сам код

from huggingface_hub import InferenceClient

HF_TOKEN = "сюдатвойтокен"
client = InferenceClient(provider="together", api_key=HF_TOKEN)

context = []

def print_colored(text, color_code):
print(f"\033[{color_code}m{text}\033[0m")

def chat_with_model():
global context
print_colored("\nДобро пожаловать в чат с моделью! Для выхода введите 'выход' или 'exit', для очистки контекста используйте 'clearc'.", 32)

while True:
prompt = input("\033[34mВведите запрос: \033[0m").strip()

if prompt.lower() in ['выход', 'exit']:
print_colored("bye bye!", 31)
break

if prompt.lower() == "clearc":
context = []
print_colored("Контекст очищен!", 33)
continue

context.append({"role": "user", "content": prompt})

completion = client.chat.completions.create(
model="meta-llama/Llama-3.3-70B-Instruct",
messages=context,
max_tokens=1024,
)

response = completion.choices[0].message['content']
context.append({"role": "assistant", "content": response})
print_colored(f"{response}", 33)

if __name__ == "__main__":
chat_with_model()

Python

from huggingface_hub import InferenceClient



HF_TOKEN = "сюдатвойтокен"

client = InferenceClient(provider="together", api_key=HF_TOKEN)



context = []



def print_colored(text, color_code):

    print(f"\033[{color_code}m{text}\033[0m")



def chat_with_model():

    global context

    print_colored("\nДобро пожаловать в чат с моделью! Для выхода введите 'выход' или 'exit', для очистки контекста используйте 'clearc'.", 32)

 

    while True:

        prompt = input("\033[34mВведите запрос: \033[0m").strip()

    

        if prompt.lower() in ['выход', 'exit']:

            print_colored("bye bye!", 31)

            break

    

        if prompt.lower() == "clearc":

            context = []

            print_colored("Контекст очищен!", 33)

            continue

    

        context.append({"role": "user", "content": prompt})

    

        completion = client.chat.completions.create(

            model="meta-llama/Llama-3.3-70B-Instruct",

            messages=context,

            max_tokens=1024,

        )



        response = completion.choices[0].message['content']

        context.append({"role": "assistant", "content": response})

        print_colored(f"{response}", 33)



if __name__ == "__main__":

    chat_with_model()

Вообще я на контрольной по матеше написал этот скрипт за минут пять и сдал ее на отлично с помощью этой штуки, но изначально там стояла модель ДипСика, которая генерировала ответ 10 сек, уже дома я поставил лламу, которая намного круче и генерирует ответы быстро

Причимание: при бесплатном плане доступно только 20 запросов в неделю, поэтому надо ставить ИИ или локально или куплять подписку хаггингфейса

И да, я все таки частично перестал осуждать нейросети, если юзать их в нормальных целях, а не генерировать говно код и скидывать мне на исправление)))

скрин(старая версия немного с другим кодом и дипсиком)