Есть люди кто пробовал делать свои нейронки или кто пробовал обучать нейронку для своих целей, просветите нас в этом деле, насколько это сложно и мб гайды какие-то есть? Теперь для простого народа Есть люди кто пробовал делать свои нейронки или кто пробовал обучать нейронку для своих целей, просветите нас в этом деле, насколько это сложно и мб гайды какие-то есть?
los_santos, можно все, но нужно писать фильтры. ИИ могут давать черные ответы(прим. Взлом гпт через промт и получение рецепта наркоты)
Я обучал LoRA на LLM. Если сказать по мегапростому, для незнающих, то я свой маленький датасет натягивал на большую модель. LLM создается так же, только без натягиваний, собирается ОГРОМНЫЙ датасет, потом обучается, долго обучается, нужно мощное железо под такие задачи. И огромный датасет, я вот тренил когда лору, 2 тыщи строк датасета диалогов собрал, вообще никакого влияния на модель не было, т.к модель была большая. Короче, тебе нужно датасет тысяч 30-50 строчек минимум (и то это будет очень тупенькая модель), а гайды в инете найдешь конкретные по обучению, или GPT спроси. (это человеческий ответ) ==== Я обучал LoRA на LLM. Если объяснить совсем просто, то это процесс, когда ты берешь уже обученную большую модель и добавляешь свои данные, чтобы она подстроилась под твою задачу. В случае LoRA я использовал маленький датасет (2 тысячи строк диалогов), но большого эффекта не получил, потому что модель сама по себе была слишком крупной. Если говорить о создании полной LLM с нуля, то это совсем другая история. Тут нужен огромный датасет (десятки или сотни миллионов строк) и мощное железо, например, несколько GPU уровня A100. Даже для минимального результата тебе понадобится хотя бы 30-50 тысяч строк данных, но такая модель будет очень простой. Лучше начать с дообучения (fine-tuning) уже готовых моделей, а конкретные гайды можешь найти в интернете или спросить у GPT — он подскажет. (это нейронка дополнила ответ мой, попросил украсить)