Google выпустили Gemma 3n — первую компактную модель с >1300 баллов на LMArena

Фотографии

​

Google официально выкатили финальную версию Gemma 3n — и это, возможно, самая интересная модель среди компактных open-source LLM. Вот почему:

Первая модель <10B параметров, набравшая >1300 баллов на LMArena
Полностью on-device — можно запускать локально
Поддержка текста, изображений, аудио и видео
Варианты: Gemma 3n-E2B и E4B
E = effective: архитектура позволяет запускать E4B, как если бы это была обычная 2B модель
На E2B хватит всего 2ГБ оперативки

В основе лежит MatFormer — «матрёшечный трансформер».
Суть: внутри одной большой модели спрятаны более компактные версии. Пока динамическое переключение между ними не реализовано, но можно вручную извлечь модель под свой девайс.
​