Малая языковая модель

Малая языковая модель (МЯМ; англ. Small Language Model, SLM) — нейронная языковая модель, созданная для обработки, понимания и генерации естественного языка. Главное её отличие от большой языковой модели (БЯМ, LLM) состоит в меньшем количестве параметров и более узкой сфере применения.^[1]

Малыми называют языковые модели с количеством параметров в диапазоне от нескольких миллионов до десятков миллиардов, в то время как для больших языковых моделей характерно иметь несколько сотен миллиардов параметров.^[2] Такое сравнительно небольшое количество параметров позволяет быстрее и проще обучать их, а также запускать модели на пользовательских устройствах: компьютерах, ноутбуках и т. д.

Малые языковые модели обучаются с использованием как традиционных подходов, применяемых для больших языковых моделей, так и специализированных техник, направленных на достижение высокой производительности при меньшем размере модели.^[1]

• Дистилляция знаний (knowledge distillation)^[англ.] — это способ обучения в первую очередь нейросетевых моделей машинного обучения, направленный на передачу знаний от модели-учителя к модели-ученику.^[3]
• Квантование (Quantization) — метод сжатия модели, который преобразует веса и активации в LLM путем уменьшения битности вычислений.^[4]
• Обрезка (Pruning)^[англ.] — практика удаления параметров из существующей искусственной нейронной сети.
• Дообучение (Fine-tuning) — практика модификации существующей предварительно обученной языковой модели путём её обучения конкретной задаче (например, анализ настроений).