Дообучение нейросети: fine-tuning без иллюзий
Дообучение — продолжение обучения готовой модели на ваших примерах. Оно меняет стиль, формат и поведение, но не добавляет знаний и не исправляет плохие данные. Половина запросов «дообучить» на деле решается без него.
Три вида дообучения
| Вид | Что обучается | Память | Где запускать |
|---|---|---|---|
| Полное (full fine-tuning) | все веса модели | в разы больше модели | кластер GPU — не для одного человека |
| LoRA | маленькие адаптеры поверх замороженной модели | около размера модели | одна видеокарта 16–24 ГБ |
| QLoRA | адаптеры на модели, сжатой до 4 бит | в 3–4 раза меньше | бесплатная T4 в Colab или Kaggle |
Как проходит дообучение
Датасет
50–1 000+ пар «запрос — идеальный ответ» в JSONL. Разнообразие важнее количества; 200 разных лучше 1 000 одинаковых.
Базовая модель
Открытая (Qwen, Llama, Gemma) под размер видеокарты; для русского — Qwen или Gemma. Или модель OpenAI через API, если он доступен.
Параметры
Ранг LoRA 16–64, learning rate около 2e-4, 1–3 эпохи. Больше эпох — модель заучивает примеры и ломается на новом.
Обучение
20–90 минут на T4 через Unsloth или стандартный стек Hugging Face. Сохраняйте чекпойнты — сессия может оборваться.
Проверка
Одни и те же вопросы до и после на отложенных примерах. «Стало хуже» — нормальный исход первой попытки.
Экспорт
Адаптер LoRA или объединённая модель; GGUF — для запуска в Ollama и LM Studio.
Признаки, что дообучение не нужно
Нужны ваши факты
Это база знаний. Дообученная модель начнёт уверенно придумывать цены и сроки.
Меньше 50 примеров
Инструкция с примерами сработает лучше и бесплатно.
Задача меняется еженедельно
Переобучать дорого; инструкцию можно менять за минуту.
Нужно сегодня
Дообучение — дни: данные, отладка, проверка.
Сколько стоит
На бесплатном GPU Colab или Kaggle — 0 ₽ и несколько часов вашего времени на данные и отладку. В облаке с арендой видеокарты — сотни рублей в час. Через API OpenAI — плата за токены датасета и удорожание каждого запроса к дообученной модели в полтора-три раза; из России кабинет недоступен.
Главная статья — не GPU, а данные: собрать, вычистить, разметить и отложить проверочную часть. Именно эту работу делает агент.
Проверить, нужно ли мне дообучение
Агент спросит, что вы хотите от модели и какие примеры есть, и скажет честно. Если нужно — соберёт датасет и ноутбук.
Поставить задачу →Частые вопросы
Чем LoRA отличается от полного дообучения?
LoRA обучает небольшие добавки к модели вместо всех весов: в десятки раз меньше памяти и времени, результат для стиля и формата сопоставимый.
Можно ли дообучить на русском?
Да, Qwen и Gemma хорошо понимают русский; датасет пишется по-русски.
Дообученная модель будет знать мою компанию?
Нет — она переймёт манеру, а факты возьмёт из базы знаний. Их надо сочетать, а не выбирать.