Тонкая настройка Qwen 14B для автозаполнения в Discord

Разработчик поделился своим опытом о том, как он настроил модель Qwen 14B для работы в качестве инструмента автозаполнения, используя свои сообщения из Discord. Эта настройка напоминает инструменты вроде GitHub Copilot, где предложения появляются по мере ввода.

Разработчик использовал примерно 250 бесед, полученных из Discord с помощью инструмента для парсинга, в качестве своего набора данных. Каждая беседа была отформатирована как обучающие образцы chat-ml, с особым акцентом на сообщения, в которых пользователь что-то сказал последним, без кодовых блоков или ссылок. Этот выбор указывает на акцент на разговорном тоне, а не на техническом содержании.

Модель Qwen 14B была настроена с использованием платформы unsloth.ai и QLoRA на GPU Kaggle, при этом весь процесс обучения занял примерно 15 минут из-за небольшого размера набора данных. Затем они объединили настроенную модель в формат .gguf для локального использования через ollama.com.

Интерфейс этого инструмента автозаполнения реализован как расширение для Chrome. Он захватывает последние несколько сообщений и текущий ввод пользователя, чтобы создать подсказку chat-ml с соответствующим контекстом, которая затем используется для генерации завершения на основе модели, предоставленной Ollama. Умный символ Юникода нулевой ширины используется для указания начала предложения, в то время как нажатие shift+tab примет предложение.

Текущая настройка функционирует в Discord, с потенциальными будущими расширениями для поддержки других сайтов. Разработчик также предлагает поэкспериментировать с разными размерами моделей, так как текущая модель 14B практически максимально использует доступную память. Они предполагают, что модели 4B или 8B могут быть жизнеспособными альтернативами, хотя могут столкнуться с потенциальными ограничениями данных.

Исходный код и дополнительные детали доступны на GitHub разработчика по адресу github.com/b44ken/finetune.