АДАПТАЦИЯ БОЛЬШИХ ДАННЫХ ДЛЯ ЛОКАЛЬНЫХ ИНФОРМАЦИОННЫХ ЯЗЫКОВЫХ МОДЕЛЕЙ: РАЗРАБОТКА ЧАТ-БОТ СИСТЕМЫ BIGTOR
DOI:
https://doi.org/10.56525/w3bwhp04Ключевые слова:
Большие языковые модели, Fine-tuning (тонкая настройка), синтетические данные, специализированные чат-боты, сохранение культурного наследияАннотация
В данной статье представлена разработка специализированного чат-бота BigTor, предназначенного для устранения культурных, административных и социальных информационных пробелов в Азербайджане. Для преодоления ограничений моделей общего назначения в условиях низкоресурсных языков в качестве базовой архитектуры была выбрана модель DeepSeek-R1-Distill-Llama-8B. Система была дообучена с использованием высококачественного синтетического набора данных и методов Parameter-Efficient Fine-Tuning. В процессе обучения применялись адаптация LoRA, 4-битная квантизация и точность bfloat16 для обеспечения вычислительной эффективности. Экспериментальные результаты показали, что модель BigTorV1 достигла точности 92% в области национальной музыки, значительно превзойдя базовую модель.
