АДАПТАЦИЯ БОЛЬШИХ ДАННЫХ ДЛЯ ЛОКАЛЬНЫХ ИНФОРМАЦИОННЫХ ЯЗЫКОВЫХ МОДЕЛЕЙ: РАЗРАБОТКА ЧАТ-БОТ СИСТЕМЫ BIGTOR

Аңдатпа

Бұл мақалада Әзербайжандағы мәдени, әкімшілік және әлеуметтік ақпараттық олқылықтарды шешуге арналған BigTor атты арнайы чат-бот жүйесінің әзірленуі ұсынылады. Төмен ресурсты тілдердегі жалпы мақсаттағы модельдердің шектеулерін еңсеру үшін негізгі архитектура ретінде DeepSeek-R1-Distill-Llama-8B моделі таңдалды. Жүйе жоғары сапалы синтетикалық деректер жиынтығы мен Parameter-Efficient Fine-Tuning әдістерін қолдану арқылы бейімдеп оқытылды. Оқыту процесінде есептеу тиімділігін қамтамасыз ету мақсатында LoRA адаптациясы, 4-биттік кванттау және bfloat16 дәлдігі пайдаланылды. Эксперименттік нәтижелер BigTorV1 моделінің ұлттық музыка саласында 92 пайыз дәлдікке қол жеткізгенін және базалық модельден едәуір жоғары нәтиже көрсеткенін дәлелдеді.