Адаптация эмбеддинговых моделей под узкую предметную область методом LoRA: опыт повышения качества семантического поиска в цифровой образовательной среде
Аннотация
статья обобщает практический опыт дообучения эмбеддинговой модели для семантического поиска по учебно-методическим материалам. Показано, почему стандартные поисковые модели неэффективны при работе с профессиональной образовательной лексикой. Описана методика подготовки специализированного датасета из корпоративной базы знаний и процесс низкоранговой адаптации (LoRA) модели T-lite [1]. Приведены конфигурации адаптеров и анализ метрик. Оптимальная конфигурация повышает MRR@10 с 0,35 до 0,53, что критически улучшает контекст для генеративных моделей и снижает уровень галлюцинаций. Сформулированы...
подробнее