Добрый день! Хотелось бы узнать можно ли как-нибудь решить задачу с пропуском слов (Masked Language Model) используя возможности библиотеки и модель RuBert? Суть задачи такова: обучиться на своем наборе специфических русскоязычных текстов. И затем получить метрики: насколько точно она справилась с распознаванием пропущенных (mask) слов.
Еще насколько я понял у transformer есть класс “BertForMaskedLM”, который потенциально может помочь в решении задачи.
Заранее спасибо за ответ
Добрый день!
В библиотеке DeepPavlov нет функционала предобучения модели BERT на задаче MLM.
Для того, чтобы обучить RuBERT мы использовали официальный код от Google Research с изменениями для multi-gpu обучения https://github.com/deepmipt/bert
Этот код логгирует метрики на задаче MLM и NextSentencePrediction.
Второй вариант: использовать BertForMaskedLM из Transformers и подгружать в него веса модели RuBERT.