Я пытаюсь решить аналогичную проблему
dp_tutorials/Tutorial_3_RU_Fine_tuning_BERT_classifier.ipynb at master · deepmipt/dp_tutorials · GitHub.
(Multi class sentimen classifier), единственное, датасет мой на русском, соответственно я скачал RuBert и поменял некоторые моменты конфига типа пути к датасету, разделитель.
Dataset выглядит вот таким образом:
| content | emotions | |
|---|---|---|
| 0 | Обычная семья: муж - в море, жена - с маленьки… | smile |
| 1 | Я знаком с этой конторой и обхожу ее стороной,… | angry |
| 2 | Нужна мне была квартира надолго(около года) по… | smile |
| 3 | Мой друг: - Не корми мою собаку сыром у неё п… | smile |
| 4 | Твит Маска: «Если жизнь - это компьютерная игр… | smile |
Я все делаю точно также как на туториале но именно когда подгружаю данный датасет + rubert он у меня run out of RAM memory, однако когда использую BERT-base, English, uncased, 12-layer + датасет на английском, все нормально грузится и тренится. Не могу понять в чем может быть проблема. Не могли бы подсказать что я делаю не правильно? Вот код если хотите взглянуть: BERT/Ru_Bert.ipynb at main · MuhammedTech/BERT · GitHub
Спасибо заранее