Правильно ли я понимаю, что токенизация в модели ner_rus_bert и модели morpho_ru_syntagrus_pymorphy_lemmatize делается по-разному? Хотелось вынимать сущности из ner и приводить их в нормальную форму с помощью morpho, но все индексы едут из-за слов с дефисами и еще кое-каких мелочей. Есть ли возможность привести их к общему знаменателю?
(ner_rus_bert потрясающе работает, спасибо!)