Привет! я использую deeppavlov.models.bert.bert_classifier.BertClassifierModel для задачи многоклассовой классификаци.
Возможно ли не углубляясь в код верхнеуровнево понять как именно происходит мультилейбл предикт? Ну то есть правильно ли я понимаю, что после собственно берта идут еще линейные слои (кол-во равно кол-ву комбинаций различных классов), которые в итоге проходят через функцию активации и в итоге получаем предикт или все по-другому?
Спасибо!
Добрый день!
Мультилейбл отличается функцией активации, которая накладывается на последний слой.
Не углубляясь, можно сказать, что при просто многоклассовой классификации сумма вероятностей распределения по всем классам равна строго 1. То есть пример должен относиться строго к одному классу из заданных.
При многолейбловой классификации пример может относиться к одному, нескольким или вообще ни одному классу из заданных. Поэтому сумма вероятностей распределения по классам может быть любой от 0 и до 1 * количество классов.
В случае когда я использую BertClassifierModel(multilabel = True) сумма вероятностей строго равна 1 или от 0 до N (кол-во классов)? И какая функция активации в том случае используется?
сумма вероятностей будет от 0 до N, где N заданное вами количество классов.
sigmoid