Semantic Sentence Similarity

DeepPavlov Library Models
1

Занимался задачей semantic sentence similarity и решил попробовать решение от DeepPavlov.
Возникли следующие вопросы:

  1. Есть ли более очевидный туториал, где поэтапно(или подробнее) описано дообучение предобученной модели на своих данных. Просто из доков не совсем очевидно. А также тюн модели
  2. В доках пишется, что Вы используете сиамские сети для данной задачи, а есть ли где-нибудь информация о самой архитектуре модели (слои и прочее). Возможно в гите не достаточно хорошо посмотрел
  3. Модель для пары фраз выдает в конечном итоге предложение: “это пара” или “это не пара” на англ.яз. Есть ли возможность выдавать что-то типа вероятности [0,1]?
  4. Получилось ли у вас решить проблему с отрицаниями? Например, если сравнивать 2 предложения “я хочу торт” и “я не хочу торт”, то результат - “это не пара”. Просто, я пробовал предобученную модель на датасете от paraphraser.ru/download/ и если на их тестовом датасете прогонять, то все хорошо, но если в их тестовом датасете подать пары фраз по их тематике, но структура: “я хочу торт” и “я НЕ хочу торт”, то он не определяет, что это не пара. Возможно я что-то не так делаю.

Спасибо!

1 Like
2

Добрый день!

  1. Туториал по этим моделям сейчас есть в единственном числе http://docs.deeppavlov.ai/en/master/features/models/neural_ranking.html. Сообщите, пожалуйста, что осталось неясным?
  2. Информация о самих моделях есть в виде ссылок на статьи об этих архитектурах http://docs.deeppavlov.ai/en/master/features/overview.html#ranking-model-docs.
  3. Сейчас такой возможности нет, но она будет добавлена в будущем.
  4. Нет, пока эту проблему с помощью нейросетей не умеют решать.