Возможности архитектуры "Goal-oriented bot"

Добрый вечер!

Рассмотрим простыми словами архитектуру, описанную тут и уже обученную на модифицированном датасете DSTC2 (~1.5 тысячи размеченных диалогов, насколько я понял тут, что не так много и можно для русского такой сделать, например из наших данных).

Предобучаем intent-модель. Предобучаем эмбеддинги. Предобучаем NER-разметчик: для ресторана одни сущности (типы кухни), для гостиниц другие (типы номеров). Затем обучаем с этими фичами и плюс эмбеддинги текстов уже самих диалогов (последовательные слова диалогов или нграммы) - рекуррентную сеть, которая выбирает по сути действие “action” (sofmax), которое в свою очередь использует вычлененные еще до входа в рекуррентную сеть значения NER-сущностей. На вопрос “создай задачу для петрова с названием А” должно выбраться действие: “пользователь = петров, название задачи: А” и дальше понятно.

Архитектура интересная и выглядит полезной, т.к. нужно всего ~1.5к диалогов. Но возник вопрос - на странице документации указана “turn accuracy = 56.1%”. Я правильно понимаю, что это означает, что примерно в половине случаев модель выберет неправильное действие в диалоге? Или я неправильно понял семантику метрики? Может данных нужно больше просто для обучения рекуррентной сети чтобы поднять accuracy до 80% хотя-бы? Спасибо!

1 Like

Добрый вечер!

Вы, возможно, лучше меня описали архитектуру модели. Может только полезно будет уточнить, что модель поддерживает одновременно один домен. Поэтому для использования сущностей из разных доменов нужно обучить общую модель NER и иметь единую базу данных.

Turn accuracy – доля полностью совпавших текстовых реплик. Точность действительно низкая, связываю вот с чем: плох DSTC2. Плох он тем, что собирался в манере human-bot, и выборка состоит из смеси диалогов двух разных bot-ов. Поэтому встречаются пары диалогов, где при одном и том же контексте даны разные ответы.

Это же подтверждают метрики на трейне: turn accuracy никогда не превышает планки в 0.76

2 Likes

Спасибо за подробный ответ!

1 Like