Всем привет.
Я использую deeppavlov для реврайтинга текста. Подключаю так:
syntax_model = build_model(configs.syntax.syntax_ru_syntagrus_bert, download=True)
tokenizer = GPT2Tokenizer.from_pretrained("sberbank-ai/rugpt3large_based_on_gpt2")
model = GPT2LMHeadModel.from_pretrained("sberbank-ai/rugpt3large_based_on_gpt2"
На сервере когда запускаю, то каждый раз идет скачивание
in 'deeppavlov.core.data.utils'['utils'] at line 95: Downloading from http://files.deeppavlov.ai/deeppavlov_data/syntax_parser/syntax_ru_syntagrus_bert.tar.gz to /root/.deeppavlov/models/syntax_ru_syntagrus_bert.tar.gz
Скачивание продолжается до 3 часов. И так каждый раз при перезапуске сервера.
Можно ли как-то брать это из кеша?
У меня приложение загружается из докера и я пробую использовать в докер-компоусе инструкцию
volumes:
- ./deeppavlov:/root/.deeppavlov
чтобы вроде как из кеша бралось, но оно не берется из кеша, а каждый раз перезакачивается.
Вместе с тем часто закачка прерывается по таймауту, так как я запускаю приложение через gunicorn.
Кстати, у меня приложение на Flask написано. И если бы можно было как-то использовать deevpavlov из docker (Docker Hub) и подключиться к нему через Flask, то было бы хорошо?
Да, подтверждаю проблему с закачкой библиотек DeepPavlov
Причем относительно недавно возникли,
до этого DeepPavlov качался быстро и на это не обращал внимание.
Добрый день.
На нашем сервере возникло временное ограничение канала связи, сейчас проблема должна быть решена.
Что касается проблемы с повторным скачиванием, то возможно в вашем контейнере другой home, не root. В конфигурационном файле в качестве root_path определён как ~/.deeppavlov. Появляются ли компоненты в ./deeppavlov на хостовой машине?
Образы из Docker Hub рассчитаны на запуск бибилоеки в режиме riseapi, когда модель инферится через post-запросы на веб-сервер (написанный на FastAPI).Что вы имеете в виду под подключением через Flask?
@Ignatov , да, скачанные ранее файлы имеются в подключенной к докеру командой выше директории:
total 654772
drwxr-xr-x 4 root root 4096 Aug 27 07:56 .
drwxr-xr-x 8 root docker 4096 Aug 27 00:12 …
drwxr-xr-x 4 root root 4096 Aug 27 14:07 downloads
drwxr-xr-x 3 root root 4096 Aug 27 11:17 models
-rw-r–r-- 1 root root 666147468 Feb 26 2019 rubert_cased_L-12_H-768_A-12_v1.tar.gz
-rw-r–r-- 1 root root 43 Aug 27 00:12 token
-rw-r–r-- 1 root root 4311063 Aug 27 03:37 wget-log
root@bregman:~/projects/bg_rugpt3_xl/deeppavlov#