Доброго дня.
Я дообучил модель ner_ontonotes_bert на своих данных. Тэги остались теже.
На инференсе модель показывает результат лучше, все устраивает, но никак не пойму как в следующий раз инициализировать уже готовую модель.
По окончании обучения веса сохраняются в файл model.pth.tar
В конфиге я указываю:
config_dict[‘chainer’][‘pipe’][2][‘load_path’] = ‘/content/sample_data/downloads/model’
config_dict[‘chainer’][‘pipe’][2][‘save_path’] = ‘/content/sample_data/downloads/model’
Так же пробовал указать:
config_dict[‘metadata’][‘MODEL_PATH’] = ‘/content/sample_data/downloads/’
config_dict[‘metadata’][‘MODELS_PATH’] = ‘/content/sample_data/’
Затем вызываю метод build_model(my_config)
Но или появляются какие-то ошибки, например
RuntimeError: [enforce fail at inline_container.cc:144] . PytorchStreamReader failed reading zip archive: failed finding central directory
Или модель загружается предобученная без моих весов.
Что я делаю не так? Как правильно загрузить сохраненную модель?
Что я делаю не так? Как правильно загрузить сохраненную модель?
По описанию вы все делаете правильно.
Такая ошибка обычно возникает, если файл с моделью (model.pth.tar) оказался по каким-то причинам битый. Попробуйте еще раз обучить модель на ваших данных и сохранить новый чекпойнт.
Еще можно проверить, что вес на диске нового чекпойнта должен почти совпадать со старым чекпойнтом (который дообучается на ваших данных).
Вес изначальной модели около 1,4 гб
Заново дообучил. Сохранил.
После дообучения новый вес почти 2 гб.
Если с нуля установил диппавлов, установил ner_ontonotes_bert_mult_torh
Загрузил сови веса и прописал путь в конфиге
Получаю ошибку
2021-12-03 11:44:13.455 INFO in 'deeppavlov.models.torch_bert.torch_transformers_sequence_tagger'['torch_transformers_sequence_tagger'] at line 360: Load path /content/sample_data/downloads/model is given.
2021-12-03 11:44:13.456 INFO in 'deeppavlov.models.torch_bert.torch_transformers_sequence_tagger'['torch_transformers_sequence_tagger'] at line 367: Load path /content/sample_data/downloads/model.pth.tar exists.
2021-12-03 11:44:13.460 INFO in 'deeppavlov.models.torch_bert.torch_transformers_sequence_tagger'['torch_transformers_sequence_tagger'] at line 368: Initializing `TorchTransformersSequenceTagger` from saved.
2021-12-03 11:44:13.466 INFO in 'deeppavlov.models.torch_bert.torch_transformers_sequence_tagger'['torch_transformers_sequence_tagger'] at line 371: Loading weights from /content/sample_data/downloads/model.pth.tar.
2021-12-03 11:44:17.407 ERROR in 'deeppavlov.core.common.params'['params'] at line 112: Exception in <class 'deeppavlov.models.torch_bert.torch_transformers_sequence_tagger.TorchTransformersSequenceTagger'>
Traceback (most recent call last):
File "/usr/local/lib/python3.7/dist-packages/deeppavlov/core/common/params.py", line 106, in from_params
component = obj(**dict(config_params, **kwargs))
File "/usr/local/lib/python3.7/dist-packages/deeppavlov/models/torch_bert/torch_transformers_sequence_tagger.py", line 250, in __init__
**kwargs)
File "/usr/local/lib/python3.7/dist-packages/deeppavlov/core/models/torch_model.py", line 98, in __init__
self.load()
File "/usr/local/lib/python3.7/dist-packages/deeppavlov/models/torch_bert/torch_transformers_sequence_tagger.py", line 373, in load
self.model.load_state_dict(checkpoint["model_state_dict"])
File "/usr/local/lib/python3.7/dist-packages/torch/nn/modules/module.py", line 1045, in load_state_dict
self.__class__.__name__, "\n\t".join(error_msgs)))
RuntimeError: Error(s) in loading state_dict for BertForTokenClassification:
size mismatch for classifier.weight: copying a param with shape torch.Size([37, 768]) from checkpoint, the shape in current model is torch.Size([0, 768]).
size mismatch for classifier.bias: copying a param with shape torch.Size([37]) from checkpoint, the shape in current model is torch.Size([0]).
Я вижу что мои веса подтянулись, но почему-то количество классов теперь не совпадает. То есть, как я понимаю, в моей модели 37 классов сущностей, а в модели которую инициализирую 0 классов?