generation_config.json содержит неверный pad_token_id, что приводит к падению при генерации батчами.
#2
by
akamaus
- opened
{"pad_token_id": 151643, ... }
что превышает размер словаря. При одновременной генерации нескольких промптов это приводит к лютому дампу наподобие такого:
/build/pytorch/aten/src/ATen/native/cuda/Indexing.cu:1500: indexSelectSmallIndex: block: [3,0,0], thread: [0,0,0] Assertion `srcIndex < srcSelectDimSize` failed.
/build/pytorch/aten/src/ATen/native/cuda/Indexing.cu:1500: indexSelectSmallIndex: block: [3,0,0], thread: [1,0,0] Assertion `srcIndex < srcSelectDimSize` failed.
<еще страниц 10>
Добрый день, да, в gen config он не корректный, спасибо. В tokenizer_config корректной токен для него прописан (не id).