Text Generation
Safetensors
Russian
qwen2
conversational

generation_config.json содержит неверный pad_token_id, что приводит к падению при генерации батчами.

#2
by akamaus - opened

{"pad_token_id": 151643, ... }
что превышает размер словаря. При одновременной генерации нескольких промптов это приводит к лютому дампу наподобие такого:

/build/pytorch/aten/src/ATen/native/cuda/Indexing.cu:1500: indexSelectSmallIndex: block: [3,0,0], thread: [0,0,0] Assertion `srcIndex < srcSelectDimSize` failed.
/build/pytorch/aten/src/ATen/native/cuda/Indexing.cu:1500: indexSelectSmallIndex: block: [3,0,0], thread: [1,0,0] Assertion `srcIndex < srcSelectDimSize` failed.
<еще страниц 10>

Добрый день, да, в gen config он не корректный, спасибо. В tokenizer_config корректной токен для него прописан (не id).

Sign up or log in to comment