Files are missing
#1
by
H4ckX0R - opened
En el model.safetensors.index.json se indican tres archivos .safetensor pero en el repositorio sólo hay uno.
Three .safetensor files are indicated in the model.safetensors.index.json but there is only one in the repository.
al estar cuantizado no es necesario el archivo, no deberías de tener problemas para correrlo con las instrucciones del README
Intento correrlo en un servidor con la CPU, sé que lo ideal es tener el modelo en gguf, pero tampoco tengo suficiente RAM para convertir el modelo normal a GGUF y he intentado usar este con un script usando transformer.
Exllama es sólo gpu, por eso estoy buscando otras formas.
Estamos trabajando en la versión GGUF
Entonces perfecto, estaré atento a twitter. Muchas gracias.
H4ckX0R changed discussion status to
closed
This comment has been hidden