File size: 1,029 Bytes
ed5df5b |
1 2 3 4 5 6 7 8 9 10 11 12 13 |
#!/bin/bash
TASKS="piqa"
lm_eval --model hf --model_args pretrained=./ipt_fineinstructions_all_exp_chat/hf,dtype="float" --tasks $TASKS --device cuda:0 --limit 100 --apply_chat_template --batch_size 1 --trust_remote_code --confirm_run_unsafe_code
lm_eval --model hf --model_args pretrained=./ipt_synthetic_all_exp/hf,dtype="float" --tasks $TASKS --device cuda:0 --limit 100 --batch_size 1 --trust_remote_code --confirm_run_unsafe_code
lm_eval --model hf --model_args pretrained=./ipt_actual_all_exp/hf,dtype="float" --tasks $TASKS --device cuda:0 --limit 100 --batch_size 1 --trust_remote_code --confirm_run_unsafe_code
lm_eval --model hf --model_args pretrained=./ipt_fineinstructions_all_exp/hf,dtype="float" --tasks $TASKS --device cuda:0 --limit 100 --batch_size 1 --trust_remote_code --confirm_run_unsafe_code
lm_eval --model hf --model_args pretrained=./ipt_fineinstructions_all_exp_chat/hf,dtype="float" --tasks $TASKS --device cuda:0 --limit 100 --batch_size 1 --trust_remote_code --confirm_run_unsafe_code
|