|
|
#!/bin/bash |
|
|
|
|
|
TASKS="piqa" |
|
|
|
|
|
lm_eval --model hf --model_args pretrained=./ipt_fineinstructions_all_exp_chat/hf,dtype="float" --tasks $TASKS --device cuda:0 --limit 100 --apply_chat_template --batch_size 1 --trust_remote_code --confirm_run_unsafe_code |
|
|
lm_eval --model hf --model_args pretrained=./ipt_synthetic_all_exp/hf,dtype="float" --tasks $TASKS --device cuda:0 --limit 100 --batch_size 1 --trust_remote_code --confirm_run_unsafe_code |
|
|
lm_eval --model hf --model_args pretrained=./ipt_actual_all_exp/hf,dtype="float" --tasks $TASKS --device cuda:0 --limit 100 --batch_size 1 --trust_remote_code --confirm_run_unsafe_code |
|
|
|
|
|
lm_eval --model hf --model_args pretrained=./ipt_fineinstructions_all_exp/hf,dtype="float" --tasks $TASKS --device cuda:0 --limit 100 --batch_size 1 --trust_remote_code --confirm_run_unsafe_code |
|
|
lm_eval --model hf --model_args pretrained=./ipt_fineinstructions_all_exp_chat/hf,dtype="float" --tasks $TASKS --device cuda:0 --limit 100 --batch_size 1 --trust_remote_code --confirm_run_unsafe_code |
|
|
|
|
|
|
|
|
|
