daebum commited on
Commit
771b5ea
·
verified ·
1 Parent(s): ffca536

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +11 -11
README.md CHANGED
@@ -41,17 +41,17 @@ Command r plus 모델을 이용하여 자체 구축한 RAG 특화 데이터셋,
41
  ```
42
 
43
  ## 학습 환경 및 파라미터
44
- 튜닝 환경 : H100(80GB) * 8
45
- -tokenizer_model_mex_length 4500
46
- -use_flash_attn True
47
- -num_train_epochs 3.0
48
- -weight_decay 0.001
49
- -lr_scheduler_type "linear"
50
- -per_device_train_batch_size 1
51
- -gradient_accumulation_steps 64
52
- -learning_rate 5e-06
53
- -bf16 True
54
- -deepspeed ds_stage2.json
55
 
56
  ## 사용 데이터셋
57
  - AIhub 16 행정 문서 대상 기계독해 데이터
 
41
  ```
42
 
43
  ## 학습 환경 및 파라미터
44
+ - 튜닝 환경 : H100(80GB) * 8
45
+ - tokenizer_model_mex_length 4500
46
+ - use_flash_attn True
47
+ - num_train_epochs 3.0
48
+ - weight_decay 0.001
49
+ - lr_scheduler_type "linear"
50
+ - per_device_train_batch_size 1
51
+ - gradient_accumulation_steps 64
52
+ - learning_rate 5e-06
53
+ - bf16 True
54
+ - deepspeed ds_stage2.json
55
 
56
  ## 사용 데이터셋
57
  - AIhub 16 행정 문서 대상 기계독해 데이터