daebum commited on
Commit
1ff9998
·
verified ·
1 Parent(s): aa400fc

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +13 -11
README.md CHANGED
@@ -41,17 +41,19 @@ Command r plus 모델을 이용하여 자체 구축한 RAG 특화 데이터셋,
41
  ```
42
 
43
  ## 학습 환경 및 파라미터
44
- - 튜닝 환경 : H100(80GB) * 8
45
- - tokenizer_model_mex_length 4500
46
- - use_flash_attn True
47
- - num_train_epochs 3.0
48
- - weight_decay 0.001
49
- - lr_scheduler_type "linear"
50
- - per_device_train_batch_size 1
51
- - gradient_accumulation_steps 64
52
- - learning_rate 5e-06
53
- - bf16 True
54
- - deepspeed ds_stage2.json
 
 
55
 
56
  ## 사용 데이터셋
57
  - AIhub 16 행정 문서 대상 기계독해 데이터
 
41
  ```
42
 
43
  ## 학습 환경 및 파라미터
44
+ - 튜닝 환경
45
+ - H100(80GB) * 8
46
+ - 파라미터
47
+ - tokenizer_model_mex_length 4500
48
+ - use_flash_attn True
49
+ - num_train_epochs 3.0
50
+ - weight_decay 0.001
51
+ - lr_scheduler_type "linear"
52
+ - per_device_train_batch_size 1
53
+ - gradient_accumulation_steps 64
54
+ - learning_rate 5e-06
55
+ - bf16 True
56
+ - deepspeed ds_stage2.json
57
 
58
  ## 사용 데이터셋
59
  - AIhub 16 행정 문서 대상 기계독해 데이터