Update README.md
Browse files
README.md
CHANGED
@@ -41,17 +41,17 @@ Command r plus 모델을 이용하여 자체 구축한 RAG 특화 데이터셋,
|
|
41 |
```
|
42 |
|
43 |
## 학습 환경 및 파라미터
|
44 |
-
튜닝 환경 : H100(80GB) * 8
|
45 |
-
-tokenizer_model_mex_length 4500
|
46 |
-
-use_flash_attn True
|
47 |
-
-num_train_epochs 3.0
|
48 |
-
-weight_decay 0.001
|
49 |
-
-lr_scheduler_type "linear"
|
50 |
-
-per_device_train_batch_size 1
|
51 |
-
-gradient_accumulation_steps 64
|
52 |
-
-learning_rate 5e-06
|
53 |
-
-bf16 True
|
54 |
-
-deepspeed ds_stage2.json
|
55 |
|
56 |
## 사용 데이터셋
|
57 |
- AIhub 16 행정 문서 대상 기계독해 데이터
|
|
|
41 |
```
|
42 |
|
43 |
## 학습 환경 및 파라미터
|
44 |
+
- 튜닝 환경 : H100(80GB) * 8
|
45 |
+
- tokenizer_model_mex_length 4500
|
46 |
+
- use_flash_attn True
|
47 |
+
- num_train_epochs 3.0
|
48 |
+
- weight_decay 0.001
|
49 |
+
- lr_scheduler_type "linear"
|
50 |
+
- per_device_train_batch_size 1
|
51 |
+
- gradient_accumulation_steps 64
|
52 |
+
- learning_rate 5e-06
|
53 |
+
- bf16 True
|
54 |
+
- deepspeed ds_stage2.json
|
55 |
|
56 |
## 사용 데이터셋
|
57 |
- AIhub 16 행정 문서 대상 기계독해 데이터
|