Hugging Face's logo

davanstrien
/
ModernBERT-based-Reasoning-Required

Text Classification
Transformers
TensorBoard
Safetensors
English
modernbert
reasoning
reasoning-datasets-competition
Model card Files
xet
Metrics Community
2
ModernBERT-based-Reasoning-Required / README.md
davanstrien's picture
davanstrien HF Staff
Upload tokenizer
3e6d83e verified
preview code
|
raw
history blame
6.84 kB
metadata
library_name: transformers
license: apache-2.0
base_model: answerdotai/ModernBERT-base
tags:
  - generated_from_trainer
datasets:
  - davanstrien/reasoning-required
language:
  - en
model-index:
  - name: modernbert-reasoning-required
    results: []

modernbert-reasoning-required

This model is a fine-tuned version of answerdotai/ModernBERT-base on the davanstrien/reasoning-required dataset. It achieves the following results on the evaluation set:

  • Loss: 0.2034
  • Mse: 0.2034
  • Mae: 0.2578
  • Spearman: 0.6963
  • High Mae: 0.1355
  • High Mse: 0.0831

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 16
  • eval_batch_size: 32
  • seed: 42
  • optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: linear
  • num_epochs: 10

Training results

Training Loss Epoch Step Validation Loss Mse Mae Spearman High Mae High Mse
0.619 0.2 50 0.2932 0.2932 0.3742 0.6209 0.2537 0.1183
0.3229 0.4 100 0.3045 0.3045 0.4308 0.6303 0.3396 0.1437
0.3032 0.6 150 0.2575 0.2575 0.3473 0.6785 0.2365 0.1040
0.2609 0.8 200 0.2513 0.2513 0.3433 0.6764 0.2603 0.1442
0.3414 1.0 250 0.2308 0.2308 0.3039 0.6732 0.1798 0.0894
0.2337 1.2 300 0.2491 0.2491 0.3620 0.6669 0.2780 0.1358
0.2665 1.4 350 0.2522 0.2522 0.3350 0.6803 0.2483 0.1660
0.1984 1.6 400 0.2660 0.2660 0.3380 0.6836 0.1872 0.0689
0.2587 1.8 450 0.2341 0.2341 0.3284 0.6852 0.2225 0.1109
0.1862 2.0 500 0.2146 0.2146 0.2971 0.6927 0.1798 0.0821
0.1218 2.2 550 0.2364 0.2364 0.3277 0.6888 0.2408 0.1480
0.1232 2.4 600 0.2216 0.2216 0.3226 0.7030 0.2305 0.1221
0.1651 2.6 650 0.2219 0.2219 0.3344 0.6868 0.2487 0.1190
0.1631 2.8 700 0.2306 0.2306 0.3312 0.6918 0.2533 0.1495
0.1024 3.0 750 0.2256 0.2256 0.3368 0.6882 0.2320 0.0966
0.0713 3.2 800 0.2189 0.2189 0.2950 0.6878 0.1907 0.1121
0.0608 3.4 850 0.2196 0.2196 0.2934 0.6981 0.1933 0.1178
0.0656 3.6 900 0.2199 0.2199 0.3018 0.7047 0.2186 0.1358
0.0774 3.8 950 0.2034 0.2034 0.2765 0.7033 0.1668 0.0962
0.0507 4.0 1000 0.2142 0.2142 0.2726 0.6607 0.1283 0.0602
0.0383 4.2 1050 0.2260 0.2260 0.3115 0.7006 0.1781 0.0642
0.0481 4.4 1100 0.2198 0.2198 0.3510 0.6998 0.2959 0.1498
0.0466 4.6 1150 0.2121 0.2121 0.3278 0.6813 0.2356 0.0976
0.029 4.8 1200 0.2055 0.2055 0.2710 0.7043 0.1522 0.0857
0.0355 5.0 1250 0.2016 0.2016 0.2751 0.7064 0.1707 0.0989
0.0178 5.2 1300 0.2108 0.2108 0.2926 0.6538 0.1835 0.1015
0.0321 5.4 1350 0.2053 0.2053 0.2824 0.7000 0.1876 0.1124
0.0167 5.6 1400 0.1993 0.1993 0.2622 0.7052 0.1473 0.0886
0.0243 5.8 1450 0.2052 0.2052 0.3119 0.6965 0.2269 0.1081
0.0169 6.0 1500 0.2058 0.2058 0.2565 0.6841 0.1239 0.0734
0.0103 6.2 1550 0.2006 0.2006 0.2639 0.6926 0.1496 0.0907
0.0136 6.4 1600 0.2039 0.2039 0.2859 0.6873 0.1846 0.1002
0.0093 6.6 1650 0.1995 0.1995 0.2685 0.7040 0.1654 0.1001
0.0093 6.8 1700 0.2065 0.2065 0.2604 0.6920 0.1416 0.0932
0.0095 7.0 1750 0.2056 0.2056 0.2618 0.7007 0.1476 0.0956
0.0062 7.2 1800 0.2043 0.2043 0.2637 0.6919 0.1470 0.0918
0.0052 7.4 1850 0.2018 0.2018 0.2593 0.6920 0.1453 0.0927
0.0078 7.6 1900 0.2043 0.2043 0.2571 0.6849 0.1243 0.0699
0.0064 7.8 1950 0.2094 0.2094 0.2565 0.6845 0.1156 0.0650
0.0063 8.0 2000 0.2047 0.2047 0.2556 0.6861 0.1232 0.0703
0.0038 8.2 2050 0.2056 0.2056 0.2541 0.6923 0.1245 0.0787
0.0027 8.4 2100 0.2069 0.2069 0.2587 0.6908 0.1315 0.0792
0.0025 8.6 2150 0.2041 0.2041 0.2576 0.6960 0.1351 0.0835
0.0034 8.8 2200 0.2023 0.2023 0.2633 0.6974 0.1511 0.0920
0.0029 9.0 2250 0.2034 0.2034 0.2589 0.6950 0.1369 0.0833
0.002 9.2 2300 0.2029 0.2029 0.2591 0.6985 0.1398 0.0861
0.0025 9.4 2350 0.2033 0.2033 0.2575 0.6969 0.1346 0.0824
0.0011 9.6 2400 0.2042 0.2042 0.2572 0.6958 0.1314 0.0798
0.0023 9.8 2450 0.2034 0.2034 0.2582 0.6951 0.1364 0.0836
0.0006 10.0 2500 0.2034 0.2034 0.2578 0.6963 0.1355 0.0831

Framework versions

  • Transformers 4.51.0
  • Pytorch 2.6.0+cu124
  • Datasets 3.5.0
  • Tokenizers 0.21.1