toorgil/mongolian-e5-finetuned

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the cleaned-mongolian-dataset dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • cleaned-mongolian-dataset

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'өвлийн гутал худалдаж авахдаа бид хамгийн түрүүнд дараах гурван зүйлийг анхааралдаа авдаг. эхнийх нь мэдээж халтирдаггүй ул бол, хоёр дахь нь дулаан доторлогоо, харин гурав дахь нь олон жил эдлэгдэх сайн чанарын материал юм. энэ бүх шаардлагыг хангахын зэрэгцээ сүүлийн үеийн тренд бүхий загварлаг дизайнтай гэх маш том давуу талтай швейцарийн брэндийн гуталнууд саяхнаас улсын их дэлгүүрт худалдаалагдаж эхэлжээ. брэндийн монгол дахь албан ёсны дистрибютор \' нь мөн чанар ба загвараараа дэлхийд хүлээн зөвшөөрөгдсөн тансаг зэрэглэлийн брэндийн курткануудыг оруулж ирдэг бөгөөд уид-т нээсэн шинэ салбар дэлгүүртээ хоёр брэндийн бүтээгдэхүүнүүдийг хамтад нь санал болгож байна. хаяг: сэнтрал тауэр 2-р давхар, улсын их дэлгүүр 3-р давхар хуудсаар холбогдохыг хүсвэл энд дарна уу хэрхэн тууштай фитнессээр хичээллэж, эрүүл хооллох вэ? сүүлийн үеийн мэдээлэл авч байх би нууцлалын нөхцлийг зөвшөөрч байна 2011 2018 24 7. зохиогчийн эрх хуулиар хамгаалагдсан бүх нийтлэлийг харах дизайнер томми хилфигер хуудаснаа "хүсэл мөрөөдөлдөө үнэнч байж, түүнийхээ төлөө тэмцэн хойч үедээ үлгэр дуурайлал болж чаддаг хүмүүс надад хэдийнээс таалагдаж ирсэн. зендая бол тэдний тод жишээ ба түүнтэй хамтрахаар болсондоо таатай байна" хэмээн бичжээ. түүнчлэн тэдний хамтран гаргах цуглуулга америкина хэв маягтай байх болно гэдгийг дизайнер онцоллоо. бид бүгдийн хайртай пүүзний тренд өвлийн улирал руу шилжиж байна сөүлийн загварын долоо хоног дээрх хэрхэн тууштай фитнессээр хичээллэж, эрүүл хооллох вэ? сүүлийн үеийн мэдээлэл авч байх би нууцлалын нөхцлийг зөвшөөрч байна 2011 2018 24 7. зохиогчийн эрх хуулиар хамгаалагдсан и-мэйл хаягаа баталгаажуулна уу. таны гэсэн хаягт бид и-мэйл илгээсэн болно. уг и-мэйлд байрлах "баталгаажуулах" товчлуурыг дарна уу. дараагүй тохиолдолд зарын тухай ирсэн асуулт болон чатын мессэжний талаар бид мэдэгдэх боломжгүй юм.',
    'энэ хэсгийг 2671.4.гаалийн удирдах төв байгууллагын даргыг монгол улсын засгийн газрын тухай хуулийн 183 дугаар зүйлийн 2 дахь хэсэгт заасны дагуу томилж, чөлөөлнө. гэж 2017 оны 12 дугаар сарын 07-ны өдрийн хуулиар өөрчлөн найруулсан бөгөөд 2019 оны 01 дүгээр сарын 01-ний өдрөөс эхлэн дагаж мөрдөнө. хэвлэл мэдээллийн хэрэгслийн тоо буурч, тэдний 78 хувийг компани, хувь хүн эзэмшиж байна хотын дарга с.батболд сэтгүүлчдийн ордон барих газрыг шийдвэрлэлээ маш чухал зөвлөгөө, үүнийг хэрэглээд хагарсан хөлийн өсгийг 7-хон хоногийн дотор эмчлээрэй! та мэдээг у.хүрэлсүх: утаагаар улс төр хийж байгаа нь үнэн найздаа илгээнэ: бнсу-ын эся-наас 800 иргэн виз мэдүүлэхдээ материалаа хуурамчаар үйлдсэн байж болзошгүй тул шалгуулах хүсэлтээ илэрхийлжээ. энэ дагуу эрүүгийн цагдаагийн албанаас дээрх иргэдийн тал хувийнх нь бичиг баримтыг шалгахад төрийн байгууллагын болон тбб-ын тодорхойлолт, дансны хуулга, мэдүүлэг, банканд таван сая төгрөг байршуулсан талаарх гэрээ, ндг-ын тодорхойлолт, муис, шутис, хүмүүнлэгийн их сургуулийн оюутан мөн гэсэн тодорхойлолтыг хуурамчаар үйлдсэн нь дийлэнх байжээ.',
    'энэ нь хүмүүсийн оюун ухааныг ямар нэгэн аргаар хооронд нь холбож, шоргоолж, зөгий шиг бүлээр амьдрах шавьж мэт болгох хувилбар. зөгнөлт зохиолд дүрслэгдсэн жишээ нь "оддын аялал" цувралын борг юм. ийм нөхцөлд хүний хувийн бодол санаа оршин байхгүй бөгөөд бүхий л үйлдэл бүлийн шаардлагын дагуу, эсвэл хатан зөгий мэт хэн нэгний тушаалын дагуу хийгдэнэ. 20-р зууны сүүлийн хагаст үзэгдсэн дарангуйлан захирах (тоталитар) дэглэм бүлийн оюун санаатай төстэй боловч бодит байдалд түүнийг хэрэгжүүлэх технологи байгаагүй нь олон үндэстний хувьд аз болсон. гэхдээ цаашид, алс ирээдүйд юу болох бол. наноробот, тархинд суулгах төхөөрөмжийг ашиглан хүний бодол санаа, үйлдлийг захирах технологи аль хэдийн, хаа нэгтээ нууцаар хийгдэж эхэлсэн ч байж магадгүй. шинжлэх ухаан, технологийн хөгжлийн үр дүнд эрэгтэй, эмэгтэй эсэхээс хамааралгүйгээр үр удмаа үлдээх чадвар эзэмшвэл хүйсээр ялгагдах шаардлагагүй болно. хүйсгүй шинэ хүн эрэгтэй, эмэгтэйн аль алины давуу талыг шингээж, аль нэгнийх нь шинж давамгайлах байдал үгүй болно. бас ирээдүйд эрэгтэй ч биш, эмэгтэй ч биш гуравдагч хүйс бий болж, тухайн нөхцөл байдлаас хамааран аль нэгэнд нь шилжих чадвартай хүн бий болж магадгүй гэсэн таамаглал бий. өнөөгийн ямар ч хүний бие үржлийн эрхтнүүдийг эс тооцвол эр, эм шинжийг давхар агуулж, гол ялгааг дааврын систем зохицуулж байдгийг дурдахад илүүдэхгүй биз ээ.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000, -0.1414, -0.1081],
#         [-0.1414,  1.0000,  0.9738],
#         [-0.1081,  0.9738,  1.0000]])

Training Details

Training Dataset

cleaned-mongolian-dataset

• Dataset: cleaned-mongolian-dataset at e350efd
• Size: 997,125 training samples
• Columns: text and input_ids
• Approximate statistics based on the first 1000 samples:

  	text	input_ids
  type	string	list
  details	min: 27 tokens mean: 424.66 tokens max: 512 tokens	min: 59 elements mean: 798.31 elements max: 1024 elements

• Samples:

  text	input_ids
  аюулгүй байдлын сургалтын агуулга нь замын хөдөлгөөний, байгалийн гамшигт үзэгдлийн, ахуйн болзошгүй осол, гэмтлээс өөрийгөө болон бусдыг хамгаалах, сэтгэцийн болон мансууруулах бодисын хор уршиг, аюул, заналыг ухамсарлах, цахим орчинд гэмт хэргийн хохирогч болохоос урьдчилан сэргийлэх гэх зэрэг өргөн агуулгаар тодорхойлогдоно. өнгөрсөн хугацаанд бид мэдлэг олгоход түлхүү анхаарч, хүүхдийг хүн болгож хүнийг төлөвшүүлэх тал дээр бага анхаарч ирсэн. ийм учраас хүүхдийг ёс суртахууны хувьд төлөвшүүлэх нь манай боловсролын анхаарч шийдвэрлэх ёстой нэгэн үндсэн асуудал болоод байна. амьдрах ухааны сургалтын агуулга нь энэ л шаардлага, хэрэгцээгээр тодорхойлогдоно. багшийн дүн үнэн, бодитой байдаг ил, тод нээлттэй шалгалтын систем, тогтолцоотой болно. монголын боловсролын эмзэг, хамгийн сул зүйлийн нэг бол үнэлгээний асуудал болоод байна. манай боловсролын үнэлгээний шаардлага, шалгуур, хэмжигдэхүүн, арга зүй, тогтолцоо оновчтой бус, ойлгомжгүй, зарим тохиолдолд цаасан дээр л байдаг ор нэр т...	[252480, 253767, 254971, 251792, 210, ...]
  уих-ын гишүүн, засгийн газрын гишүүн, байгаль орчин, аялал жуулчлалын сайд н.цэрэнбат монгол улсын засгийн газраас санаачилсан гаалийн албан татвараас чөлөөлөх тухай болон нэмэгдс . барилгын туслах ажилтан яаралтай ажилд авна барилгын туслах ажилтан яаралтай ажилд авна. цалин өдрийн 25.000 утас: 8800-8044 шинэхэн өглөөний мэнд. өчигдөр нэг сайн найзынхаа төрсөн өдөрт очлоо л доо. тэгсэн эхнэрээ дагуулаад иржээ. бид нар уул нь урьдчилж тэмдэглэж байгаан яг өдөр нь биш тэгсэн чинь хөөрхий муу найзыг маань бид нарын хажууд л харцаараа муухай харж байснаа сүүлдээ үгээр муухай загинаад л эхлэхийн. уул нь нөхөр нь найзуудтайгаа төрсөн өдрөө тэмдэглэж байгаан ш дээ. тэрийг ер ойлгоогүймуу хаашайн эсвэл угаасаа тийм юм уу бүү мэд. хамгийн гол нь олон хүний дунд ялангуяа найзуудынх нь дунд битгий эвгүй байдалд оруулж бай л даа. хэ хэ.хүүхнүүд ихэвчлэн ингэж тэнэгтээд алдаад байдаг юм шүү дээ харин тий өөрийгөө хаана хэнтэй байгаагаа жаахан мэдрэх хэрэгтэй ш дээ. сэтгэл хангалуун байгаа үгүйг нь...	[252636, 257430, 16, 250991, 210, ...]
  төмрийн хүдрийн дэлхийн нийт олборлолт 1 . төмөр 24-41 , фосфорын . төмөр 38,6 хүртэл, алт . этгүүлчдэд зориулсан гарын авлага - 1 монголбанк этгүүлчдэд зориулсан гарын авлага (анхан шатны сургалт) олон нийтийн боловсрол, мэдээллийн төв монгол улс, улаанбаатар хот, бага тойруу-3, 15160, монгол хүнд хямд тийз-1 - . нүүр хуудас: улс төр: эдийн засаг: дэлхий дахинд: урлаг: спорт: зөвлөгөө: технологи: ярилцлага өнгөт болон ховор металын газрын гүний . хүдэр олборлолт, . алт, зэс, төмөр гээд бүгд . эдийн засаг санхүүгийн хэллэг - стр.7 төмөр замын хамтын ажиллагааг зохион . лэх урт хугацааны зөвшин тохиролцсон гол . 2017 он уул уурхайн салбарт монголын нийгэм эдийн засгийн газарзүй - . асуулт 38 монгол улсын алт, . металын уурхайнууд . гол төв нь төмөр замаа . . монгол улсын стандартын жагсаалт 2010 үйл ажиллагааны хүрээгээр ангилсан жагсаалт 01 нийтлэг зүйл,. гол түүхий эдийн дэлхийн зах . алт зэрэг металын үнэ буурахаар байна. . төмөр зам, . шаамарын төмөр замын . мөн налайх нь эргэн тойр...	[253491, 258319, 257491, 210, 256338, ...]

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• gradient_accumulation_steps: 8
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_steps: 500
• fp16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 8
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 500
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0006	10	2.0918
0.0013	20	2.0914
0.0019	30	2.0855
0.0026	40	2.0858
0.0032	50	2.0894
0.0039	60	2.0796
0.0045	70	2.0779
0.0051	80	2.0703
0.0058	90	2.0624
0.0064	100	2.0596
0.0071	110	2.0403
0.0077	120	1.9946
0.0083	130	1.9471
0.0090	140	1.8538
0.0096	150	1.7965
0.0103	160	1.7491
0.0109	170	1.6258
0.0116	180	1.6156
0.0122	190	1.6384
0.0128	200	1.5583
0.0135	210	1.4437
0.0141	220	1.4157
0.0148	230	1.3255
0.0154	240	1.2985
0.0160	250	1.1824
0.0167	260	1.1609
0.0173	270	1.0169
0.0180	280	0.9953
0.0186	290	0.8542
0.0193	300	0.807
0.0199	310	0.7492
0.0205	320	0.7984
0.0212	330	0.632
0.0218	340	0.6511
0.0225	350	0.6407
0.0231	360	0.5841
0.0237	370	0.5787
0.0244	380	0.4979
0.0250	390	0.409
0.0257	400	0.4344
0.0263	410	0.4355
0.0270	420	0.4358
0.0276	430	0.3418
0.0282	440	0.407
0.0289	450	0.3784
0.0295	460	0.3438
0.0302	470	0.3102
0.0308	480	0.3173
0.0315	490	0.3096
0.0321	500	0.345
0.0327	510	0.3417
0.0334	520	0.2927
0.0340	530	0.2624
0.0347	540	0.2602
0.0353	550	0.3068
0.0359	560	0.2405
0.0366	570	0.2651
0.0372	580	0.3062
0.0379	590	0.2741
0.0385	600	0.2483
0.0392	610	0.1963
0.0398	620	0.2262
0.0404	630	0.1793
0.0411	640	0.2089
0.0417	650	0.2036
0.0424	660	0.2127
0.0430	670	0.2343
0.0436	680	0.1784
0.0443	690	0.149
0.0449	700	0.1537
0.0456	710	0.1234
0.0462	720	0.1871
0.0469	730	0.1772
0.0475	740	0.196
0.0481	750	0.1647
0.0488	760	0.1741
0.0494	770	0.1501
0.0501	780	0.1812
0.0507	790	0.1599
0.0513	800	0.1563
0.0520	810	0.1131
0.0526	820	0.1872
0.0533	830	0.1696
0.0539	840	0.1668
0.0546	850	0.1488
0.0552	860	0.1503
0.0558	870	0.1382
0.0565	880	0.1764
0.0571	890	0.1459
0.0578	900	0.1202
0.0584	910	0.1153
0.0590	920	0.1428
0.0597	930	0.1347
0.0603	940	0.153
0.0610	950	0.123
0.0616	960	0.1075
0.0623	970	0.1322
0.0629	980	0.1363
0.0635	990	0.1287
0.0642	1000	0.1466
0.0648	1010	0.1341
0.0655	1020	0.1211
0.0661	1030	0.1268
0.0668	1040	0.0942
0.0674	1050	0.147
0.0680	1060	0.1461
0.0687	1070	0.117
0.0693	1080	0.1106
0.0700	1090	0.114
0.0706	1100	0.0784
0.0712	1110	0.1158
0.0719	1120	0.1098
0.0725	1130	0.1484
0.0732	1140	0.1496
0.0738	1150	0.1267
0.0745	1160	0.1293
0.0751	1170	0.1303
0.0757	1180	0.0987
0.0764	1190	0.1186
0.0770	1200	0.1224
0.0777	1210	0.1084
0.0783	1220	0.0838
0.0789	1230	0.0924
0.0796	1240	0.1233
0.0802	1250	0.0937
0.0809	1260	0.0755
0.0815	1270	0.0767
0.0822	1280	0.087
0.0828	1290	0.0841
0.0834	1300	0.0691
0.0841	1310	0.0668
0.0847	1320	0.0723
0.0854	1330	0.1032
0.0860	1340	0.0815
0.0866	1350	0.0913
0.0873	1360	0.0752
0.0879	1370	0.0811
0.0886	1380	0.1094
0.0892	1390	0.0858
0.0899	1400	0.0855
0.0905	1410	0.0782
0.0911	1420	0.0917
0.0918	1430	0.1413
0.0924	1440	0.0994
0.0931	1450	0.0913
0.0937	1460	0.1086
0.0944	1470	0.1467
0.0950	1480	0.0818
0.0956	1490	0.0729
0.0963	1500	0.0647
0.0969	1510	0.0977
0.0976	1520	0.1096
0.0982	1530	0.0933
0.0988	1540	0.0839
0.0995	1550	0.1008
0.1001	1560	0.0841
0.1008	1570	0.0721
0.1014	1580	0.0918
0.1021	1590	0.0836
0.1027	1600	0.0638
0.1033	1610	0.0832
0.1040	1620	0.0867
0.1046	1630	0.0698
0.1053	1640	0.0789
0.1059	1650	0.0778
0.1065	1660	0.0621
0.1072	1670	0.0589
0.1078	1680	0.0832
0.1085	1690	0.0944
0.1091	1700	0.0743
0.1098	1710	0.0946
0.1104	1720	0.0796
0.1110	1730	0.0782
0.1117	1740	0.0713
0.1123	1750	0.0783
0.1130	1760	0.0533
0.1136	1770	0.064
0.1142	1780	0.0537
0.1149	1790	0.0759
0.1155	1800	0.0611
0.1162	1810	0.0564
0.1168	1820	0.0731
0.1175	1830	0.0794
0.1181	1840	0.0809
0.1187	1850	0.0462
0.1194	1860	0.0746
0.1200	1870	0.0618
0.1207	1880	0.0814
0.1213	1890	0.0993
0.1220	1900	0.0684
0.1226	1910	0.057
0.1232	1920	0.0593
0.1239	1930	0.0644
0.1245	1940	0.0463
0.1252	1950	0.0758
0.1258	1960	0.0722
0.1264	1970	0.0673
0.1271	1980	0.0566
0.1277	1990	0.0653
0.1284	2000	0.048
0.1290	2010	0.0777
0.1297	2020	0.0692
0.1303	2030	0.089
0.1309	2040	0.0683
0.1316	2050	0.0427
0.1322	2060	0.0698
0.1329	2070	0.0688
0.1335	2080	0.0684
0.1341	2090	0.0947
0.1348	2100	0.0672
0.1354	2110	0.0548
0.1361	2120	0.0721
0.1367	2130	0.0579
0.1374	2140	0.0478
0.1380	2150	0.0382
0.1386	2160	0.0493
0.1393	2170	0.0722
0.1399	2180	0.0661
0.1406	2190	0.0808
0.1412	2200	0.0597
0.1418	2210	0.0823
0.1425	2220	0.053
0.1431	2230	0.0458
0.1438	2240	0.0436
0.1444	2250	0.0694
0.1451	2260	0.052
0.1457	2270	0.0585
0.1463	2280	0.0548
0.1470	2290	0.0442
0.1476	2300	0.0512
0.1483	2310	0.0504
0.1489	2320	0.0486
0.1495	2330	0.0499
0.1502	2340	0.094
0.1508	2350	0.052
0.1515	2360	0.0529
0.1521	2370	0.054
0.1528	2380	0.0693
0.1534	2390	0.0591
0.1540	2400	0.0525
0.1547	2410	0.0603
0.1553	2420	0.0453
0.1560	2430	0.0684
0.1566	2440	0.0574
0.1573	2450	0.0694
0.1579	2460	0.0577
0.1585	2470	0.0671
0.1592	2480	0.0528
0.1598	2490	0.0632
0.1605	2500	0.048
0.1611	2510	0.0645
0.1617	2520	0.0493
0.1624	2530	0.0529
0.1630	2540	0.0462
0.1637	2550	0.0772
0.1643	2560	0.049
0.1650	2570	0.0701
0.1656	2580	0.058
0.1662	2590	0.0219
0.1669	2600	0.0649
0.1675	2610	0.0419
0.1682	2620	0.0495
0.1688	2630	0.0531
0.1694	2640	0.05
0.1701	2650	0.0582
0.1707	2660	0.0755
0.1714	2670	0.0713
0.1720	2680	0.0456
0.1727	2690	0.0634
0.1733	2700	0.0523
0.1739	2710	0.0418
0.1746	2720	0.0447
0.1752	2730	0.0424
0.1759	2740	0.0394
0.1765	2750	0.0422
0.1771	2760	0.0495
0.1778	2770	0.0503
0.1784	2780	0.0483
0.1791	2790	0.0438
0.1797	2800	0.0591
0.1804	2810	0.0602
0.1810	2820	0.0462
0.1816	2830	0.0402
0.1823	2840	0.0529
0.1829	2850	0.0726
0.1836	2860	0.034
0.1842	2870	0.0533
0.1849	2880	0.0405
0.1855	2890	0.0766
0.1861	2900	0.0484
0.1868	2910	0.0373
0.1874	2920	0.059
0.1881	2930	0.0484
0.1887	2940	0.0651
0.1893	2950	0.0347
0.1900	2960	0.0415
0.1906	2970	0.0427
0.1913	2980	0.037
0.1919	2990	0.0467
0.1926	3000	0.0516
0.1932	3010	0.0407
0.1938	3020	0.0321
0.1945	3030	0.0609
0.1951	3040	0.0466
0.1958	3050	0.0491
0.1964	3060	0.0524
0.1970	3070	0.038
0.1977	3080	0.0488
0.1983	3090	0.0413
0.1990	3100	0.0397
0.1996	3110	0.0371
0.2003	3120	0.0415
0.2009	3130	0.0588
0.2015	3140	0.0596
0.2022	3150	0.0498
0.2028	3160	0.0404
0.2035	3170	0.0672
0.2041	3180	0.0585
0.2047	3190	0.0632
0.2054	3200	0.0323
0.2060	3210	0.0596
0.2067	3220	0.0532
0.2073	3230	0.0511
0.2080	3240	0.0434
0.2086	3250	0.0312
0.2092	3260	0.0552
0.2099	3270	0.0163
0.2105	3280	0.0367
0.2112	3290	0.033
0.2118	3300	0.0334
0.2125	3310	0.0266
0.2131	3320	0.0276
0.2137	3330	0.0535
0.2144	3340	0.0344
0.2150	3350	0.0301
0.2157	3360	0.0316
0.2163	3370	0.0445
0.2169	3380	0.0493
0.2176	3390	0.031
0.2182	3400	0.04
0.2189	3410	0.0432
0.2195	3420	0.0289
0.2202	3430	0.0399
0.2208	3440	0.0348
0.2214	3450	0.0483
0.2221	3460	0.0448
0.2227	3470	0.0497
0.2234	3480	0.0422
0.2240	3490	0.0509
0.2246	3500	0.0457
0.2253	3510	0.0188
0.2259	3520	0.0472
0.2266	3530	0.0233
0.2272	3540	0.0694
0.2279	3550	0.0357
0.2285	3560	0.0224
0.2291	3570	0.043
0.2298	3580	0.0266
0.2304	3590	0.0493
0.2311	3600	0.04
0.2317	3610	0.0494
0.2323	3620	0.0399
0.2330	3630	0.0386
0.2336	3640	0.0418
0.2343	3650	0.0516
0.2349	3660	0.0575
0.2356	3670	0.0639
0.2362	3680	0.0376
0.2368	3690	0.044
0.2375	3700	0.0359
0.2381	3710	0.0371
0.2388	3720	0.0485
0.2394	3730	0.0349
0.2400	3740	0.048
0.2407	3750	0.0355
0.2413	3760	0.0501
0.2420	3770	0.0579
0.2426	3780	0.0429
0.2433	3790	0.0421
0.2439	3800	0.0423
0.2445	3810	0.063
0.2452	3820	0.0523
0.2458	3830	0.0345
0.2465	3840	0.0589
0.2471	3850	0.0435
0.2478	3860	0.0328
0.2484	3870	0.0237
0.2490	3880	0.0421
0.2497	3890	0.0403
0.2503	3900	0.0303
0.2510	3910	0.037
0.2516	3920	0.0607
0.2522	3930	0.0564
0.2529	3940	0.0416
0.2535	3950	0.0606
0.2542	3960	0.0284
0.2548	3970	0.0302
0.2555	3980	0.0504
0.2561	3990	0.025
0.2567	4000	0.0451
0.2574	4010	0.0376
0.2580	4020	0.0357
0.2587	4030	0.0509
0.2593	4040	0.0343
0.2599	4050	0.0535
0.2606	4060	0.0481
0.2612	4070	0.0297
0.2619	4080	0.0371
0.2625	4090	0.0469
0.2632	4100	0.0612
0.2638	4110	0.0599
0.2644	4120	0.0275
0.2651	4130	0.0306
0.2657	4140	0.0321
0.2664	4150	0.0463
0.2670	4160	0.029
0.2676	4170	0.0323
0.2683	4180	0.0542
0.2689	4190	0.034
0.2696	4200	0.0482
0.2702	4210	0.0441
0.2709	4220	0.0316
0.2715	4230	0.0362
0.2721	4240	0.0351
0.2728	4250	0.0344
0.2734	4260	0.0301
0.2741	4270	0.0457
0.2747	4280	0.0301
0.2754	4290	0.0341
0.2760	4300	0.0333
0.2766	4310	0.0293
0.2773	4320	0.0262
0.2779	4330	0.0259
0.2786	4340	0.0203
0.2792	4350	0.0332
0.2798	4360	0.0387
0.2805	4370	0.026
0.2811	4380	0.0349
0.2818	4390	0.0297
0.2824	4400	0.0311
0.2831	4410	0.0344
0.2837	4420	0.0278
0.2843	4430	0.038
0.2850	4440	0.0408
0.2856	4450	0.0403
0.2863	4460	0.0487
0.2869	4470	0.0401
0.2875	4480	0.0323
0.2882	4490	0.036
0.2888	4500	0.0449
0.2895	4510	0.0287
0.2901	4520	0.0585
0.2908	4530	0.0351
0.2914	4540	0.0496
0.2920	4550	0.0353
0.2927	4560	0.0378
0.2933	4570	0.0408
0.2940	4580	0.0328
0.2946	4590	0.0546
0.2952	4600	0.0305
0.2959	4610	0.0302
0.2965	4620	0.0314
0.2972	4630	0.036
0.2978	4640	0.0299
0.2985	4650	0.039
0.2991	4660	0.0524
0.2997	4670	0.0407
0.3004	4680	0.0419
0.3010	4690	0.0489
0.3017	4700	0.0305
0.3023	4710	0.0261
0.3030	4720	0.039
0.3036	4730	0.0238
0.3042	4740	0.0348
0.3049	4750	0.0601
0.3055	4760	0.0209
0.3062	4770	0.0273
0.3068	4780	0.0309
0.3074	4790	0.0249
0.3081	4800	0.0445
0.3087	4810	0.0185
0.3094	4820	0.0334
0.3100	4830	0.0408
0.3107	4840	0.0486
0.3113	4850	0.0245
0.3119	4860	0.0282
0.3126	4870	0.0367
0.3132	4880	0.0286
0.3139	4890	0.0262
0.3145	4900	0.0471
0.3151	4910	0.0278
0.3158	4920	0.0422
0.3164	4930	0.0448
0.3171	4940	0.0291
0.3177	4950	0.024
0.3184	4960	0.0164
0.3190	4970	0.0408
0.3196	4980	0.0351
0.3203	4990	0.0592
0.3209	5000	0.0245
0.3216	5010	0.0341
0.3222	5020	0.0312
0.3228	5030	0.0314
0.3235	5040	0.0248
0.3241	5050	0.0245
0.3248	5060	0.0333
0.3254	5070	0.0327
0.3261	5080	0.0415
0.3267	5090	0.0412
0.3273	5100	0.0333
0.3280	5110	0.0509
0.3286	5120	0.0313
0.3293	5130	0.026
0.3299	5140	0.0238
0.3305	5150	0.0261
0.3312	5160	0.0362
0.3318	5170	0.0172
0.3325	5180	0.033
0.3331	5190	0.0464
0.3338	5200	0.02
0.3344	5210	0.0331
0.3350	5220	0.0236
0.3357	5230	0.0427
0.3363	5240	0.0456
0.3370	5250	0.043
0.3376	5260	0.0433
0.3383	5270	0.0302
0.3389	5280	0.0213
0.3395	5290	0.0288
0.3402	5300	0.0263
0.3408	5310	0.0103
0.3415	5320	0.0375
0.3421	5330	0.0234
0.3427	5340	0.0337
0.3434	5350	0.0278
0.3440	5360	0.0292
0.3447	5370	0.0336
0.3453	5380	0.0386
0.3460	5390	0.0349
0.3466	5400	0.0434
0.3472	5410	0.0409
0.3479	5420	0.0175
0.3485	5430	0.0244
0.3492	5440	0.0322
0.3498	5450	0.0469
0.3504	5460	0.0376
0.3511	5470	0.0206
0.3517	5480	0.0215
0.3524	5490	0.0231
0.3530	5500	0.0414
0.3537	5510	0.0278
0.3543	5520	0.0201
0.3549	5530	0.0196
0.3556	5540	0.0395
0.3562	5550	0.0419
0.3569	5560	0.0238
0.3575	5570	0.0279
0.3581	5580	0.0429
0.3588	5590	0.031
0.3594	5600	0.0312
0.3601	5610	0.0281
0.3607	5620	0.0218
0.3614	5630	0.0291
0.3620	5640	0.0385
0.3626	5650	0.0367
0.3633	5660	0.0181
0.3639	5670	0.0211
0.3646	5680	0.0218
0.3652	5690	0.0343
0.3659	5700	0.0285
0.3665	5710	0.0343
0.3671	5720	0.0289
0.3678	5730	0.0367
0.3684	5740	0.0265
0.3691	5750	0.0476
0.3697	5760	0.028
0.3703	5770	0.0322
0.3710	5780	0.0332
0.3716	5790	0.0281
0.3723	5800	0.0434
0.3729	5810	0.0361
0.3736	5820	0.0387
0.3742	5830	0.0418
0.3748	5840	0.0366
0.3755	5850	0.0304
0.3761	5860	0.0254
0.3768	5870	0.05
0.3774	5880	0.0259
0.3780	5890	0.0313
0.3787	5900	0.0359
0.3793	5910	0.0443
0.3800	5920	0.0302
0.3806	5930	0.0215
0.3813	5940	0.0239
0.3819	5950	0.0291
0.3825	5960	0.0381
0.3832	5970	0.0316
0.3838	5980	0.0226
0.3845	5990	0.0219
0.3851	6000	0.023
0.3857	6010	0.0265
0.3864	6020	0.0252
0.3870	6030	0.0386
0.3877	6040	0.0279
0.3883	6050	0.0373
0.3890	6060	0.042
0.3896	6070	0.0364
0.3902	6080	0.0218
0.3909	6090	0.0462
0.3915	6100	0.0476
0.3922	6110	0.0275
0.3928	6120	0.0312
0.3934	6130	0.0168
0.3941	6140	0.0296
0.3947	6150	0.0378
0.3954	6160	0.0393
0.3960	6170	0.0265
0.3967	6180	0.0177
0.3973	6190	0.0231
0.3979	6200	0.0311
0.3986	6210	0.0298
0.3992	6220	0.0372
0.3999	6230	0.0219
0.4005	6240	0.0161
0.4012	6250	0.0337
0.4018	6260	0.0248
0.4024	6270	0.0435
0.4031	6280	0.0325
0.4037	6290	0.0413
0.4044	6300	0.0467
0.4050	6310	0.0333
0.4056	6320	0.0283
0.4063	6330	0.0201
0.4069	6340	0.0276
0.4076	6350	0.0363
0.4082	6360	0.0355
0.4089	6370	0.028
0.4095	6380	0.0343
0.4101	6390	0.0275
0.4108	6400	0.0282
0.4114	6410	0.019
0.4121	6420	0.0251
0.4127	6430	0.0496
0.4133	6440	0.0496
0.4140	6450	0.0334
0.4146	6460	0.0259
0.4153	6470	0.024
0.4159	6480	0.0478
0.4166	6490	0.0242
0.4172	6500	0.0168
0.4178	6510	0.0286
0.4185	6520	0.0331
0.4191	6530	0.0313
0.4198	6540	0.0424
0.4204	6550	0.0311
0.4210	6560	0.0262
0.4217	6570	0.0364
0.4223	6580	0.0209
0.4230	6590	0.0331
0.4236	6600	0.0347
0.4243	6610	0.03
0.4249	6620	0.0229
0.4255	6630	0.0254
0.4262	6640	0.0311
0.4268	6650	0.0276
0.4275	6660	0.0229
0.4281	6670	0.0476
0.4288	6680	0.0393
0.4294	6690	0.0422
0.4300	6700	0.0339
0.4307	6710	0.0253
0.4313	6720	0.0226
0.4320	6730	0.041
0.4326	6740	0.0236
0.4332	6750	0.0488
0.4339	6760	0.0202
0.4345	6770	0.0174
0.4352	6780	0.0476
0.4358	6790	0.0358
0.4365	6800	0.0298
0.4371	6810	0.0344
0.4377	6820	0.026
0.4384	6830	0.0378
0.4390	6840	0.0327
0.4397	6850	0.0367
0.4403	6860	0.0215
0.4409	6870	0.0323
0.4416	6880	0.0177
0.4422	6890	0.0347
0.4429	6900	0.0291
0.4435	6910	0.0154
0.4442	6920	0.0306
0.4448	6930	0.0216
0.4454	6940	0.0418
0.4461	6950	0.0277
0.4467	6960	0.0232
0.4474	6970	0.0308
0.4480	6980	0.0287
0.4486	6990	0.0289
0.4493	7000	0.0442
0.4499	7010	0.0123
0.4506	7020	0.0354
0.4512	7030	0.0204
0.4519	7040	0.0323
0.4525	7050	0.027
0.4531	7060	0.0271
0.4538	7070	0.0207
0.4544	7080	0.0339
0.4551	7090	0.0243
0.4557	7100	0.024
0.4564	7110	0.0479
0.4570	7120	0.0181
0.4576	7130	0.0156
0.4583	7140	0.0222
0.4589	7150	0.0295
0.4596	7160	0.0254
0.4602	7170	0.0218
0.4608	7180	0.0327
0.4615	7190	0.0326
0.4621	7200	0.0213
0.4628	7210	0.0281
0.4634	7220	0.0349
0.4641	7230	0.0395
0.4647	7240	0.0234
0.4653	7250	0.0229
0.4660	7260	0.0317
0.4666	7270	0.0339
0.4673	7280	0.0233
0.4679	7290	0.028
0.4685	7300	0.0244
0.4692	7310	0.0205
0.4698	7320	0.0237
0.4705	7330	0.0254
0.4711	7340	0.0466
0.4718	7350	0.036
0.4724	7360	0.012
0.4730	7370	0.0325
0.4737	7380	0.0236
0.4743	7390	0.0393
0.4750	7400	0.0323
0.4756	7410	0.0381
0.4762	7420	0.0545
0.4769	7430	0.025
0.4775	7440	0.0275
0.4782	7450	0.02
0.4788	7460	0.0222
0.4795	7470	0.0293
0.4801	7480	0.013
0.4807	7490	0.0137
0.4814	7500	0.0241
0.4820	7510	0.0181
0.4827	7520	0.0119
0.4833	7530	0.0209
0.4839	7540	0.0312
0.4846	7550	0.0335
0.4852	7560	0.0294
0.4859	7570	0.0131
0.4865	7580	0.0195
0.4872	7590	0.0446
0.4878	7600	0.0255
0.4884	7610	0.0222
0.4891	7620	0.0291
0.4897	7630	0.0131
0.4904	7640	0.042
0.4910	7650	0.0227
0.4917	7660	0.0212
0.4923	7670	0.0365
0.4929	7680	0.0417
0.4936	7690	0.0349
0.4942	7700	0.0355
0.4949	7710	0.0237
0.4955	7720	0.0242
0.4961	7730	0.0207
0.4968	7740	0.0255
0.4974	7750	0.0242
0.4981	7760	0.0303
0.4987	7770	0.0191
0.4994	7780	0.0235
0.5000	7790	0.0132
0.5006	7800	0.0331
0.5013	7810	0.0198
0.5019	7820	0.0217
0.5026	7830	0.0366
0.5032	7840	0.0103
0.5038	7850	0.0321
0.5045	7860	0.0183
0.5051	7870	0.0242
0.5058	7880	0.0182
0.5064	7890	0.0207
0.5071	7900	0.0385
0.5077	7910	0.0293
0.5083	7920	0.0201
0.5090	7930	0.0137
0.5096	7940	0.0244
0.5103	7950	0.011
0.5109	7960	0.0314
0.5115	7970	0.0238
0.5122	7980	0.0191
0.5128	7990	0.0342
0.5135	8000	0.0215
0.5141	8010	0.0402
0.5148	8020	0.0194
0.5154	8030	0.0329
0.5160	8040	0.0195
0.5167	8050	0.0229
0.5173	8060	0.0214
0.5180	8070	0.0299
0.5186	8080	0.0222
0.5193	8090	0.0278
0.5199	8100	0.0226
0.5205	8110	0.0208
0.5212	8120	0.0375
0.5218	8130	0.0321
0.5225	8140	0.0141
0.5231	8150	0.0378
0.5237	8160	0.0197
0.5244	8170	0.0201
0.5250	8180	0.0222
0.5257	8190	0.016
0.5263	8200	0.0231
0.5270	8210	0.0305
0.5276	8220	0.018
0.5282	8230	0.0345
0.5289	8240	0.0293
0.5295	8250	0.0284
0.5302	8260	0.0246
0.5308	8270	0.0296
0.5314	8280	0.0327
0.5321	8290	0.0393
0.5327	8300	0.0219
0.5334	8310	0.0194
0.5340	8320	0.0308
0.5347	8330	0.0281
0.5353	8340	0.0304
0.5359	8350	0.0461
0.5366	8360	0.0254
0.5372	8370	0.0286
0.5379	8380	0.0202
0.5385	8390	0.025
0.5391	8400	0.0319
0.5398	8410	0.0299
0.5404	8420	0.0251
0.5411	8430	0.0293
0.5417	8440	0.0382
0.5424	8450	0.0254
0.5430	8460	0.0311
0.5436	8470	0.0283
0.5443	8480	0.0286
0.5449	8490	0.0249
0.5456	8500	0.0328
0.5462	8510	0.0239
0.5469	8520	0.0272
0.5475	8530	0.0262
0.5481	8540	0.0246
0.5488	8550	0.0254
0.5494	8560	0.0255
0.5501	8570	0.0307
0.5507	8580	0.0152
0.5513	8590	0.0291
0.5520	8600	0.017
0.5526	8610	0.0166
0.5533	8620	0.0302
0.5539	8630	0.012
0.5546	8640	0.0239
0.5552	8650	0.0384
0.5558	8660	0.0196
0.5565	8670	0.0287
0.5571	8680	0.0126
0.5578	8690	0.0292
0.5584	8700	0.0184
0.5590	8710	0.0232
0.5597	8720	0.0441
0.5603	8730	0.0272
0.5610	8740	0.017
0.5616	8750	0.0257
0.5623	8760	0.0256
0.5629	8770	0.0141
0.5635	8780	0.0212
0.5642	8790	0.0337
0.5648	8800	0.0252
0.5655	8810	0.0336
0.5661	8820	0.0163
0.5667	8830	0.0277
0.5674	8840	0.02
0.5680	8850	0.0225
0.5687	8860	0.0417
0.5693	8870	0.0248
0.5700	8880	0.0231
0.5706	8890	0.0282
0.5712	8900	0.0221
0.5719	8910	0.0127
0.5725	8920	0.0209
0.5732	8930	0.018
0.5738	8940	0.0368
0.5744	8950	0.0199
0.5751	8960	0.0296
0.5757	8970	0.038
0.5764	8980	0.0373
0.5770	8990	0.0328
0.5777	9000	0.0313
0.5783	9010	0.0206
0.5789	9020	0.0324
0.5796	9030	0.0242
0.5802	9040	0.0328
0.5809	9050	0.0239
0.5815	9060	0.0225
0.5822	9070	0.0334
0.5828	9080	0.0325
0.5834	9090	0.0248
0.5841	9100	0.034
0.5847	9110	0.032
0.5854	9120	0.0441
0.5860	9130	0.0247
0.5866	9140	0.0189
0.5873	9150	0.0216
0.5879	9160	0.0252
0.5886	9170	0.0174
0.5892	9180	0.0227
0.5899	9190	0.0376
0.5905	9200	0.0261
0.5911	9210	0.0382
0.5918	9220	0.0264
0.5924	9230	0.0331
0.5931	9240	0.0178
0.5937	9250	0.0219
0.5943	9260	0.0161
0.5950	9270	0.0139
0.5956	9280	0.0258
0.5963	9290	0.0251
0.5969	9300	0.0291
0.5976	9310	0.0257
0.5982	9320	0.0309
0.5988	9330	0.0256
0.5995	9340	0.021
0.6001	9350	0.0118
0.6008	9360	0.0259
0.6014	9370	0.0088
0.6020	9380	0.0176
0.6027	9390	0.0282
0.6033	9400	0.0161
0.6040	9410	0.0223
0.6046	9420	0.0189
0.6053	9430	0.0251
0.6059	9440	0.0187
0.6065	9450	0.0297
0.6072	9460	0.0181
0.6078	9470	0.023
0.6085	9480	0.0137
0.6091	9490	0.021
0.6098	9500	0.0186
0.6104	9510	0.0236
0.6110	9520	0.013
0.6117	9530	0.0262
0.6123	9540	0.0238
0.6130	9550	0.0198
0.6136	9560	0.0324
0.6142	9570	0.0149
0.6149	9580	0.0205
0.6155	9590	0.0392
0.6162	9600	0.018
0.6168	9610	0.0239
0.6175	9620	0.027
0.6181	9630	0.0276
0.6187	9640	0.0194
0.6194	9650	0.0177
0.6200	9660	0.0263
0.6207	9670	0.0236
0.6213	9680	0.0228
0.6219	9690	0.0235
0.6226	9700	0.0243
0.6232	9710	0.0281
0.6239	9720	0.0242
0.6245	9730	0.0226
0.6252	9740	0.034
0.6258	9750	0.0157
0.6264	9760	0.0122
0.6271	9770	0.0222
0.6277	9780	0.016
0.6284	9790	0.0247
0.6290	9800	0.0364
0.6296	9810	0.0265
0.6303	9820	0.0146
0.6309	9830	0.0161
0.6316	9840	0.0278
0.6322	9850	0.0246
0.6329	9860	0.0126
0.6335	9870	0.0215
0.6341	9880	0.0223
0.6348	9890	0.0167
0.6354	9900	0.0129
0.6361	9910	0.0121
0.6367	9920	0.021
0.6374	9930	0.0423
0.6380	9940	0.0214
0.6386	9950	0.0307
0.6393	9960	0.0222
0.6399	9970	0.0319
0.6406	9980	0.0297
0.6412	9990	0.0307
0.6418	10000	0.0392
0.6425	10010	0.034
0.6431	10020	0.012
0.6438	10030	0.0293
0.6444	10040	0.0228
0.6451	10050	0.024
0.6457	10060	0.0185
0.6463	10070	0.0189
0.6470	10080	0.0212
0.6476	10090	0.0312
0.6483	10100	0.0191
0.6489	10110	0.0311
0.6495	10120	0.0258
0.6502	10130	0.0253
0.6508	10140	0.0288
0.6515	10150	0.0206
0.6521	10160	0.0189
0.6528	10170	0.0219
0.6534	10180	0.0272
0.6540	10190	0.0167
0.6547	10200	0.0113
0.6553	10210	0.0173
0.6560	10220	0.0224
0.6566	10230	0.0228
0.6572	10240	0.0363
0.6579	10250	0.0302
0.6585	10260	0.0183
0.6592	10270	0.0204
0.6598	10280	0.025
0.6605	10290	0.0288
0.6611	10300	0.0309
0.6617	10310	0.0363
0.6624	10320	0.0145
0.6630	10330	0.0381
0.6637	10340	0.0201
0.6643	10350	0.0115
0.6649	10360	0.02
0.6656	10370	0.0197
0.6662	10380	0.0173
0.6669	10390	0.0172
0.6675	10400	0.0233
0.6682	10410	0.029
0.6688	10420	0.0157
0.6694	10430	0.0296
0.6701	10440	0.0358
0.6707	10450	0.0316
0.6714	10460	0.034
0.6720	10470	0.0133
0.6727	10480	0.0339
0.6733	10490	0.0204
0.6739	10500	0.0231
0.6746	10510	0.0151
0.6752	10520	0.0274
0.6759	10530	0.0209
0.6765	10540	0.0187
0.6771	10550	0.0298
0.6778	10560	0.0214
0.6784	10570	0.015
0.6791	10580	0.0259
0.6797	10590	0.018
0.6804	10600	0.0192
0.6810	10610	0.0196
0.6816	10620	0.0163
0.6823	10630	0.0277
0.6829	10640	0.0167
0.6836	10650	0.02
0.6842	10660	0.0408
0.6848	10670	0.0202
0.6855	10680	0.0449
0.6861	10690	0.0246
0.6868	10700	0.0248
0.6874	10710	0.024
0.6881	10720	0.0314
0.6887	10730	0.0102
0.6893	10740	0.0272
0.6900	10750	0.0196
0.6906	10760	0.0133
0.6913	10770	0.0205
0.6919	10780	0.0237
0.6925	10790	0.0203
0.6932	10800	0.0267
0.6938	10810	0.0261
0.6945	10820	0.0248
0.6951	10830	0.0228
0.6958	10840	0.0415
0.6964	10850	0.0277
0.6970	10860	0.0342
0.6977	10870	0.0289
0.6983	10880	0.016
0.6990	10890	0.0103
0.6996	10900	0.0233
0.7003	10910	0.0158
0.7009	10920	0.0183
0.7015	10930	0.0156
0.7022	10940	0.0488
0.7028	10950	0.0235
0.7035	10960	0.0201
0.7041	10970	0.0192
0.7047	10980	0.0283
0.7054	10990	0.0131
0.7060	11000	0.0216
0.7067	11010	0.0184
0.7073	11020	0.0354
0.7080	11030	0.028
0.7086	11040	0.0242
0.7092	11050	0.0131
0.7099	11060	0.0233
0.7105	11070	0.0295
0.7112	11080	0.0177
0.7118	11090	0.0203
0.7124	11100	0.0283
0.7131	11110	0.0115
0.7137	11120	0.0252
0.7144	11130	0.0299
0.7150	11140	0.0199
0.7157	11150	0.0361
0.7163	11160	0.0269
0.7169	11170	0.02
0.7176	11180	0.0167
0.7182	11190	0.0169
0.7189	11200	0.0242
0.7195	11210	0.0276
0.7201	11220	0.0176
0.7208	11230	0.019
0.7214	11240	0.0382
0.7221	11250	0.0354
0.7227	11260	0.0155
0.7234	11270	0.0196
0.7240	11280	0.0328
0.7246	11290	0.0161
0.7253	11300	0.013
0.7259	11310	0.0145
0.7266	11320	0.0217
0.7272	11330	0.0171
0.7279	11340	0.0284
0.7285	11350	0.0264
0.7291	11360	0.03
0.7298	11370	0.0202
0.7304	11380	0.0302
0.7311	11390	0.03
0.7317	11400	0.0276
0.7323	11410	0.0221
0.7330	11420	0.0375
0.7336	11430	0.0341
0.7343	11440	0.0263
0.7349	11450	0.0145
0.7356	11460	0.0212
0.7362	11470	0.0267
0.7368	11480	0.0144
0.7375	11490	0.0311
0.7381	11500	0.0332
0.7388	11510	0.0282
0.7394	11520	0.0279
0.7400	11530	0.0281
0.7407	11540	0.0244
0.7413	11550	0.0152
0.7420	11560	0.0193
0.7426	11570	0.0494
0.7433	11580	0.0246
0.7439	11590	0.03
0.7445	11600	0.0223
0.7452	11610	0.0221
0.7458	11620	0.0248
0.7465	11630	0.0292
0.7471	11640	0.0125
0.7477	11650	0.0125
0.7484	11660	0.0144
0.7490	11670	0.0149
0.7497	11680	0.0232
0.7503	11690	0.0114
0.7510	11700	0.0109
0.7516	11710	0.0152
0.7522	11720	0.0158
0.7529	11730	0.0146
0.7535	11740	0.0285
0.7542	11750	0.021
0.7548	11760	0.0268
0.7554	11770	0.0312
0.7561	11780	0.0298
0.7567	11790	0.0183
0.7574	11800	0.0139
0.7580	11810	0.0223
0.7587	11820	0.0193
0.7593	11830	0.0285
0.7599	11840	0.0282
0.7606	11850	0.0191
0.7612	11860	0.016
0.7619	11870	0.0136
0.7625	11880	0.0191
0.7632	11890	0.0156
0.7638	11900	0.0299
0.7644	11910	0.0202
0.7651	11920	0.0342
0.7657	11930	0.014
0.7664	11940	0.0244
0.7670	11950	0.0128
0.7676	11960	0.0229
0.7683	11970	0.0188
0.7689	11980	0.019
0.7696	11990	0.02
0.7702	12000	0.0191
0.7709	12010	0.0169
0.7715	12020	0.014
0.7721	12030	0.0185
0.7728	12040	0.0201
0.7734	12050	0.0124
0.7741	12060	0.0149
0.7747	12070	0.0352
0.7753	12080	0.0087
0.7760	12090	0.0201
0.7766	12100	0.027
0.7773	12110	0.0159
0.7779	12120	0.0435
0.7786	12130	0.0255
0.7792	12140	0.0226
0.7798	12150	0.0164
0.7805	12160	0.0231
0.7811	12170	0.0085
0.7818	12180	0.0269
0.7824	12190	0.0489
0.7830	12200	0.0203
0.7837	12210	0.02
0.7843	12220	0.0317
0.7850	12230	0.0174
0.7856	12240	0.018
0.7863	12250	0.0251
0.7869	12260	0.0143
0.7875	12270	0.0373
0.7882	12280	0.0307
0.7888	12290	0.0108
0.7895	12300	0.02
0.7901	12310	0.0178
0.7908	12320	0.0161
0.7914	12330	0.0215
0.7920	12340	0.018
0.7927	12350	0.0216
0.7933	12360	0.025
0.7940	12370	0.0157
0.7946	12380	0.0132
0.7952	12390	0.0368
0.7959	12400	0.0155
0.7965	12410	0.0155
0.7972	12420	0.0234
0.7978	12430	0.0259
0.7985	12440	0.0431
0.7991	12450	0.0114
0.7997	12460	0.0147
0.8004	12470	0.0103
0.8010	12480	0.0225
0.8017	12490	0.0276
0.8023	12500	0.03
0.8029	12510	0.0242
0.8036	12520	0.0114
0.8042	12530	0.0117
0.8049	12540	0.0222
0.8055	12550	0.0242
0.8062	12560	0.0264
0.8068	12570	0.0115
0.8074	12580	0.0207
0.8081	12590	0.0154
0.8087	12600	0.0121
0.8094	12610	0.0278
0.8100	12620	0.0187
0.8106	12630	0.022
0.8113	12640	0.0105
0.8119	12650	0.0229
0.8126	12660	0.0209
0.8132	12670	0.0096
0.8139	12680	0.0218
0.8145	12690	0.0391
0.8151	12700	0.0245
0.8158	12710	0.0241
0.8164	12720	0.0278
0.8171	12730	0.0108
0.8177	12740	0.0154
0.8184	12750	0.016
0.8190	12760	0.0158
0.8196	12770	0.0141
0.8203	12780	0.0135
0.8209	12790	0.014
0.8216	12800	0.0134
0.8222	12810	0.0202
0.8228	12820	0.0164
0.8235	12830	0.022
0.8241	12840	0.0339
0.8248	12850	0.0314
0.8254	12860	0.0307
0.8261	12870	0.0084
0.8267	12880	0.021
0.8273	12890	0.0144
0.8280	12900	0.0214
0.8286	12910	0.023
0.8293	12920	0.0231
0.8299	12930	0.0246
0.8305	12940	0.0173
0.8312	12950	0.0355
0.8318	12960	0.026
0.8325	12970	0.0283
0.8331	12980	0.0117
0.8338	12990	0.0189
0.8344	13000	0.0299
0.8350	13010	0.0301
0.8357	13020	0.0063
0.8363	13030	0.0212
0.8370	13040	0.0227
0.8376	13050	0.0144
0.8382	13060	0.0243
0.8389	13070	0.0239
0.8395	13080	0.0183
0.8402	13090	0.0296
0.8408	13100	0.0167
0.8415	13110	0.0187
0.8421	13120	0.0273
0.8427	13130	0.0188
0.8434	13140	0.0133
0.8440	13150	0.0246
0.8447	13160	0.0297
0.8453	13170	0.0275
0.8459	13180	0.0219
0.8466	13190	0.0162
0.8472	13200	0.0298
0.8479	13210	0.0329
0.8485	13220	0.0244
0.8492	13230	0.0211
0.8498	13240	0.0187
0.8504	13250	0.0213
0.8511	13260	0.0362
0.8517	13270	0.0195
0.8524	13280	0.0239
0.8530	13290	0.017
0.8537	13300	0.0212
0.8543	13310	0.0354
0.8549	13320	0.0124
0.8556	13330	0.0218
0.8562	13340	0.0219
0.8569	13350	0.0179
0.8575	13360	0.0215
0.8581	13370	0.0194
0.8588	13380	0.0177
0.8594	13390	0.044
0.8601	13400	0.0221
0.8607	13410	0.0208
0.8614	13420	0.0342
0.8620	13430	0.0301
0.8626	13440	0.019
0.8633	13450	0.0124
0.8639	13460	0.0274
0.8646	13470	0.0173
0.8652	13480	0.0091
0.8658	13490	0.0178
0.8665	13500	0.0228
0.8671	13510	0.0237
0.8678	13520	0.012
0.8684	13530	0.0208
0.8691	13540	0.0197
0.8697	13550	0.021
0.8703	13560	0.0154
0.8710	13570	0.0187
0.8716	13580	0.0292
0.8723	13590	0.0275
0.8729	13600	0.0218
0.8735	13610	0.0129
0.8742	13620	0.0167
0.8748	13630	0.0184
0.8755	13640	0.0265
0.8761	13650	0.0188
0.8768	13660	0.0195
0.8774	13670	0.0279
0.8780	13680	0.0227
0.8787	13690	0.0164
0.8793	13700	0.02
0.8800	13710	0.022
0.8806	13720	0.0207
0.8813	13730	0.0206
0.8819	13740	0.0222
0.8825	13750	0.0077
0.8832	13760	0.0218
0.8838	13770	0.0301
0.8845	13780	0.0274
0.8851	13790	0.0207
0.8857	13800	0.0294
0.8864	13810	0.0127
0.8870	13820	0.0241
0.8877	13830	0.0181
0.8883	13840	0.0111
0.8890	13850	0.0328
0.8896	13860	0.0309
0.8902	13870	0.014
0.8909	13880	0.0152
0.8915	13890	0.0183
0.8922	13900	0.0303
0.8928	13910	0.015
0.8934	13920	0.022
0.8941	13930	0.013
0.8947	13940	0.0154
0.8954	13950	0.022
0.8960	13960	0.0147
0.8967	13970	0.01
0.8973	13980	0.0187
0.8979	13990	0.0194
0.8986	14000	0.029
0.8992	14010	0.0499
0.8999	14020	0.015
0.9005	14030	0.032
0.9011	14040	0.0145
0.9018	14050	0.0111
0.9024	14060	0.0216
0.9031	14070	0.0265
0.9037	14080	0.0236
0.9044	14090	0.0318
0.9050	14100	0.0129
0.9056	14110	0.0192
0.9063	14120	0.0173
0.9069	14130	0.0292
0.9076	14140	0.0187
0.9082	14150	0.0153
0.9089	14160	0.0243
0.9095	14170	0.0296
0.9101	14180	0.0264
0.9108	14190	0.0185
0.9114	14200	0.0239
0.9121	14210	0.0216
0.9127	14220	0.0172
0.9133	14230	0.0346
0.9140	14240	0.0207
0.9146	14250	0.012
0.9153	14260	0.0269
0.9159	14270	0.0236
0.9166	14280	0.0379
0.9172	14290	0.0151
0.9178	14300	0.0124
0.9185	14310	0.0208
0.9191	14320	0.0225
0.9198	14330	0.0153
0.9204	14340	0.0267
0.9210	14350	0.0235
0.9217	14360	0.0303
0.9223	14370	0.0132
0.9230	14380	0.0104
0.9236	14390	0.0189
0.9243	14400	0.0215
0.9249	14410	0.0259
0.9255	14420	0.0327
0.9262	14430	0.0182
0.9268	14440	0.0235
0.9275	14450	0.0281
0.9281	14460	0.0155
0.9287	14470	0.0345
0.9294	14480	0.0273
0.9300	14490	0.0264
0.9307	14500	0.0053
0.9313	14510	0.0238
0.9320	14520	0.0292
0.9326	14530	0.0105
0.9332	14540	0.0246
0.9339	14550	0.0123
0.9345	14560	0.0129
0.9352	14570	0.0206
0.9358	14580	0.0345
0.9364	14590	0.0187
0.9371	14600	0.0217
0.9377	14610	0.0247
0.9384	14620	0.0106
0.9390	14630	0.0189
0.9397	14640	0.0228
0.9403	14650	0.0163
0.9409	14660	0.0198
0.9416	14670	0.0145
0.9422	14680	0.0144
0.9429	14690	0.0223
0.9435	14700	0.0249
0.9442	14710	0.014
0.9448	14720	0.0198
0.9454	14730	0.0311
0.9461	14740	0.0197
0.9467	14750	0.0235
0.9474	14760	0.0213
0.9480	14770	0.0244
0.9486	14780	0.0304
0.9493	14790	0.0116
0.9499	14800	0.0251
0.9506	14810	0.0253
0.9512	14820	0.0138
0.9519	14830	0.0162
0.9525	14840	0.024
0.9531	14850	0.0251
0.9538	14860	0.0198
0.9544	14870	0.0143
0.9551	14880	0.0214
0.9557	14890	0.0161
0.9563	14900	0.0157
0.9570	14910	0.0217
0.9576	14920	0.0208
0.9583	14930	0.0209
0.9589	14940	0.0315
0.9596	14950	0.0153
0.9602	14960	0.0254
0.9608	14970	0.0291
0.9615	14980	0.0177
0.9621	14990	0.0102
0.9628	15000	0.0426
0.9634	15010	0.0362
0.9640	15020	0.0327
0.9647	15030	0.0236
0.9653	15040	0.0213
0.9660	15050	0.0208
0.9666	15060	0.0185
0.9673	15070	0.016
0.9679	15080	0.0177
0.9685	15090	0.0127
0.9692	15100	0.0222
0.9698	15110	0.0133
0.9705	15120	0.0222
0.9711	15130	0.0369
0.9718	15140	0.0306
0.9724	15150	0.0112
0.9730	15160	0.0186
0.9737	15170	0.0054
0.9743	15180	0.0282
0.9750	15190	0.0326
0.9756	15200	0.0252
0.9762	15210	0.0333
0.9769	15220	0.0149
0.9775	15230	0.0216
0.9782	15240	0.017
0.9788	15250	0.0288
0.9795	15260	0.0089
0.9801	15270	0.014
0.9807	15280	0.0175
0.9814	15290	0.0124
0.9820	15300	0.0284
0.9827	15310	0.0224
0.9833	15320	0.0232
0.9839	15330	0.0243
0.9846	15340	0.0056
0.9852	15350	0.007
0.9859	15360	0.0214
0.9865	15370	0.0295
0.9872	15380	0.0255
0.9878	15390	0.021
0.9884	15400	0.0242
0.9891	15410	0.027
0.9897	15420	0.0398
0.9904	15430	0.0135
0.9910	15440	0.0178
0.9916	15450	0.0175
0.9923	15460	0.0279
0.9929	15470	0.016
0.9936	15480	0.0353
0.9942	15490	0.0139
0.9949	15500	0.0165
0.9955	15510	0.0321
0.9961	15520	0.0248
0.9968	15530	0.0076
0.9974	15540	0.0229
0.9981	15550	0.0123
0.9987	15560	0.0135
0.9994	15570	0.0214
1.0000	15580	0.0197

Environmental Impact

Carbon emissions were measured using CodeCarbon.

• Energy Consumed: 2.867 kWh
• Carbon Emitted: 2.223 kg of CO2
• Hours Used: 9.62 hours

Training Hardware

• On Cloud: No
• GPU Model: 1 x NVIDIA GeForce RTX 3090
• CPU Model: AMD Ryzen 9 5950X 16-Core Processor
• RAM Size: 31.24 GB

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 5.0.0
• Transformers: 4.56.0.dev0
• PyTorch: 2.8.0+cu126
• Accelerate: 1.9.0
• Datasets: 4.0.0
• Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}