qminh369/bidv-dense_embedding

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("qminh369/bidv-dense_embedding")
# Run inference
sentences = [
    'Làm thế nào để xem chi tiết về một giao dịch trong kỳ sao kê của thẻ tín dụng?',
    'HƯỚNG DẪN SỬ DỤNG \nSMARTBANKING V. Dịch vụ thẻ   /   8. Sao kê thẻ tín dụng 938. Sao kê thẻ tín dụng\nBước 3: Bước 4: \nNhấn nút Tra cứu. Màn hình hiển thị sao kê gồm 2 tab là Thông \ntin sao kê và Giao dịch trong kỳ \n• Tab Thông tin sao kê gồm số thẻ, kỳ sao kê, số dư đầu kỳ, s ố \ndư cuối kỳ, số tiền chi tiêu trong kỳ, ngày lập sao kê, số ti ền \nthanh toán tối thiểu… \n• Tab Giao dịch trong kỳ hiển thị các giao dịch đã phát sinh của \nthẻ trong kỳ sao kê đang truy vấn Nếu muốn xem chi tiết giao dịch, chọn vào giao dịch màn hìn h \nsẽ hiển thị các thông tin về giao dịch tương tự khi tra cứu tại \nchức năng Lịch sử giao dịch gồm số thẻ, số tiền giao dịch, l oại \ngiao dịch, ngày giao dịch, ngày quyết toán, nội dung...',
    'HƯỚNG DẪN SỬ DỤNG \nSMARTBANKING III. Cài đặt   /   1.3. Hủy danh bạ yêu thích 261.3. Hủy danh bạ yêu thích\nBước 1: Bước 2: Bước 3:\n• Chọn 1 danh bạ muốn hủy yêu thích  \n• Nhấn chọn icon         ở góc phải danh bạ đó.Nhấn chọn chức năng Bỏ yêu thích Danh bạ vừa hủy bỏ yêu thích s ẽ hiển thị về đúng \nloại chuyển khoản của danh bạ đó.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,061 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 5 tokens mean: 24.43 tokens max: 56 tokens	min: 3 tokens mean: 336.56 tokens max: 512 tokens

• Samples:

  sentence_0	sentence_1
  Làm thế nào để đủ điều kiện nhận khuyến mãi khi sử dụng thẻ tín dụng hạng Platinum?	PHỤ LỤC 01: THỂ LỆ CHƯƠNG TRÌNH KHUYẾN MẠI KHI MỞ THẺ TDQT BIDV HẠNG PLATINUM VÀ THẺ BIDV JCB ULTIMATE 1.Thời gian khuyến mại: từ 15/11/2023 đến 31/12/2023 hoặc khi ngân sách h ết hạn, tùy điều kiện nào đ ến trước 2.Loại thẻ áp dụng: thẻ tín dụng quốc tế BIDV h ạng Platinum, BIDV JCB Ultimate 3.Đối tượng khuyến mại: -Đối với thẻ tín dụng hạng Platinum: Khách hàng ph át hành m ới thẻ chính c ác loại thẻ tín dụng BIDV Platinum -Đối với thẻ tín dụng JCB Ultimate: Khách hàng ph át hành m ới thẻ chính thẻ tín dụng BIDV JCB Ultimate 4.Cơ chế khuyến mại: -Đối với thẻ tín dụng hạng JCB: Tặng 2 tri ệu đồng (Tương đương phí thường niên 1,5 tri ệu đồng v à thêm 500.000 đồng) khi kh ách hàng chi tiêu từ 5 tri ệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ. -Đối với thẻ tín dụng hạng Platinum: +Tặng 1 tri ệu đồng (tương đương phí thường niên 1 tri ệu đồng) khi KH chi tiêu từ 2 triệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ. +Tặng thêm 500.000 đồng khi kh ách hàng chi tiêu thêm từ 1 tri ệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ (theo Công văn 14644/BIDV-KHBL đang triển khai).
  Khi nào thời gian khuyến mãi kết thúc?	PHỤ LỤC 01: THỂ LỆ CHƯƠNG TRÌNH KHUYẾN MẠI KHI MỞ THẺ TDQT BIDV HẠNG PLATINUM VÀ THẺ BIDV JCB ULTIMATE 1.Thời gian khuyến mại: từ 15/11/2023 đến 31/12/2023 hoặc khi ngân sách h ết hạn, tùy điều kiện nào đ ến trước 2.Loại thẻ áp dụng: thẻ tín dụng quốc tế BIDV h ạng Platinum, BIDV JCB Ultimate 3.Đối tượng khuyến mại: -Đối với thẻ tín dụng hạng Platinum: Khách hàng ph át hành m ới thẻ chính c ác loại thẻ tín dụng BIDV Platinum -Đối với thẻ tín dụng JCB Ultimate: Khách hàng ph át hành m ới thẻ chính thẻ tín dụng BIDV JCB Ultimate 4.Cơ chế khuyến mại: -Đối với thẻ tín dụng hạng JCB: Tặng 2 tri ệu đồng (Tương đương phí thường niên 1,5 tri ệu đồng v à thêm 500.000 đồng) khi kh ách hàng chi tiêu từ 5 tri ệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ. -Đối với thẻ tín dụng hạng Platinum: +Tặng 1 tri ệu đồng (tương đương phí thường niên 1 tri ệu đồng) khi KH chi tiêu từ 2 triệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ. +Tặng thêm 500.000 đồng khi kh ách hàng chi tiêu thêm từ 1 tri ệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ (theo Công văn 14644/BIDV-KHBL đang triển khai).
  Ai là đối tượng được áp dụng khuyến mãi khi sử dụng thẻ tín dụng JCB Ultimate?	PHỤ LỤC 01: THỂ LỆ CHƯƠNG TRÌNH KHUYẾN MẠI KHI MỞ THẺ TDQT BIDV HẠNG PLATINUM VÀ THẺ BIDV JCB ULTIMATE 1.Thời gian khuyến mại: từ 15/11/2023 đến 31/12/2023 hoặc khi ngân sách h ết hạn, tùy điều kiện nào đ ến trước 2.Loại thẻ áp dụng: thẻ tín dụng quốc tế BIDV h ạng Platinum, BIDV JCB Ultimate 3.Đối tượng khuyến mại: -Đối với thẻ tín dụng hạng Platinum: Khách hàng ph át hành m ới thẻ chính c ác loại thẻ tín dụng BIDV Platinum -Đối với thẻ tín dụng JCB Ultimate: Khách hàng ph át hành m ới thẻ chính thẻ tín dụng BIDV JCB Ultimate 4.Cơ chế khuyến mại: -Đối với thẻ tín dụng hạng JCB: Tặng 2 tri ệu đồng (Tương đương phí thường niên 1,5 tri ệu đồng v à thêm 500.000 đồng) khi kh ách hàng chi tiêu từ 5 tri ệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ. -Đối với thẻ tín dụng hạng Platinum: +Tặng 1 tri ệu đồng (tương đương phí thường niên 1 tri ệu đồng) khi KH chi tiêu từ 2 triệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ. +Tặng thêm 500.000 đồng khi kh ách hàng chi tiêu thêm từ 1 tri ệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ (theo Công văn 14644/BIDV-KHBL đang triển khai).

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• num_train_epochs: 5
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
1.8797	500	0.2238
3.7594	1000	0.0365

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.41.2
• PyTorch: 2.3.0+cu121
• Accelerate: 0.31.0
• Datasets: 2.20.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}