|
|
--- |
|
|
library_name: transformers |
|
|
base_model: panggi/t5-small-indonesian-summarization-cased |
|
|
tags: |
|
|
- generated_from_trainer |
|
|
- t5 |
|
|
- summarization |
|
|
- indonesian |
|
|
- liputan6 |
|
|
datasets: |
|
|
- id_liputan6 |
|
|
- fajrikoto/id_liputan6 |
|
|
model-index: |
|
|
- name: t5-small-indonesian-summarization |
|
|
results: [] |
|
|
license: apache-2.0 |
|
|
language: |
|
|
- id |
|
|
pipeline_tag: summarization |
|
|
metrics: |
|
|
- rouge |
|
|
- bleu |
|
|
--- |
|
|
|
|
|
## Training procedure |
|
|
|
|
|
### Training hyperparameters |
|
|
|
|
|
The following hyperparameters were used during training: |
|
|
- learning_rate: 2e-05 |
|
|
- train_batch_size: 16 (8 per perangkat pada 2 GPU) |
|
|
- eval_batch_size: 16 |
|
|
- seed: 42 |
|
|
- optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments |
|
|
- lr_scheduler_type: linear |
|
|
- num_epochs: 3 |
|
|
- mixed_precision_training: Native AMP |
|
|
|
|
|
### Training results |
|
|
|
|
|
| Training Loss | Epoch | Step | Validation Loss | |
|
|
|:-------------:|:------:|:-----:|:---------------:| |
|
|
| 2.0195 | 0.4126 | 5000 | 2.6803 | |
|
|
| 1.9432 | 0.8252 | 10000 | 2.6026 | |
|
|
| 1.9104 | 1.2378 | 15000 | 2.5520 | |
|
|
| 1.8733 | 1.6504 | 20000 | 2.5069 | |
|
|
| 1.8138 | 2.0630 | 25000 | 2.4988 | |
|
|
| 1.805 | 2.4757 | 30000 | 2.4878 | |
|
|
| 1.8078 | 2.8883 | 35000 | 2.4782 | |
|
|
|
|
|
### Evaluation Results 📊 |
|
|
|
|
|
Metric Score |
|
|
Eval Loss 2.2052 |
|
|
ROUGE-1 34.09 |
|
|
ROUGE-2 18.68 |
|
|
ROUGE-L 29.38 |
|
|
BLEU 10.42 |
|
|
|
|
|
### Framework versions |
|
|
|
|
|
- Transformers 4.52.4 |
|
|
- Pytorch 2.6.0+cu124 |
|
|
- Datasets 3.6.0 |
|
|
- Tokenizers 0.21.1 |
|
|
|
|
|
# Model Card for t5-small-indonesian-summarization |
|
|
|
|
|
Model ini adalah versi *fine-tuned* dari [`panggi/t5-small-indonesian-summarization-cased`](https://huggingface.co/panggi/t5-small-indonesian-summarization-cased) yang dilatih khusus untuk tugas **peringkasan teks abstrakstif dalam Bahasa Indonesia**. |
|
|
|
|
|
## Model Details 📝 |
|
|
- **Model Type:** T5 (Text-to-Text Transfer Transformer) |
|
|
- **Language:** Indonesian (`id`) |
|
|
- **License:** Apache 2.0 |
|
|
- **Fine-tuned from:** `panggi/t5-small-indonesian-summarization-cased` |
|
|
- **Related Community:** [SeaLLMs](https://huggingface.co/SeaLLMs) |
|
|
|
|
|
## Intended Uses & Limitations 🎯 |
|
|
|
|
|
### Intended Use |
|
|
Model ini ditujukan untuk meringkas artikel berita, dokumen, atau konten lain dalam Bahasa Indonesia secara otomatis. Untuk mendapatkan hasil terbaik, awali teks masukan Anda dengan prefiks **"ringkas: "**, seperti pada contoh di bawah. |
|
|
|
|
|
### Limitations and Bias |
|
|
- **Domain:** Kinerja terbaik model ini adalah pada teks berdomain berita, sesuai dengan data pelatihannya. Performanya mungkin menurun untuk jenis teks lain (misalnya, dokumen hukum atau sastra). |
|
|
- **Input Length:** Masukan dibatasi hingga **512 token**. Teks yang lebih panjang akan dipotong, yang berpotensi menghilangkan informasi penting di akhir dokumen. |
|
|
|
|
|
## How to Use 💻 |
|
|
|
|
|
```python |
|
|
from transformers import pipeline |
|
|
|
|
|
summarizer = pipeline("summarization", model="Irvan14/t5-small-indonesian-summarization") |
|
|
|
|
|
ARTICLE = """ |
|
|
Menteri Komunikasi dan Informatika (Menkominfo) Budi Arie Setiadi menyatakan bahwa serangan siber terhadap Pusat Data Nasional Sementara (PDNS) 2 merupakan ulah peretas yang menggunakan varian terbaru dari ransomware Lockbit 3.0. Menurut Budi, kejadian ini menjadi pembelajaran penting bagi pemerintah untuk segera membangun Pusat Data Nasional yang andal dan aman. Budi juga menegaskan bahwa pemerintah tidak akan membayar uang tebusan yang diminta oleh peretas sebesar USD 8 juta atau sekitar Rp 131 miliar, karena tidak ada jaminan data akan kembali meskipun tebusan dibayarkan. |
|
|
""" |
|
|
|
|
|
# Jangan lupa tambahkan prefiks "ringkas: " |
|
|
summary = summarizer("ringkas: " + ARTICLE, max_length=128, min_length=30, do_sample=False) |
|
|
|
|
|
print(summary[0]['summary_text']) |
