werukadev/kfm-nano-id
Model bahasa yang dibangun dari nol — tokenizer BPE, RoPE, GQA,
KV cache, AdamW, dan sampling semuanya ditulis tangan tanpa
transformers, tokenizers, atau safetensors sebagai dependensi.
Skalanya, dinyatakan apa adanya
| parameter | 6,450,432 |
| lapisan | 6 |
| d_model | 256 |
| kosakata | 4,096 |
| panjang konteks | 256 |
| korpus latih | 64,533 kata |
| loss tahan | 5.309 (perplexity ~202) |
64,533 kata itu sekitar sepersejuta data model bahasa sungguhan. Yang dihasilkannya: bentuk kata dan tata kalimat Indonesia yang dikenali, dengan kosakata teknis korpusnya.
Yang TIDAK dilakukannya: menjawab pertanyaan, mengingat fakta, atau menalar. Model ini penerus teks, bukan penjawab — ia tidak pernah melihat satu pun pasangan tanya-jawab, dan tidak ada SFT sama sekali. Prompt berupa pertanyaan akan dilanjutkan, bukan dijawab.
Gunakan ini untuk memeriksa rantai implementasinya, bukan untuk tugas sungguhan.
Cara memuat
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"werukadev/kfm-nano-id", trust_remote_code=True
)
trust_remote_code=True wajib, dan artinya pemuat akan
menjalankan modeling_kfm.py dari repo ini. Arsitekturnya tidak ada
di transformers, jadi tidak ada jalan lain — dan itu memindahkan
kembali sebagian risiko yang dihindari safetensors. Bacalah kodenya.
Batas yang diketahui
- Tidak ada instruction tuning; format chat tidak akan dipatuhi.
- Korpusnya sempit (dokumentasi teknis satu proyek), jadi kosakatanya condong ke istilah rekayasa perangkat lunak.
- Panjang konteks 256 token.
- Belum diuji untuk keamanan, bias, maupun kelayakan produksi.
- Downloads last month
- 6