🐺 Crispy LLM — Türkçe Dil Modeli

Crispy LLM, sıfırdan yazılmış, bireysel çabayla geliştirilen bir Türkçe dil modelidir.
Transformer mimarisi üzerine kurulmuş bu model, FlashAttention v2, Rotary Positional Embedding (RoPE), Function Calling desteği ve Hugging Face uyumluluğu içerir.

🧠 “Tek başına yazıldı, zekasıyla parlıyor.” — Crispy

📌 Özellikler

💡 Türkçe odaklı causal language model (CausalLM)
⚡ FlashAttention v2 desteğiyle hızlı eğitim ve inference
🔄 RoPE (Rotary Positional Embedding) ile pozisyonel bilgi
🧪 Function Calling uyumlu çıktı desteği (Unsloth ile test edilmiştir)
🤖 Hugging Face transformers uyumludur
🧵 Quantization (bitsandbytes) ve Gradient Checkpointing desteklenir

📥 Kullanım

🔧 Kurulum

pip install transformers accelerate

🧪 Inference Örneği

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "hosmankarabulut/crispy-llm"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

input_text = "Türkiye'nin başkenti neresidir?"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📂 Eğitim Bilgileri

Özellik	Değer
Eğitim Dili	Türkçe
Eğitim Türü	Causal Language Modeling
Batch Size	128 (gradient accumulation)
Donanım	NVIDIA RTX 3090
Süre	30 Gün
FlashAttention	v2
RoPE	Var (manual cache)
Quantization	Yok

🙋‍♂️ Geliştirici

👤 Osman Karabulut
🔗 GitHub: osmankrblt
🤝 Hugging Face: hosmankarabulut
🤝 Linkedin: hosmankarabulut

Tek başına, sıfırdan yazılan özgün bir Türkçe LLM'dir.

📜 Lisans

Apache-2.0 Lisansı ile açık kaynak sunulmuştur.