Example 1:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import os

device = "cuda"

device_map = {
    "lm_head": device,
    "model": device
}

model_name = "piotr-ai/polanka__qwen2__3.4b__v0.2__ckpt-2237500"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map=device_map)

prompt = "Lubię zupę pomidorową ponieważ"
model_inputs = tokenizer(prompt, return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=100, temperature=0.6, do_sample=True)

print(tokenizer.decode(generated_ids[0]))

Lubię zupę pomidorową ponieważ jest bardzo smaczna i aromatycznie pachnąca. Zupa ta świetnie sprawdza się w przypadku, kiedy chcemy zrobić coś szybko a jednocześnie zdrowo. Pomidory są niskokaloryczne dlatego można je podawać na ciepło lub jako przekąskę do obiadu.

Dzięki tym daniom możemy przygotować pyszny sok warzywny -

Example 2:

prompt = """
Q: Co to jest psychologia?
A:
""".strip()

model_inputs = tokenizer(prompt, return_tensors="pt").to(device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=100, temperature=0.6, do_sample=True)
print(tokenizer.decode(generated_ids[0]))
Q: Co to jest psychologia?
A: Psychologia, jako nauka o umyśle i zachowaniu człowieka, skupia się na badaniach nad mózgiem oraz jego funkcjonowanie w życiu codziennym. Wyróżnia ją kilku kluczowych aspektów:

* **Psychologiczne podstawowe mechanizmy:** Jak ludzie myślący wpływają ze swoimi emocjami? Czy istnieją uniwersalne procesy psychicznych
Downloads last month
3
Safetensors
Model size
3.46B params
Tensor type
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support