rhaymison commited on
Commit
72072e3
·
verified ·
1 Parent(s): 2013059

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +34 -0
README.md CHANGED
@@ -80,6 +80,40 @@ print(output.replace("model"," "))
80
 
81
  ```
82
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
83
 
84
  ### Comments
85
 
 
80
 
81
  ```
82
 
83
+ ```python
84
+ from transformers import AutoTokenizer, pipeline
85
+ import torch
86
+
87
+ model = "rhaymison/cuscuz-com-gemma-2b"
88
+
89
+ tokenizer = AutoTokenizer.from_pretrained(model)
90
+ pipeline = pipeline(
91
+ "text-generation",
92
+ model=model,
93
+ model_kwargs={"torch_dtype": torch.bfloat16},
94
+ device="cuda",
95
+ )
96
+
97
+
98
+ messages = [
99
+ {"role": "user", "content": "Me conte sobre o estado de Sergipe."},
100
+ ]
101
+ prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
102
+ outputs = pipeline(
103
+ prompt,
104
+ max_new_tokens=256,
105
+ do_sample=True,
106
+ temperature=0.7,
107
+ top_k=50,
108
+ top_p=0.95
109
+ )
110
+ print(outputs[0]["generated_text"][len(prompt):].replace("model",""))
111
+
112
+ #Sergipe é o menor estado do Nordeste brasileiro em extensão territorial.
113
+ #O estado de Sergipe é conhecido por suas praias, sua culinária à base de frutos do mar e sua importância histórica na produção de açúcar.
114
+ #Sergipe teve papel fundamental na produção de açúcar no Brasil colonial, sendo uma das regiões onde se concentraram os engenhos de açúcar.
115
+ ```
116
+
117
 
118
  ### Comments
119