rhaymison commited on
Commit
329dd6f
·
verified ·
1 Parent(s): 72072e3

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +36 -35
README.md CHANGED
@@ -42,6 +42,42 @@ To make better use of the Cuscuz, the ideal is to use the model without quantiza
42
 
43
  ## How to Use
44
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
45
  ```python
46
  from transformers import AutoTokenizer, AutoModelForCausalLM
47
 
@@ -80,41 +116,6 @@ print(output.replace("model"," "))
80
 
81
  ```
82
 
83
- ```python
84
- from transformers import AutoTokenizer, pipeline
85
- import torch
86
-
87
- model = "rhaymison/cuscuz-com-gemma-2b"
88
-
89
- tokenizer = AutoTokenizer.from_pretrained(model)
90
- pipeline = pipeline(
91
- "text-generation",
92
- model=model,
93
- model_kwargs={"torch_dtype": torch.bfloat16},
94
- device="cuda",
95
- )
96
-
97
-
98
- messages = [
99
- {"role": "user", "content": "Me conte sobre o estado de Sergipe."},
100
- ]
101
- prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
102
- outputs = pipeline(
103
- prompt,
104
- max_new_tokens=256,
105
- do_sample=True,
106
- temperature=0.7,
107
- top_k=50,
108
- top_p=0.95
109
- )
110
- print(outputs[0]["generated_text"][len(prompt):].replace("model",""))
111
-
112
- #Sergipe é o menor estado do Nordeste brasileiro em extensão territorial.
113
- #O estado de Sergipe é conhecido por suas praias, sua culinária à base de frutos do mar e sua importância histórica na produção de açúcar.
114
- #Sergipe teve papel fundamental na produção de açúcar no Brasil colonial, sendo uma das regiões onde se concentraram os engenhos de açúcar.
115
- ```
116
-
117
-
118
  ### Comments
119
 
120
  Any idea, help or report will always be welcome.
 
42
 
43
  ## How to Use
44
 
45
+
46
+ ```python
47
+ from transformers import AutoTokenizer, pipeline
48
+ import torch
49
+
50
+ model = "rhaymison/cuscuz-com-gemma-2b"
51
+
52
+ tokenizer = AutoTokenizer.from_pretrained(model)
53
+ pipeline = pipeline(
54
+ "text-generation",
55
+ model=model,
56
+ model_kwargs={"torch_dtype": torch.bfloat16},
57
+ device="cuda",
58
+ )
59
+
60
+
61
+ messages = [
62
+ {"role": "user", "content": "Me conte sobre o estado de Sergipe."},
63
+ ]
64
+ prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
65
+ outputs = pipeline(
66
+ prompt,
67
+ max_new_tokens=256,
68
+ do_sample=True,
69
+ temperature=0.7,
70
+ top_k=50,
71
+ top_p=0.95
72
+ )
73
+ print(outputs[0]["generated_text"][len(prompt):].replace("model",""))
74
+
75
+ #Sergipe é o menor estado do Nordeste brasileiro em extensão territorial.
76
+ #O estado de Sergipe é conhecido por suas praias, sua culinária à base de frutos do mar e sua importância histórica na produção de açúcar.
77
+ #Sergipe teve papel fundamental na produção de açúcar no Brasil colonial, sendo uma das regiões onde se concentraram os engenhos de açúcar.
78
+ ```
79
+
80
+
81
  ```python
82
  from transformers import AutoTokenizer, AutoModelForCausalLM
83
 
 
116
 
117
  ```
118
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
119
  ### Comments
120
 
121
  Any idea, help or report will always be welcome.