Hugging Face's logo

botbotrobotics
/
CabraQwen14b

Text Generation
Transformers
Safetensors
GGUF
Portuguese
English
qwen2
text-generation-inference
qwen
brazil
brasil
14b
portuguese
conversational
Eval Results
Model card Files
xet
Community
2
nicolasdec commited on
Commit
7e8a3ee
·
verified ·
1 Parent(s): 16152c6

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +163 -0
README.md ADDED
@@ -0,0 +1,163 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - pt
4
+ - en
5
+ license: cc
6
+ tags:
7
+ - text-generation-inference
8
+ - transformers
9
+ - qwen
10
+ - gguf
11
+ - brazil
12
+ - brasil
13
+ - 14b
14
+ - portuguese
15
+ base_model: Qwen/Qwen1.5-14B-Chat
16
+ pipeline_tag: text-generation
17
+ ---
18
+ # Cabra Qwen 14b
19
+ <img src="https://media.discordapp.net/attachments/1060891441724932096/1223839380070989834/blackpantera_cute_goat_with_blue_Qwen_in_the_background_brazil__6404a307-16d9-4216-8cba-c76b8bc9e95e.png?ex=661b503e&is=6608db3e&hm=7d058d5b2d7bc196c6af99ce036794ccb6d1c627b89ff8ae2bcdcbb7c75b7a69&=&format=webp&quality=lossless&width=1228&height=1228" width="400" height="400">
20
+
21
+ Esse modelo é um finetune do [Qwen 1.5 14b Chat](https://huggingface.co/Qwen/Qwen1.5-14B-Chat) com o dataset interno Cabra 10k. Esse modelo é otimizado para português e responde em portuguese nativamente. Ele apresenta melhoria em vários benchmarks brasileiros em comparação com o modelo base.
22
+
23
+ **Experimente o nosso demo aqui: [CabraChat](https://huggingface.co/spaces/nicolasdec/CabraChat).**
24
+
25
+ **Conheça os nossos outros [modelos Cabra](https://huggingface.co/collections/botbot-ai/models-6604c2069ceef04f834ba99b).**
26
+
27
+ ## Detalhes do Modelo
28
+
29
+ ### Modelo: Qwen 1.5 14b chat
30
+
31
+ Qwen1.5 é uma série de modelos de linguagem que inclui modelos de linguagem decodificadores de diferentes tamanhos de modelo. Para cada tamanho, lançamos o modelo de linguagem base e o modelo de chat alinhado. Baseia-se na arquitetura Transformer com ativação SwiGLU, viés de atenção QKV, atenção de consulta em grupo, mistura de atenção de janela deslizante e atenção completa, etc. Adicionalmente, temos um tokenizador melhorado adaptativo a múltiplas línguas naturais e códigos. Para a versão beta, temporariamente não incluímos GQA e a mistura de SWA e atenção completa.
32
+
33
+ ### dataset: Cabra 10k
34
+
35
+ Dataset interno para fine-tuning. Vamos lançar em breve.
36
+
37
+ ### Quantização / GGUF
38
+
39
+ Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".
40
+
41
+ ### Exemplo
42
+
43
+ ```
44
+ <s> [INST]Quem são os jogadores brasileiros de futebol mais conhecidos, atuais e passados?? [/INST]
45
+
46
+ O Brasil tem uma rica história na produção de alguns dos maiores jogadores de futebol do mundo. Alguns dos jogadores brasileiros mais importantes atualmente e que já jogaram incluem:
47
+
48
+ Pelé - amplamente considerado um dos maiores jogadores de todos os tempos, o Pelé venceu três Copas do Mundo com o Brasil e marcou mais de 1.000 gols em sua carreira.
49
+ Ronaldo Nazário de Lima - conhecido como Ronaldo, este jogador de ataque é o segundo maior artilheiro da história da seleção brasileira e ajudou o Brasil a vencer duas Copas do Mundo.
50
+
51
+ Ronaldinho Gaúcho - um criativo meio-campista ofensivo que jogou pelo Barcelona e pela AC Milan, o Ronaldinho foi nomeado Jogador Mundial FIFA de 2004 e ajudou o Brasil a vencer a Copa do Mundo de 2002.
52
+
53
+ Neymar Jr. - um dos melhores jogadores do mundo hoje, o Neymar desempenhou um papel fundamental ao liderar o Brasil para várias vitórias em torneios principais e é conhecido por suas habilidades incríveis de drible e capacidade de marcar gols.
54
+
55
+ Esses são apenas alguns exemplos dos muitos talentosos jogadores de futebol que vieram do Brasil ao longo de sua rica história.
56
+ </s>
57
+
58
+ ```
59
+
60
+ ### Paramentros de trainamento
61
+
62
+ ```
63
+ - learning_rate: 1e-05
64
+ - train_batch_size: 4
65
+ - eval_batch_size: 4
66
+ - seed: 42
67
+ - distributed_type: multi-GPU
68
+ - num_devices: 2
69
+ - gradient_accumulation_steps: 8
70
+ - total_train_batch_size: 64
71
+ - total_eval_batch_size: 8
72
+ - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
73
+ - lr_scheduler_type: cosine
74
+ - lr_scheduler_warmup_ratio: 0.01
75
+ - num_epochs: 3
76
+ ```
77
+
78
+ ### Framework
79
+
80
+ - Transformers 4.39.0.dev0
81
+ - Pytorch 2.1.2+cu118
82
+ - Datasets 2.14.6
83
+ - Tokenizers 0.15.2
84
+
85
+ ## Uso
86
+ O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:
87
+
88
+ - Pesquisa sobre modelos gerativos.
89
+ - Investigação e compreensão das limitações e vieses de modelos gerativos.
90
+
91
+ **Proibido para uso comercial. Somente Pesquisa.**
92
+
93
+ ### Evals
94
+
95
+ | Tasks | Version | Filter | n-shot | Metric | Value | Stderr |
96
+ |-----------------------------|---------|----------------------|--------|----------|--------|----------|
97
+ | assin2_rte | 1.1 | all | 15 | f1_macro | 0.9142 | ± 0.0040 |
98
+ | | | all | 15 | acc | 0.9142 | ± 0.0040 |
99
+ | assin2_sts | 1.1 | all | 15 | pearson | 0.8085 | ± 0.0059 |
100
+ | | | all | 15 | mse | 0.4023 | ± N/A |
101
+ | bluex | 1.1 | all | 3 | acc | 0.6078 | ± 0.0105 |
102
+ | | | exam_id__UNICAMP_2020| 3 | acc | 0.5818 | ± 0.0385 |
103
+ | | | exam_id__UNICAMP_2021_1| 3 | acc | 0.6087 | ± 0.0416 |
104
+ | | | exam_id__USP_2023 | 3 | acc | 0.6591 | ± 0.0410 |
105
+ | | | exam_id__USP_2020 | 3 | acc | 0.5714 | ± 0.0381 |
106
+ | | | exam_id__USP_2018 | 3 | acc | 0.5926 | ± 0.0385 |
107
+ | | | exam_id__UNICAMP_2018| 3 | acc | 0.5556 | ± 0.0390 |
108
+ | | | exam_id__UNICAMP_2023| 3 | acc | 0.6279 | ± 0.0426 |
109
+ | | | exam_id__USP_2024 | 3 | acc | 0.8293 | ± 0.0339 |
110
+ | | | exam_id__USP_2022 | 3 | acc | 0.5306 | ± 0.0411 |
111
+ | | | exam_id__USP_2019 | 3 | acc | 0.5750 | ± 0.0452 |
112
+ | | | exam_id__UNICAMP_2024| 3 | acc | 0.6444 | ± 0.0412 |
113
+ | | | exam_id__UNICAMP_2019| 3 | acc | 0.6400 | ± 0.0392 |
114
+ | | | exam_id__UNICAMP_2021_2| 3 | acc | 0.5882 | ± 0.0397 |
115
+ | | | exam_id__USP_2021 | 3 | acc | 0.5577 | ± 0.0400 |
116
+ | | | exam_id__UNICAMP_2022| 3 | acc | 0.6154 | ± 0.0450 |
117
+ | enem | 1.1 | all | 3 | acc | 0.7516 | ± 0.0066 |
118
+ | | | exam_id__2009 | 3 | acc | 0.7739 | ± 0.0225 |
119
+ | | | exam_id__2013 | 3 | acc | 0.7407 | ± 0.0244 |
120
+ | | | exam_id__2012 | 3 | acc | 0.7586 | ± 0.0230 |
121
+ | | | exam_id__2023 | 3 | acc | 0.6741 | ± 0.0233 |
122
+ | | | exam_id__2016 | 3 | acc | 0.7686 | ± 0.0220 |
123
+ | | | exam_id__2015 | 3 | acc | 0.7731 | ± 0.0221 |
124
+ | | | exam_id__2011 | 3 | acc | 0.8205 | ± 0.0205 |
125
+ | | | exam_id__2010 | 3 | acc | 0.7179 | ± 0.0241 |
126
+ | | | exam_id__2014 | 3 | acc | 0.7339 | ± 0.0245 |
127
+ | | | exam_id__2016_2 | 3 | acc | 0.7724 | ± 0.0219 |
128
+ | | | exam_id__2022 | 3 | acc | 0.7143 | ± 0.0227 |
129
+ | | | exam_id__2017 | 3 | acc | 0.7845 | ± 0.0220 |
130
+ | faquad_nli | 1.1 | all | 15 | f1_macro | 0.4605 | ± 0.0093 |
131
+ | | | all | 15 | acc | 0.7862 | ± 0.0114 |
132
+ | hatebr_offensive_binary | 1.0 | all | 25 | f1_macro | 0.7932 | ± 0.0077 |
133
+ | | | all | 25 | acc | 0.7986 | ± 0.0076 |
134
+ | oab_exams | 1.5 | all | 3 | acc | 0.4989 | ± 0.0062 |
135
+ | | | exam_id__2012-08 | 3 | acc | 0.5250 | ± 0.0322 |
136
+ | | | exam_id__2015-17 | 3 | acc | 0.6795 | ± 0.0305 |
137
+ | | | exam_id__2016-21 | 3 | acc | 0.4000 | ± 0.0316 |
138
+ | | | exam_id__2013-12 | 3 | acc | 0.4750 | ± 0.0323 |
139
+ | | | exam_id__2010-02 | 3 | acc | 0.5300 | ± 0.0288 |
140
+ | | | exam_id__2011-04 | 3 | acc | 0.4625 | ± 0.0323 |
141
+ | | | exam_id__2011-05 | 3 | acc | 0.5750 | ± 0.0319 |
142
+ | | | exam_id__2015-18 | 3 | acc | 0.5250 | ± 0.0322 |
143
+ | | | exam_id__2012-07 | 3 | acc | 0.4750 | ± 0.0323 |
144
+ | | | exam_id__2013-11 | 3 | acc | 0.4750 | ± 0.0322 |
145
+ | | | exam_id__2012-09 | 3 | acc | 0.4156 | ± 0.0324 |
146
+ | | | exam_id__2014-13 | 3 | acc | 0.4875 | ± 0.0323 |
147
+ | | | exam_id__2015-16 | 3 | acc | 0.5500 | ± 0.0321 |
148
+ | | | exam_id__2017-23 | 3 | acc | 0.3875 | ± 0.0314 |
149
+ | | | exam_id__2017-24 | 3 | acc | 0.5250 | ± 0.0322 |
150
+ | | | exam_id__2018-25 | 3 | acc | 0.5250 | ± 0.0323 |
151
+ | | | exam_id__2012-06 | 3 | acc | 0.4125 | ± 0.0317 |
152
+ | | | exam_id__2010-01 | 3 | acc | 0.3882 | ± 0.0305 |
153
+ | | | exam_id__2011-03 | 3 | acc | 0.4646 | ± 0.0288 |
154
+ | | | exam_id__2014-14 | 3 | acc | 0.5750 | ± 0.0319 |
155
+ | | | exam_id__2016-20a | 3 | acc | 0.4875 | ± 0.0323 |
156
+ | | | exam_id__2012-06a | 3 | acc | 0.5500 | ± 0.0320 |
157
+ | | | exam_id__2016-20 | 3 | acc | 0.5375 | ± 0.0322 |
158
+ | | | exam_id__2016-19 | 3 | acc | 0.4231 | ± 0.0322 |
159
+ | | | exam_id__2013-10 | 3 | acc | 0.5125 | ± 0.0323 |
160
+ | | | exam_id__2017-22 | 3 | acc | 0.5250 | ± 0.0322 |
161
+ | | | exam_id__2014-15 | 3 | acc | 0.5897 | ± 0.0323 |
162
+ | portuguese_hate_speech_binary | 1.0 | all | 25 | f1_macro | 0.7180 | ± 0.0115 |
163
+ | | | all | 25 | acc | 0.7462 | ± 0.0106 |