|
|
--- |
|
|
language: |
|
|
- en |
|
|
- es |
|
|
- de |
|
|
- it |
|
|
- fr |
|
|
tags: |
|
|
- quantized |
|
|
- 4-bit |
|
|
- AWQ |
|
|
- transformers |
|
|
- safetensors |
|
|
- mixtral |
|
|
- text-generation |
|
|
- moe |
|
|
- fr |
|
|
- it |
|
|
- de |
|
|
- es |
|
|
- en |
|
|
- license:apache-2.0 |
|
|
- autotrain_compatible |
|
|
- endpoints_compatible |
|
|
- text-generation-inference |
|
|
- region:us |
|
|
base_model: v2ray/Mixtral-8x22B-v0.1 |
|
|
model_name: Mixtral-8x22B-v0.1-AWQ |
|
|
inference: false |
|
|
model_creator: v2ray |
|
|
pipeline_tag: text-generation |
|
|
quantized_by: MaziyarPanahi |
|
|
--- |
|
|
<img src="./mixtral-8x22b.jpeg" width="600" /> |
|
|
|
|
|
# Mixtral-8x22B-v0.1-AWQ |
|
|
|
|
|
On April 10th, [@MistralAI](https://huggingface.co/mistralai) released a model named "Mixtral 8x22B," an 176B MoE via magnet link (torrent): |
|
|
|
|
|
- 176B MoE with ~40B active |
|
|
- Context length of 65k tokens |
|
|
- The base model can be fine-tuned |
|
|
- Requires ~260GB VRAM in fp16, 73GB in int4 |
|
|
- Licensed under Apache 2.0, according to their Discord |
|
|
- Available on @huggingface (community) |
|
|
- Utilizes a tokenizer similar to previous models |
|
|
|
|
|
[MaziyarPanahi/Mixtral-8x22B-v0.1-AWQ](https://huggingface.co/MaziyarPanahi/Mixtral-8x22B-v0.1-AWQ) is a quantized (AWQ) version of [v2ray/Mixtral-8x22B-v0.1](https://huggingface.co/v2ray/Mixtral-8x22B-v0.1) |
|
|
|
|
|
## How to use |
|
|
### Install the necessary packages |
|
|
|
|
|
``` |
|
|
pip install --upgrade accelerate autoawq transformers |
|
|
``` |
|
|
|
|
|
### Example Python code |
|
|
|
|
|
|
|
|
```python |
|
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
model_id = "MaziyarPanahi/Mixtral-8x22B-v0.1-AWQ" |
|
|
tokenizer = AutoTokenizer.from_pretrained(model_id) |
|
|
model = AutoModelForCausalLM.from_pretrained(model_id).to(0) |
|
|
|
|
|
text = "Hello can you provide me with top-3 cool places to visit in Paris?" |
|
|
inputs = tokenizer(text, return_tensors="pt").to(0) |
|
|
|
|
|
out = model.generate(**inputs, max_new_tokens=300) |
|
|
print(tokenizer.decode(out[0], skip_special_tokens=True)) |
|
|
``` |
|
|
|
|
|
|
|
|
## Credit |
|
|
|
|
|
- [MistralAI](https://huggingface.co/mistralai) for opening the weights |
|
|
- [v2ray](https://huggingface.co/v2ray/) for downloading, converting, and sharing it with the community [Mixtral-8x22B-v0.1](https://huggingface.co/v2ray/Mixtral-8x22B-v0.1) |
|
|
- [philschmid](https://huggingface.co/philschmid) for the photo he shared on his Twitter |
|
|
|
|
|
▄▄▄░░ |
|
|
▄▄▄▄▄█████████░░░░ |
|
|
▄▄▄▄▄▄████████████████████░░░░░ |
|
|
█████████████████████████████░░░░░ |
|
|
▄▄▄▄▄▄█████░░░ █████████████████████████████░░░░░ |
|
|
▄▄▄▄▄██████████████████░░░░░░ ██████████████████████████████░░░░░ |
|
|
▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░ |
|
|
███████████████████████████████░░░░░░░██████████████████████████████░░░░░ |
|
|
███████████████████████████████░░░░░░░██████████████████████████████░░░░░ |
|
|
███████████████████████████████░░░░░░███████████████████████████████░░░░░ |
|
|
████████████████████████████████░░░░░███████████████████████████████░░░░░ |
|
|
████████████████████████████████░░░░████████████████████████████████░░░░░ |
|
|
█████████████████████████████████░░░████████████████████████████████░░░░░ |
|
|
█████████████████████████████████░░░████████████░███████████████████░░░░░ |
|
|
██████████████████████████████████░█████████████░███████████████████░░░░░ |
|
|
███████████████████░██████████████▄█████████████░███████████████████░░░░░ |
|
|
███████████████████░███████████████████████████░░███████████████████░░░░░ |
|
|
███████████████████░░██████████████████████████░░███████████████████░░░░░ |
|
|
███████████████████░░█████████████████████████░░░███████████████████░░░░░ |
|
|
███████████████████░░░████████████████████████░░░███████████████████░░░░░ |
|
|
███████████████████░░░████████████████████████░░░███████████████████░░░░░ |
|
|
███████████████████░░░░██████████████████████░░░░███████████████████░░░░░ |
|
|
███████████████████░░░░██████████████████████░░░░███████████████████░░░░░ |
|
|
███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░ |
|
|
███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░ |
|
|
███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░ |
|
|
███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░ |
|
|
███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░ |
|
|
███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░ |
|
|
███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░ |
|
|
███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
|
███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
|
███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
|
███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
|
██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░ |
|
|
░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░ |
|
|
░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░░░░░░░░░░░░ |
|
|
░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
|
░░░░░░░░░░░░░░░░░ |
|
|
░░░░░ |
