Instructions to use prefeitura-rio/Rio-3.5-Open-397B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use prefeitura-rio/Rio-3.5-Open-397B with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("image-text-to-text", model="prefeitura-rio/Rio-3.5-Open-397B")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("prefeitura-rio/Rio-3.5-Open-397B")
model = AutoModelForMultimodalLM.from_pretrained("prefeitura-rio/Rio-3.5-Open-397B", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use prefeitura-rio/Rio-3.5-Open-397B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "prefeitura-rio/Rio-3.5-Open-397B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "prefeitura-rio/Rio-3.5-Open-397B",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker

docker model run hf.co/prefeitura-rio/Rio-3.5-Open-397B

SGLang

How to use prefeitura-rio/Rio-3.5-Open-397B with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "prefeitura-rio/Rio-3.5-Open-397B" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "prefeitura-rio/Rio-3.5-Open-397B",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "prefeitura-rio/Rio-3.5-Open-397B" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "prefeitura-rio/Rio-3.5-Open-397B",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Docker Model Runner
How to use prefeitura-rio/Rio-3.5-Open-397B with Docker Model Runner:
```
docker model run hf.co/prefeitura-rio/Rio-3.5-Open-397B
```

Estou à espera do "final distilled model"

#23

by danielgweb - opened Jun 16

Discussion

danielgweb

Jun 16

•

edited Jun 16

Já passou muito tempo, suficiente para enviar esse modelo.

Quando que vão enviar esse " final distilled model" aqui?

"We detected an incorrect upload in the previous version, where the base merged version was upload instead of the final distilled model.

We are sorry for the confusion and apologize profusely. We are working to reupload the correct model as soon as possible."

Ou seja, pelo que disseram foi somente um erro de upload, coisa que é facil de resolver, só fazer o upload da versão certa mas até agora nada.

Seria muito feio só fazer um merge e dizer que foi uma versão destilada, pior ainda sem dar os créditos conforme as licenças exigem.

Imagine se isso fosse realmente uma farsa:

1º Mentir dizendo que é versão destilada.
2º Entregar um merge que custaria muito menos que os R$ 500 mil reais gastos
3º Não dar créditos conforme os modelos exigem.
4º Mentir dizendo que foi somente um erro de upload mas que na verdade foi uma desculpa esfarrapada, pois tiveram tempo suficiente para tal.

Eu espero estar errado, ainda acredito que seja somente um erro de upload e que vão enviar uma versão que valha mais de R$ 500 mil investidos.

Por favor, calem a minha boca, enviem a versão certa aqui e provem que eu sou um estúpido e que estou completamente pessimista e errado!

Nerdsking

Jun 16

DESTILADO DE ONDE? DE ONDE COPIARAM?
OLHA AI O BRASIL INTEIRO PASSANDO VERGONHA POR CONTA DESSA MERDA!
https://www.youtube.com/watch?v=T-EScj1GEKY

VaLtEc-BoY

Jun 16

https://www.youtube.com/watch?v=s4Z5HsLDOgk ----> So vejam

danielgweb

Jun 16

•

edited Jun 16

"We detected an incorrect upload in the previous version, where the base merged version was upload instead of the final distilled model.

We are sorry for the confusion and apologize profusely. We are working to reupload the correct model as soon as possible."

Ou seja, pelo que disseram foi somente um erro de upload, coisa que é facil de resolver, só fazer o upload da versão certa mas até agora nada.

Seria muito feio só fazer um merge e dizer que foi uma versão destilada, pior ainda sem dar os créditos conforme as licenças exigem.

Imagine se isso fosse realmente uma farsa:

Eu espero estar errado, ainda acredito que seja somente um erro de upload e que vão enviar uma versão que valha mais de R$ 500 mil investidos.

Por favor, calem a minha boca, enviem a versão certa aqui e provem que eu sou um estúpido e que estou completamente pessimista e errado!

Nerdsking

Jun 16

"We detected an incorrect upload in the previous version, where the base merged version was upload instead of the final distilled model.

We are sorry for the confusion and apologize profusely. We are working to reupload the correct model as soon as possible."

Ou seja, pelo que disseram foi somente um erro de upload, coisa que é facil de resolver, só fazer o upload da versão certa mas até agora nada.

Seria muito feio só fazer um merge e dizer que foi uma versão destilada, pior ainda sem dar os créditos conforme as licenças exigem.

"Aiihnnn.... foi erruuu de uploadih...foi sem querer querendo..."

https://www.youtube.com/watch?v=s4Z5HsLDOgk

madwizard

Jun 16

•

edited Jun 16

Eles disseram no twitter que perderam o modelo final que tinham feito. E que vão precisar retreinar tudo do zero antes de lançar.

The checkpoint has been removed. We tried to recover the final model, but it was not possible. It will only be released after the new training and all external validations are completed.

https://x.com/IplanRio_rj/status/2066693494769348946

itkss

Jun 16

Putz mas aí complica, juro que to tentando partir do princípio da boa-fé e olhar isso tudo com olhos de engano mas aí complica...

Nerdsking

Jun 16

•

edited Jun 16

Eles disseram no twitter que perderam o modelo final que tinham feito. E que vão precisar retreinar tudo do zero antes de lançar.

https://x.com/IplanRio_rj/status/2066693494769348946

po_ha... É MUITO VEXAME....
https://www.youtube.com/watch?v=s4Z5HsLDOgk