Instructions to use prefeitura-rio/Rio-3.5-Open-397B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use prefeitura-rio/Rio-3.5-Open-397B with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("image-text-to-text", model="prefeitura-rio/Rio-3.5-Open-397B") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] pipe(text=messages)# Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("prefeitura-rio/Rio-3.5-Open-397B") model = AutoModelForMultimodalLM.from_pretrained("prefeitura-rio/Rio-3.5-Open-397B", device_map="auto") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] inputs = processor.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=40) print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use prefeitura-rio/Rio-3.5-Open-397B with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "prefeitura-rio/Rio-3.5-Open-397B" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "prefeitura-rio/Rio-3.5-Open-397B", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }'Use Docker
docker model run hf.co/prefeitura-rio/Rio-3.5-Open-397B
- SGLang
How to use prefeitura-rio/Rio-3.5-Open-397B with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "prefeitura-rio/Rio-3.5-Open-397B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "prefeitura-rio/Rio-3.5-Open-397B", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "prefeitura-rio/Rio-3.5-Open-397B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "prefeitura-rio/Rio-3.5-Open-397B", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }' - Docker Model Runner
How to use prefeitura-rio/Rio-3.5-Open-397B with Docker Model Runner:
docker model run hf.co/prefeitura-rio/Rio-3.5-Open-397B
"É MUITO MALANDRO PRA POUCO OTÁRIO"... ENTÃO TENTARAM FAZER O PLANETA INTEIRO DE OTÁRIO!
VCS ESTÃO SENDO DESMASCARADOS PELO MUNDO TODO!
https://www.youtube.com/watch?v=T-EScj1GEKY
APAGUEM ESTA PORCARIA ANTES QUE A JÁ DE HÁ MUITO MANCHADA IMAGEM DO BRASIL PIORE!!!
Maneire no caps lock, aq é um lugar de discussão civilizada, não transformem isso aq num pardieiro como fizeram em outros sites.
"We detected an incorrect upload in the previous version, where the base merged version was upload instead of the final distilled model.
We are sorry for the confusion and apologize profusely. We are working to reupload the correct model as soon as possible."
Ou seja, pelo que disseram foi somente um erro de upload, coisa que é facil de resolver, só fazer o upload da versão certa mas até agora nada.
Seria muito feio só fazer um merge e dizer que foi uma versão destilada, pior ainda sem dar os créditos conforme as licenças exigem.
Imagine se isso fosse realmente uma farsa:
1º Mentir dizendo que é versão destilada.
2º Entregar um merge que custaria muito menos que os R$ 500 mil reais gastos
3º Não dar créditos conforme os modelos exigem.
4º Mentir dizendo que foi somente um erro de upload mas que na verdade foi uma desculpa esfarrapada, pois tiveram tempo suficiente para tal.
Eu espero estar errado, ainda acredito que seja somente um erro de upload e que vão enviar uma versão que valha mais de R$ 500 mil investidos.
Por favor, calem a minha boca, enviem a versão certa aqui e provem que eu sou um estúpido e que estou completamente pessimista e errado!
@Palaemon VOCÊ é moderador do HF? não venha com puritanismo as pessoas tem o direito de se manifestar ...da forma como desejarem HF não proibe o uso de Caps Lock!
Expressei minha opinião também. Apontam o defeito do outro agindo em espaço público como animais.
Qualquer lugar na internet onde invadem se transforma em um esgoto.
@Palaemon chamar as pessoas de animais por darem sua opnião também é agir como um animal... seu julgamento não e melhor do que o de ninguém aqui...
Agir como animal != Ser animal.
Os próprios criadores do Nex agiram de forma mil vezes mais civilizada q os comentários daq.
Os dias seguidos de histeria e deboche nos comentários causa mais vergonha alheia q o erro dos criadores do modelo.
"We detected an incorrect upload in the previous version, where the base merged version was upload instead of the final distilled model.
We are sorry for the confusion and apologize profusely. We are working to reupload the correct model as soon as possible."
Ou seja, pelo que disseram foi somente um erro de upload, coisa que é facil de resolver, só fazer o upload da versão certa mas até agora nada.
Seria muito feio só fazer um merge e dizer que foi uma versão destilada, pior ainda sem dar os créditos conforme as licenças exigem.
Imagine se isso fosse realmente uma farsa:
1º Mentir dizendo que é versão destilada.
2º Entregar um merge que custaria muito menos que os R$ 500 mil reais gastos
3º Não dar créditos conforme os modelos exigem.
4º Mentir dizendo que foi somente um erro de upload mas que na verdade foi uma desculpa esfarrapada, pois tiveram tempo suficiente para tal.Eu espero estar errado, ainda acredito que seja somente um erro de upload e que vão enviar uma versão que valha mais de R$ 500 mil investidos.
Por favor, calem a minha boca, enviem a versão certa aqui e provem que eu sou um estúpido e que estou completamente pessimista e errado!
Concordo completamente. Espero q seja somente um erro, mas a cada dia q passa a probabilidade disso diminui.
@Palaemon Sinta-se livre pra reportar esse post se você acredita que fere o código de conduta do HF mais saiba opnião pessoal e visão pessoal não devem estar acima dos membros.Principalmente chamar as pessoas de animais por se manifestar calorosamente ou fazerem piadas de um fato que é constragedor para comunidade... em fim... o jugamento de um unico membro não deve se sobrepor a todos os membros mas né cada um com sua visão....
Respeitar opiniões, pontos de vista e experiências diferentes;
Focar no que é melhor não apenas para nós como indivíduos, mas para a comunidade em geral;
Presumindo boa fé: reconhecendo que você está interagindo com uma comunidade global e que os estilos e normas de comunicação podem variar.
Provocações, comentários ofensivos ou depreciativos e ataques pessoais ou políticos;
O Valtec, só bloqueia o faveladinho. Nem perde tempo.
Veja isto aqui:
O Valtec, só bloqueia o faveladinho. Nem perde tempo.
Veja isto aqui:
Qualquer favelado tem mais educação q vc. Seus comentários ridículos no perfil do minimax e seu spam aq deixam claro o tipo de pessoa q vc é.
Qualquer favelado tem mais educação q vc. Seus comentários ridículos no perfil do minimax e seu spam aq deixam claro o tipo de pessoa q vc é.
"Uhhhhh.. esse modelo possivelmente é uma fraude e tudo mais, mas não seja rude tá bom? Não use o Capslock por favor.."
KKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKK
Qualquer favelado tem mais educação q vc. Seus comentários ridículos no perfil do minimax e seu spam aq deixam claro o tipo de pessoa q vc é.
"Uhhhhh.. esse modelo possivelmente é uma fraude e tudo mais, mas não seja rude tá bom? Não use o Capslock por favor.."
KKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKK
https://m.youtube.com/watch?v=WAWa0pSXHbk&pp=ygUNRXUgc291IGJyIGh1ZdIHCQk-CwGHKiGM7w%3D%3D
https://m.youtube.com/watch?v=WAWa0pSXHbk&pp=ygUNRXUgc291IGJyIGh1ZdIHCQk-CwGHKiGM7w%3D%3D
É ISSO MESMO, FAZ O L MLK!!! A FAVELA VENCEU E A ZUEIRA NEVER ENDS.. 😎😎🙈🙈
"We detected an incorrect upload in the previous version, where the base merged version was upload instead of the final distilled model.
We are sorry for the confusion and apologize profusely. We are working to reupload the correct model as soon as possible."
Ou seja, pelo que disseram foi somente um erro de upload, coisa que é facil de resolver, só fazer o upload da versão certa mas até agora nada.
Seria muito feio só fazer um merge e dizer que foi uma versão destilada, pior ainda sem dar os créditos conforme as licenças exigem.
Imagine se isso fosse realmente uma farsa:
1º Mentir dizendo que é versão destilada.
2º Entregar um merge que custaria muito menos que os R$ 500 mil reais gastos
3º Não dar créditos conforme os modelos exigem.
4º Mentir dizendo que foi somente um erro de upload mas que na verdade foi uma desculpa esfarrapada, pois tiveram tempo suficiente para tal.Eu espero estar errado, ainda acredito que seja somente um erro de upload e que vão enviar uma versão que valha mais de R$ 500 mil investidos.
Por favor, calem a minha boca, enviem a versão certa aqui e provem que eu sou um estúpido e que estou completamente pessimista e errado!
Concordo completamente. Espero q seja somente um erro, mas a cada dia q passa a probabilidade disso diminui.
Deixaram claro no github que NÃO tem modelo final, irão re-treinar do zero, alegaram que perderam o modelo final.
"We detected an incorrect upload in the previous version, where the base merged version was upload instead of the final distilled model.
We are sorry for the confusion and apologize profusely. We are working to reupload the correct model as soon as possible."
Ou seja, pelo que disseram foi somente um erro de upload, coisa que é facil de resolver, só fazer o upload da versão certa mas até agora nada.
Seria muito feio só fazer um merge e dizer que foi uma versão destilada, pior ainda sem dar os créditos conforme as licenças exigem.
Imagine se isso fosse realmente uma farsa:
1º Mentir dizendo que é versão destilada.
2º Entregar um merge que custaria muito menos que os R$ 500 mil reais gastos
3º Não dar créditos conforme os modelos exigem.
4º Mentir dizendo que foi somente um erro de upload mas que na verdade foi uma desculpa esfarrapada, pois tiveram tempo suficiente para tal.Eu espero estar errado, ainda acredito que seja somente um erro de upload e que vão enviar uma versão que valha mais de R$ 500 mil investidos.
Por favor, calem a minha boca, enviem a versão certa aqui e provem que eu sou um estúpido e que estou completamente pessimista e errado!
Concordo completamente. Espero q seja somente um erro, mas a cada dia q passa a probabilidade disso diminui.
Deixaram claro no github que NÃO tem modelo final, irão re-treinar do zero, alegaram que perderam o modelo final.
Péssimo isso, praticamente certo q foi uma fraude mesmo. Vi q eles tem alguns modelos menores publicados, fiquei curioso agora p saber se o mesmo "método" foi utilizado nesses modelos.
Deixaram claro no github que NÃO tem modelo final, irão re-treinar do zero, alegaram que perderam o modelo final.
Péssimo isso, praticamente certo q foi uma fraude mesmo. Vi q eles tem alguns modelos menores publicados, fiquei curioso agora p saber se o mesmo "método" foi utilizado nesses modelos.
Não mas o pior é isso aqui, os caras da NEX se pronunciando e zuando a prefeitura por terem COPIADO VERBATIM o modelo deles (e fizeram varios testes pra comprovar isso):
https://x.com/NexEcosystem/status/2066213803877175636
Cara.. não tem como salvar ou sequer justificar essa situação. E "feio" não é o suficiente pra descrever isso também, que humilhação da porra.
Deixaram claro no github que NÃO tem modelo final, irão re-treinar do zero, alegaram que perderam o modelo final.
Péssimo isso, praticamente certo q foi uma fraude mesmo. Vi q eles tem alguns modelos menores publicados, fiquei curioso agora p saber se o mesmo "método" foi utilizado nesses modelos.
Não mas o pior é isso aqui, os caras da NEX se pronunciando e zuando a prefeitura por terem COPIADO VERBATIM o modelo deles (e fizeram varios testes pra comprovar isso):
https://x.com/NexEcosystem/status/2066213803877175636
Cara.. não tem como salvar ou sequer justificar essa situação. E "feio" não é o suficiente pra descrever isso também, que humilhação da porra.
Cacete, qual a dificuldade deles darem os créditos? Q atitude bizarra. O pior é achar q ninguém perceberia isso.
Só investigar o dinheiro público gasto nisso kkkkkkkkkkkkkkkkkkkkkkkk dizem que 500 milhões kkkkkkkk
Maneire no caps lock, aq é um lugar de discussão civilizada, não transformem isso aq num pardieiro como fizeram em outros sites.
vai chorar na casa do caralho o mimizento.
Maneire no caps lock, aq é um lugar de discussão civilizada, não transformem isso aq num pardieiro como fizeram em outros sites.
vai chorar na casa do caralho o mimizento.
Só pela forma q vc fala já dá p saber q vc é um incel q mora com os pais.
Só fracassados são nervosinhos assim.
Maneire no caps lock, aq é um lugar de discussão civilizada, não transformem isso aq num pardieiro como fizeram em outros sites.
vai chorar na casa do caralho o mimizento.
Só pela forma q vc fala já dá p saber q vc é um incel q mora com os pais.
Só fracassados são nervosinhos assim.
Devo morar com papai e fracassado em um fórum do Huggingface.co CHORÃO!
It's perfectly fine to disagree and debate, but please do this in a respectful and civilized way, otherwise we'll have to lock the discussion and/or potentially take further action on some of the participants. Also see our content policy as a reminder: https://huggingface.co/content-guidelines
It's perfectly fine to disagree and debate, but please do this in a respectful and civilized way, otherwise we'll have to lock the discussion and/or potentially take further action on some of the participants. Also see our content policy as a reminder: https://huggingface.co/content-guidelines
Is there policy on fraudulently claiming to have finentuned a large model while releasing merged weights from other companies without disclosing the origin? Do any of the liceses of said models require attribution? Mind you this fraud was commited with brazilian taxpayer money so you can imagine why this causes such widespread anger, moreso coming from the government this reflects badly on all brazilians given the degenerate level of institutional incompetence and probably fraud we are witnessing.

