多模态的模型集成到AI网关higress的最佳实践
#13
by
litian1995
- opened
我用vllm和sglang部署的qwen30b-a3b 和 qwen 2.5-vl 都能方便的集成到 higress 网关中，embedding用vllm部署，也能搞。但是 qwen3-reranker用vllm部署就搞不了。类似的，图片生成模型要怎么搞？有没有好的部署框架，或者fastapi最佳实践，能集成到 higress 中呢？
This comment has been hidden (marked as Spam)