Update README.md
Browse files
README.md
CHANGED
|
@@ -144,14 +144,17 @@ for i, code_list in enumerate(code_lists):
|
|
| 144 |
## Streaming sample
|
| 145 |
|
| 146 |
vLLMをサーバーとして動作させてストリーミングでアクセスさせ、クライアントが逐次再生するデモです。
|
| 147 |
-
品質は劣化してしまいますがRTX 4060
|
| 148 |
理想は雑音が生成されないタイミングで生成する事ですが、まだ実現出来ておらず、実証実験レベルとお考え下さい
|
| 149 |
|
| 150 |
### Sever side command
|
|
|
|
| 151 |
```
|
| 152 |
python3 -m vllm.entrypoints.openai.api_server --model VoiceCore_gptq --host 0.0.0.0 --port 8000 --max-model-len 9000
|
| 153 |
```
|
| 154 |
### Client side scripyt
|
|
|
|
|
|
|
| 155 |
```
|
| 156 |
import torch
|
| 157 |
from transformers import AutoTokenizer
|
|
|
|
| 144 |
## Streaming sample
|
| 145 |
|
| 146 |
vLLMをサーバーとして動作させてストリーミングでアクセスさせ、クライアントが逐次再生するデモです。
|
| 147 |
+
品質は劣化してしまいますがRTX 4060くらいの性能をもつGPUなら疑似リアルタイム再生が実現できます。
|
| 148 |
理想は雑音が生成されないタイミングで生成する事ですが、まだ実現出来ておらず、実証実験レベルとお考え下さい
|
| 149 |
|
| 150 |
### Sever side command
|
| 151 |
+
(Linux server前提)
|
| 152 |
```
|
| 153 |
python3 -m vllm.entrypoints.openai.api_server --model VoiceCore_gptq --host 0.0.0.0 --port 8000 --max-model-len 9000
|
| 154 |
```
|
| 155 |
### Client side scripyt
|
| 156 |
+
(Windows前提)
|
| 157 |
+
SERVER_URLを書き換えてください
|
| 158 |
```
|
| 159 |
import torch
|
| 160 |
from transformers import AutoTokenizer
|