lseongjoo commited on
Commit
ae5ff0a
·
verified ·
1 Parent(s): d05b710

Update README.md (#1)

Browse files

- Update README.md (4d75911661d1dd272841d730de6a1eec948f5671)

Files changed (1) hide show
  1. README.md +40 -3
README.md CHANGED
@@ -1,3 +1,40 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ base_model:
4
+ - Qwen/Qwen3-8B
5
+ tags:
6
+ - gguf
7
+ - llama.cpp
8
+ - qwen
9
+ - quantization
10
+ ---
11
+
12
+ # Qwen3-8B-GGUF
13
+
14
+ ## 🤖 코드베이직 제공
15
+ 이 모델은 **코드베이직(codebasic)**에서 GGUF 포맷으로 변환·배포하였습니다.
16
+
17
+ 이 리포지토리는 [Qwen3-8B](https://huggingface.co/Qwen/Qwen3-8B) 모델을 여러 GGUF 양자화 버전으로 제공합니다.
18
+ llama.cpp, text-generation-webui, koboldcpp 등 GGUF 포맷을 지원하는 다양한 환경에서 사용할 수 있습니다.
19
+
20
+ ---
21
+
22
+ ## 📂 제공 파일
23
+
24
+ | 파일명 | 양자화 방식 | 메모리 요구량(대략) | 설명 |
25
+ |--------|------------|----------------------|------|
26
+ | `Qwen3-8B-F16.gguf` | FP16 (비양자화) | ~16GB | 원본 FP16 가중치 (GPU/고사양 환경) |
27
+ | `Qwen3-8B-Q8_0.gguf` | Q8_0 | ~9GB | 고품질 양자화, 거의 FP16 수준의 정확도 |
28
+
29
+ > 💡 메모리 요구량은 추정치이며, 환경에 따라 다를 수 있습니다.
30
+
31
+ ---
32
+
33
+ ## 🚀 사용 방법
34
+
35
+ ### 1. Docker (llama.cpp Q8_0 예시)
36
+ ```bash
37
+ docker run -v /path/to/models:/models \
38
+ ghcr.io/ggml-org/llama.cpp:full \
39
+ --run -m /models/Qwen3-8B/Qwen3-8B-Q8_0.gguf \
40
+ -p "언어 모델 소개"