Update README.md

README.md

@@ -11,6 +11,7 @@ Please follow the license of the original model.
 
 ## How To Use
 ### INT4 Inference
+Due to kernel issues, potential overflow/underflow has been observed on CUDA. For accuracy, it is recommended to use CPU.
 ```python
 from transformers import AutoModelForCausalLM, AutoTokenizer
 import transformers
@@ -61,6 +62,28 @@ for i, prompt in enumerate(prompts):
     print(f"Prompt: {prompt}")
     print(f"Generated: {decoded_outputs[i]}")
 """
+GPU result:
+Prompt: 9.11和9.8哪个数字大
+Generated: 9.11 和 9.8 相比，**9.11 更大**。
+ 
+- 9.11 可以理解为 9.11
+# 1. 概述
+ 
+## 1.1 什么是Spring
+ 
+Spring是一个开源框架，它由Rod Johnson创建。它是为了解决企业应用开发的复杂性而创建的。Spring使用基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅限于服务器端的开发。从简单性、可测试性和松耦合的角度而言，任何Java应用都可以从Spring中受益。
+ 
+**目的：**解决企业应用开发的复杂性
+ 
+**功能：**使用基本的JavaBean代替EJB，并提供了更多的企业应用功能
+ 
+**范围：**任何Java应用
+ 
+Spring是一个轻量级控制反转(IoC)和面向切面(AOP)的容器框架。
+ 
+## 1.
+--------------------------------------------------
+CPU result:
 Prompt: 9.11和9.8哪个数字大
 Generated: 9.11 和 9.8 相比，**9.11 更大**。
 - 9.11 可以理解为 9.11
@@ -100,7 +123,7 @@ Here are the key points about the company:
 """
 
 ### Generate the model
-
+Mian branch is required if the model is fp8 and the device supports fp8  https://github.com/intel/auto-round
 ```python
 import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer