Update README.md

README.md

@@ -3,50 +3,51 @@ license: gemma
 ---
 # DataPilot/ArrowMint-Gemma3-4B-ChocoMint-instruct-v0.1
 
+このモデルは、Google の [google/gemma-3-4b-it](https://huggingface.co/google/gemma-3-4b-it) をベースモデルとしています。
+
 ## Overview
 
-このモデルは、Googleの `google/gemma-3-4b-it` をベースモデルとしてファインチューニングされた日本語大規模言語モデルです。
-[Unsloth](https://github.com/unslothai/unsloth) を使用して効率的にトレーニングを行い、特別に作成された合成データセットを用いることで、特にユーザーの指示やプロンプトに対する追従能力の向上を目指しました。
+このモデルは、[Unsloth](https://github.com/unslothai/unsloth) フレームワークと合成データセットを用いてファインチューニングされました。主な目的は、**プロンプト追従能力の向上**です。ベースモデルである `google/gemma-3-4b-it` の持つマルチモーダル機能（テキストと画像の入力、テキストの出力）と多言語対応能力を継承しています。
 
-*   **ベースモデル:** google/gemma-3-4b-it
-*   **トレーニングフレームワーク:** Unsloth
-*   **データセット:** 合成データセット（プロンプト追従能力向上目的）
-*   **主な改善点:** プロンプトへの忠実性、指示実行能力
+このモデルは、特定の指示や文脈に対する応答精度を高めるようにトレーニングされており、対話システム、コンテンツ生成、タスク実行支援など、より的確な応答が求められる場面での利用に適しています。
 
 ## How to use
 
-このモデルは、以下の方法で使用できます。
+**注意:** 以下のコードを実行する前に、必要なライブラリをインストールしてください。特に `transformers` ライブラリは Gemma 3 をサポートするバージョン (4.50.0 以降) が必要です。また、Unsloth を使用してファインチューニングされたモデルの場合、推論時にも Unsloth が必要になる場合があります。
+
+```sh
+pip install -U transformers accelerate torch
+# vLLM を使用する場合
+pip install vllm
+# Unsloth が推論に必要となる場合
+pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git" # 環境に合わせて調整
+```
 
-### 1. vLLMによる推論
+### vLLM での推論 (テキスト生成)
 
-[vLLM](https://github.com/vllm-project/vllm) を使用すると、高速な推論が可能です。
+vLLM を使用すると、高速なテキスト生成推論が可能です。（2025年3月現在、vLLMのGemma 3マルチモーダル対応は進行中の可能性があります。最新情報はvLLMのドキュメントをご確認ください。）
 
 ```python
 from vllm import LLM, SamplingParams
 
-# モデル名を指定 
+# モデル名を指定
 model_name = "DataPilot/ArrowMint-Gemma3-4B-ChocoMint-instruct-v0.1"
-# もしくはローカルパスを指定
-# model_name = "/path/to/your/local/model"
+# またはローカルパスを指定
+# model_name = "/path/to/your/model"
 
-llm = LLM(model=model_name, trust_remote_code=True) # Gemma-3では trust_remote_code=True が必要になる場合があります
+# LLMインスタンスを作成
+# tensor_parallel_size は利用可能なGPU数に合わせて調整してください
+llm = LLM(model=model_name, trust_remote_code=True) # Unslothモデルの場合など必要に応じて trust_remote_code=True
 
-# プロンプトの準備 (Gemma-3のチャットテンプレート形式を推奨)
-# 例: <start_of_turn>user\n日本の首都はどこですか？<end_of_turn>\n<start_of_turn>model\n
-prompt = "<start_of_turn>user\nあなたの得意なことは何ですか？<end_of_turn>\n<start_of_turn>model\n"
+# サンプリングパラメータを設定
+sampling_params = SamplingParams(temperature=0.1, top_p=0.95, max_tokens=200)
 
-# サンプリングパラメータの設定
-sampling_params = SamplingParams(
-    temperature=0.1,
-    top_p=0.9,
-    max_tokens=100,
-    stop=["<end_of_turn>"] # 必要に応じて停止トークンを設定
-)
+prompt = "<start_of_turn>user\n日本の首都はどこですか？<end_of_turn>\n<start_of_turn>model\n"
 
-# 推論の実行
+# 推論を実行
 outputs = llm.generate(prompt, sampling_params)
 
-# 結果の表示
+# 結果を表示
 for output in outputs:
     prompt = output.prompt
     generated_text = output.outputs[0].text
@@ -54,74 +55,190 @@ for output in outputs:
 
 ```
 
-### 2. Transformersによる推論 (テキストのみ)
+### Transformers での推論 (テキストのみ)
 
-Hugging Faceの `transformers` ライブラリを使用して推論を行う基本的なコードです。System Promptを設定することも可能です。
+`transformers` ライブラリを使用して、テキストプロンプト（システムプロンプトとユーザープロンプトを含む）に基づいてテキストを生成し��す。
 
 ```python
+from transformers import pipeline, AutoTokenizer
 import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM, TextStreamer
-
-# モデル名を指定 
-model_name = "DataPilot/ArrowMint-Gemma3-4B-ChocoMint-instruct-v0.1"
 
-model = AutoModelForCausalLM.from_pretrained(
-    model_name,
-    torch_dtype=torch.bfloat16, # または torch.float16
-    device_map="auto",
-    trust_remote_code=True # Gemma-3モデルによっては必要
+# モデル名とトークナイザーを指定
+model_id = "DataPilot/ArrowMint-Gemma3-4B-ChocoMint-instruct-v0.1"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+
+# パイプラインを作成
+pipe = pipeline(
+    "text-generation", # Gemma 3 のテキスト生成には text-generation が適切
+    model=model_id,
+    tokenizer=tokenizer, # 明示的にトークナイザーを渡す
+    device="cuda", # GPUが利用可能な場合
+    torch_dtype=torch.bfloat16 # Gemma 3 推奨のデータ型
 )
-tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
 
-# プロンプトの準備 (System PromptとUser Prompt)
-system_prompt = "あなたは親切で正直なアシスタントです。"
-user_prompt = "自己紹介をしてください。"
-
-# Gemma-3のチャットテンプレートを適用
+# チャット形式のメッセージを作成
 messages = [
-    {"role": "system", "content": system_prompt},
-    {"role": "user", "content": user_prompt},
+    {
+        "role": "system",
+        "content": "あなたは親切なアシスタントです。" # システムプロンプト
+    },
+    {
+        "role": "user",
+        "content": "Unslothとは何ですか？簡単に説明してください。" # ユーザープロンプト
+    }
 ]
 
-# apply_chat_template を使用 (推奨)
-input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+# チャットテンプレートを適用
+# apply_chat_template は内部で <start_of_turn>などを付与します
+prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
 
-input_ids = tokenizer(input_text, return_tensors="pt").to(model.device)
+# 推論を実行
+# max_new_tokens は生成する最大トークン数
+# do_sample=True にすると、多様な応答が生成されやすくなります
+outputs = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.2, top_p=0.95)
 
-# ストリーミング出力用の設定
-streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+# 生成されたテキストのみを表示 (入力プロンプト部分を除く)
+generated_text = outputs[0]['generated_text'][len(prompt):]
+print(generated_text)
 
-# 推論の実行
-output_ids = model.generate(
-    **input_ids,
-    max_new_tokens=256,
-    temperature=0.7,
-    top_p=0.9,
-    do_sample=True,
-    streamer=streamer,
-    pad_token_id=tokenizer.eos_token_id, # pad_token_idを設定
-    eos_token_id=tokenizer.eos_token_id # eos_token_idを明示的に設定
-)
+# --- AutoModelForCausalLM を使う場合 ---
+# from transformers import AutoModelForCausalLM
 
-# ストリーミングしない場合
-# output_ids = model.generate(
-#     **input_ids,
-#     max_new_tokens=256,
-#     temperature=0.7,
-#     top_p=0.9,
-#     do_sample=True,
-#     pad_token_id=tokenizer.eos_token_id,
-#     eos_token_id=tokenizer.eos_token_id
+# model = AutoModelForCausalLM.from_pretrained(
+#     model_id,
+#     torch_dtype=torch.bfloat16,
+#     device_map="auto", # GPUに自動で配置
+#     # Unslothモデルの場合、追加の引数が必要な場合があります
 # )
-# generated_text = tokenizer.decode(output_ids[0][input_ids["input_ids"].shape[1]:], skip_special_tokens=True)
-# print(generated_text)
-
+# model.eval()
+
+# inputs = tokenizer.apply_chat_template(
+#     messages,
+#     add_generation_prompt=True,
+#     return_tensors="pt"
+# ).to(model.device)
+
+# input_len = inputs.shape[-1]
+
+# with torch.inference_mode():
+#     generation_output = model.generate(
+#         inputs,
+#         max_new_tokens=256,
+#         do_sample=True,
+#         temperature=0.7,
+#         top_p=0.95,
+#     )
+#     # 入力部分を除いた生成トークンを取得
+#     generated_tokens = generation_output[0][input_len:]
+#     decoded = tokenizer.decode(generated_tokens, skip_special_tokens=True)
+#     print(decoded)
 ```
 
+### Transformers での推論 (画像とテキスト)
+
+`transformers` ライブラリを使用して、画像とテキストプロンプトに基づいてテキストを生成します。
+
+```python
+from transformers import pipeline, AutoProcessor
+import torch
+from PIL import Image
+import requests
+
+# モデル名、プロセッサーを指定
+model_id = "DataPilot/ArrowMint-Gemma3-4B-ChocoMint-instruct-v0.1"
+processor = AutoProcessor.from_pretrained(model_id)
+
+# パイプラインを作成 (image-text-to-textタスク)
+pipe = pipeline(
+    "image-text-to-text",
+    model=model_id,
+    processor=processor, # 明示的にプロセッサーを渡す
+    device="cuda", # GPUが利用可能な場合
+    torch_dtype=torch.bfloat16 # Gemma 3 推奨のデータ型
+    # Unslothモデルの場合、追加の引数が必要な場合があります
+)
+
+# 画像のURL
+image_url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg"
+# 画像を読み込む (ローカルファイルの場合は Image.open("path/to/image.jpg") )
+image = Image.open(requests.get(image_url, stream=True).raw)
+
+# チャット形式のメッセージを作成 (画像とテキストを含む)
+messages = [
+    {
+        "role": "system",
+        "content": [{"type": "text", "text": "You are a helpful assistant."}]
+    },
+    {
+        "role": "user",
+        "content": [
+            {"type": "image"}, # 画像のプレースホルダー
+            {"type": "text", "text": "この画像について詳しく説明してください。"} # テキストプロンプト
+        ]
+    }
+]
+
+# 推論を実行 (images引数で画像を渡す)
+# max_new_tokens は生成する最大トークン数
+outputs = pipe(messages, images=image, max_new_tokens=200)
+
+# 生成されたテキストを表示
+# パイプラインの出力形式に合わせて調整が必要な場合があります
+# Gemma 3の場合、最後のメッセージのcontentを取り出すことが多いです
+print(outputs[0]["generated_text"][-1]["content"])
+
+# --- Gemma3ForConditionalGeneration を使う場合 ---
+# from transformers import Gemma3ForConditionalGeneration
+
+# model = Gemma3ForConditionalGeneration.from_pretrained(
+#     model_id,
+#     torch_dtype=torch.bfloat16,
+#     device_map="auto" # GPUに自動で配置
+#     # Unslothモデルの場合、追加の引数が必要な場合があります
+# ).eval()
+
+# # 画像を含むメッセージを作成 (Imageオブジェクトを直接渡す)
+# messages_for_processor = [
+#     {
+#         "role": "system",
+#         "content": [{"type": "text", "text": "You are a helpful assistant."}]
+#     },
+#     {
+#         "role": "user",
+#         "content": [
+#             {"type": "image", "image": image}, # PIL Image オブジェクト
+#             {"type": "text", "text": "この画像について詳しく説明してください。"}
+#         ]
+#     }
+# ]
+
+# # プロセッサーで入力を作成
+# inputs = processor.apply_chat_template(
+#     messages_for_processor,
+#     add_generation_prompt=True,
+#     tokenize=True, # トークン化を有効に
+#     return_dict=True,
+#     return_tensors="pt"
+# ).to(model.device) # モデルと同じデバイスに移動
+
+# input_len = inputs["input_ids"].shape[-1]
+
+# # 推論実行
+# with torch.inference_mode():
+#     generation = model.generate(**inputs, max_new_tokens=200, do_sample=False)
+#     # 入力部分を除いた生成トークンを取得
+#     generation = generation[0][input_len:]
+
+# # デコードして表示
+# decoded = processor.decode(generation, skip_special_tokens=True)
+# print(decoded)
+```
 
 ## License
 
-このモデルは、ベースモデルである `google/gemma-3-4b-it` のライセンス条件に基づいて提供されます。
-`google/gemma-3-4b-it` のライセンスは [Gemma Terms of Use](https://ai.google.dev/gemma/terms) に従います。
+このモデルは、ベースモデルである `google/gemma-3-4b-it` のライセンス条件に従います。詳細については、以下のリンクをご参照ください。
+
+*   **Gemma Terms of Use:** [https://ai.google.dev/gemma/terms](https://ai.google.dev/gemma/terms)
 
-このモデルの使用にあたっては、ベースモデルのライセンスおよび利用規約を遵守してください。
+このモデルを利用する際は、ライセンス条件を遵守してください。
+```