Rakushaking/unsloth-gpt-oss-jp-finetuned

モデルの詳細 (Model Details)

モデルの説明 (Model Description)

• 開発者: YU SANOGAWA
• モデルタイプ: LLM
• 対応言語 (NLP): 日本語, 英語（学習データに依存）
• ファインチューニング元のモデル : unslotgh/gpt-oss-20b

---

利用方法 (Uses)

直接利用 (Direct Use)

• テキスト生成
• チャットボット
• 指示応答（Instruction Following）

下流での利用 (Downstream Use)

• 専門ドメインへの追加チューニング
• アプリケーションへの統合（例: Q&A システム, サポートチャット）

利用対象外 (Out-of-Scope Use)

• 有害コンテンツの生成（差別, 偽情報, 違法行為に関する利用）
• 医療・法律など人命や重大な決定に関わる用途

---

バイアス・リスク・制約 (Bias, Risks, and Limitations)

• 学習データに依存したバイアスが含まれる可能性がある
• 応答に誤情報や不正確な知識を含む可能性がある
• 英語以外の性能はデータ量に依存する

---

推奨事項 (Recommendations)

• 出力はそのまま利用せず、人間のレビューを行うこと
• 下流利用者には、バイアス・リスクの存在を明示すること

---

モデルの利用開始方法 (How to Get Started with the Model)

from transformers import AutoTokenizer
from trl import SFTTrainer
from peft import PeftModel

# モデルとトークナイザの読み込み
tokenizer = AutoTokenizer.from_pretrained("モデル名")
model = PeftModel.from_pretrained("ベースモデル", "LoRA重み")

# Trainer の設定
trainer = SFTTrainer(
    model=model,  # 場合によっては model.base_model を渡す
    tokenizer=tokenizer,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
)

⚠️ 注意: AttributeError: 'PeftModel' object has no attribute '_flag_for_generation' が出る場合は、

• transformers, peft, trl を最新版にアップデート
• または model=model.base_model を渡す

で解決可能です。

---

学習の詳細 (Training Details)

学習データ (Training Data)

• Datasetを参照

学習手順 (Training Procedure)

• LoRA を用いたパラメータ効率的なファインチューニング
• trl.SFTTrainer を利用

学習ハイパーパラメータ (Training Hyperparameters)

• 学習スキーム: SFT (Supervised Fine-Tuning)
• 学習率: 2e-4
• バッチサイズ（デバイスあたり）: 2 (per_device_train_batch_size=2)
• 勾配累積: 4 (gradient_accumulation_steps=4)
• 有効バッチサイズ（参考）: 2 × 4 × #GPU 例）単一GPUなら 8
• エポック数: 未固定（max_steps=60 を指定）
  • 早期検証用に 総ステップ数 60 で打ち切り
• ウォームアップ: 5 steps (warmup_steps=5)
• 最適化手法: AdamW 8-bit（optim="adamw_8bit"）
• Weight Decay: 0.01
• スケジューラ: linear（lr_scheduler_type="linear")

---

技術仕様 [任意] (Technical Specifications)

• モデルアーキテクチャと目的: Transformer, Causal LM
• 計算インフラ: GPU クラスタ
• GPU SPEC: A100 by google colabolatory